IT极限技术分享汇
伴随着Vision Pro的发布，苹果也相应公布了其3D Avatar解决方案，与其他依赖于捏脸的虚拟数字人平台不同，Vision Pro用户可以通过头显扫描脸部进而生成拟真的Avatar形象，苹果将其称之为Persona。
早些时候Persona以窗口的形象展示，本月，Vision Pro进一步更新了一项名为Spatial Personas（空间角色）的功能，自此，Persona可以在真实空间中走动，进一步提升了真实感。
Persona背后其实可以看到苹果并不倾向于相对成熟的VR社交、协作策略，相反，它希望未来空间计算时代用户的沟通交流依旧能发生在真实空间，这也就是所谓的AR/MR社交。
接下来，你将能看到MR社交的难点以及可能存在的系列机遇。
本文编译于外媒SKARREDGHOST，作者在VR/AR行业具有多年从业经历，以下是文章原文。
图源：苹果
目前社交无疑是VR的重要应用场景之一，现如今我们可以通过Rec Room、VRChat等优秀的VR社交应用与朋友在虚拟空间中聊天或者玩乐。
不过，当前MR的概念也正在被大肆宣传，因此我们应该开始思考如何在MR（混合现实）中与人们见面。
这里值得一提的是苹果最近所更新的Spatial Personas，网上基于此出现了大量的体验以及分享视频。
不过如果我们体验后便很容易发现VR社交与MR社交其实遵循的并非同一套规则，未来无论是MR社交又或者MR会议，里面的设计都需要进行一系列重构。
Spatial Personas体验视频，图源：YouTuber
Cosmo Scharf VR社交与MR社交是两种截然不同的体验 可能不少人都体验过VR社交相关应用，如VRChat、Roblox等，我曾在一家VR音乐会平台工作过，对于这种体验也十分了解。
当你在VR中观看音乐会，就像是被传送到了另一个宇宙，你可以在这个宇宙中与朋友见面并且完成各种游戏互动。
我喜欢VR社交，因为这就像是一种神奇的传送：戴上头显、然后用户便可以脱离当前现实环境，甚至能获得突破物理法则的体验，如在空中飞翔，或者变成另一个人、一只狗甚至一个牛奶盒等。
VR演唱会，图源：SKARREDGHOST
除了VR外，我也是视频穿透AR（VST方案）的粉丝，我一直好奇相应的VR音乐体验能否通过MR体现出来。当深入研究后，我得出的结论是：我们永远也不可能在MR中获得与VR相同的体验。
理由很简单，所谓AR/MR都旨在创造一种与周围环境相融合的体验，MR就像是一种黑魔法，它能让虚拟元素与您周围真实环境相融合，并提供让人信服的结果。
图源：SyncReality
举例而言，假设我们有10个人都处于同一个MR社交场景当中，而每个人都在各自的家里面，那么基于前面的原则MR体验需要适配所有不同用户的房间，但这是不可能的。
想象一下，如果A正身处一个小房间、B在一个巨大的仓库内、C在一条狭窄的走廊当中，理论上我们都应该看到相同的虚拟元素，而这些虚拟元素又要与各自的环境相契合；再者，由于我们的Avatar也属于虚拟元素的一部分，我们也应该需要一种可信且一致的方式看到彼此的化身。
实际上这是不可能的，如果B走到仓库的尽头，那么在C看来，他可能早已穿越墙壁，从而破坏了魔法。
此外，即便你们的房间完全相同，如果里面的家具摆放有所差异，那么也很容易出现有人站在你沙发或者橱窗里面的情况，再次打破魔法。
MR场景中虚拟化身的位置不可控，破坏了真实感，图源：SKARREDGHOST
虽然某些时候你看到有人出现在你的房间当中这种感觉会很奇妙，不过实际上这也没太大作用，因为对方压根看不到你房间的样子，对方所看到的仍是自己的家，所以双方会有一种一厢情愿的感知错位。
这一切让我意识到，这种简单粗暴的社交MR体验其实是行不通的。
基于此，又可以延伸出很多问题？我们为什么需要MR社交，而未来它又该如何实现？
从本地AR到场景三维重建，MR社交的7种实现手段 每个产品的出现都是为了解决需求，而选择特定的技术是因为你相信这是实现相应目的的最佳技术。
你的用户也生活在使用你的产品的特定环境当中，如AR设备会在家里或者户外使用，而这种差异可能会严重影响您设计产品的方式。
对于MR社交而言，想要实现不同的目标，背后就需要采用不同的策略。
一、可能你并不真的需要MR社交
如果你想在另一个世界（比如火星）举办活动或者聚会，这种情况下VR无疑是最佳选择，MR其实并没太大必要，因为后者需要用户呆在自己的空间当中。
不过，假如项目方表示一定要引入MR，并表示“MR是当前的趋势，它需要在我们的应用中有所体现。”
这种情况该怎么办呢？
VR演唱会，图源：SKARREDGHOST
我的建议是可以以VR为基准，然后在此基础之上添加部分MR功能。以《阿斯加德之怒2》为例，这是一款VR游戏，不过里面也出现了部分MR元素，如用户可以在真实空间窗口中消灭怪物，这可能对于未来的VR社交具有一定的借鉴意义。
在VR基础上引入MR，图源：SKARREDGHOST
二、单纯以看清楚真实环境为目的
去年，Brad Lynch（海外XR分析师）曾在X平台展示了VRChat的透视功能（他将其称之为ARChat）：当打开游戏透视模式后，虚拟背景将切换为现实画面，而虚拟化身也会相应出现在真实空间之上，不过也相应出现了穿墙、卡在沙发上等一系列问题。
从VRChat到ARChat，图源：X
虽然体验不佳，不过VR社交的透视功能在某些时候可能是必要的，比如用户在游戏中途需要查看周围环境，比如照顾孩子，那么在VR中激活透视功能可以解决他的“燃眉之急”。
不过，这仍算不上真正的MR社交，因为它只是简单地将虚拟元素叠加在现实之上，而没有真正考虑如何与环境相融合的问题。
三、多人本地AR
如果所有用户都处于同一个物理位置，这种情况下，想要实现MR体验其实会变得相对简单，因为用户能看到相同的真实元素，而这时候只需考虑虚拟元素的对齐问题。
（也有人将这类体验称之为多人本地AR）这背后需要结合使用共享空间锚点（所有AR SDK都会配备该功能）以及特定的网络（比如使用镜像网络库）。
在这时候，游戏可以考虑设计一些同时涉及多个玩家的互动体验，以创造更多的共同感。
Niantic曾打造的多人AR体验，图源：Niantic
四、让MR社交聚焦于某些特定元素
对于多人MR体验，其实苹果也考虑到了这一问题，并在Vision Pro开发指南中提供了相应的设计规范。
多人MR的三种场景，图源：苹果
从图片可以看到，苹果所展示的多人MR体验重点都并非环境本身，而是场景中的某一元素。
如果MR社交只涉及某一件事，那么用户建立联系会变得容易得多。比较典型的是一起追剧，它并不涉及任何真实元素，并且也没有太多交互事件。
（Ps：这也是网上UP主分享Vision Pro Persona体验出现最多的场景之一，因为它呈现效果最好，并且不容易出戏。）
通过Vision Pro一起玩平面游戏，图源：X
因而想要让MR社交获得良好的体验，一是需要尽量让用户围绕同一个元素，二是让用户尽量寻找一个相同的真实背景。
关于这点，VR桌游《Demeo》是一个很好的例子，它于去年推出了MR玩法，我曾与朋友一同测试了它的MR功能。
打开透视模式时，会看到朋友与我坐到同一个桌子上，并且他专注于他的游戏，就跟我一样。
之所以会造成这种错觉，是因为我们在游戏时都坐在实体牌桌上，我们在相同的条件下进行游戏。另外，卡牌游戏都是偏固定场景，人物无需进行太多移动，这也能一定程度避免穿墙等情况发生。
在这种情况下，MR不再是噱头，相反，它能进一步提升用户的游戏体验。
Vision Pro也有类似的多人下棋的场景，用户都会坐在各自的椅子上下棋，不会随意走动，因而相当于无意间创造了相同的物理环境。
在Vision Pro中远程下棋，图源：X
对于MR社交体验来说，你可以针对一个（或多个）特定关注点设计你的体验。
以我前面所提到的音乐会为例，未来，或许可以让歌手站在你的桌子之上，而其他人则围在桌子周围，这种情况下，基本相当于所有用户营造了同一个观影环境，不过，它可能仍会存在空间相对局限或者偏静态的问题。
五、可以通过相对不真实打破MR社交体验的割裂
其实我们大脑存在着一个奇怪的规则特性：当你赋予它越多的真实性，那么它对真实性的要求就越高。如果你的Avatar是卡通人物，那么大脑可能并不会介意它到底有多少根手指，相反，如果Avatar是超写实人类，那么大脑可能会开始注意皮肤上面的不完全真实的光线反射细节。
刘强东AI数字人直播带货，图源：网络
Vision Pro也采用了类似技巧，以试图让MR社交变得可信。
比如Persona没有手臂、没有腿和脚，它们有点类似于漂浮在空间的幽灵，看起来显然不是真实的，不过这也不失为一种逃避问题的办法：因为Persona在你的设定中是一个幽灵，因而它漂浮在椅子上、沙发上甚至卡在墙里，你也不会出现强烈的违和感。
（不过奇怪的是，外界对于Meta Avatar没有腿这件事似乎诸多抱怨。）
网友测试新版本Persona，图源：X
如果你的MR社交体验并不需要太多真实感，那么里面也可以设计一些小技巧，比如你可以让某些人看起来像幽灵或者一片云，这些粒子本身就可以存在任何一个地方。
此外，应用在启动时也可以考虑自动将Avatar尽量传送在相近的地点，这样能避免过多走动。
甚至，应用可以预先考虑某种物理空间的差异，比如用户A的房间尺寸为2m×2m，用户B的房间尺寸为4m×4m，那么可以考虑将B的步幅调大一倍。
（不过这里面也会出现很多不可控因素，应尽量避免使用。）
六、偏弱体验的社交
某些时候，MR社交场景其实可以打造成单纯的语音聊天室，即玩家的Avatar不一定需要相互见面。不过仅凭语音、缺乏肢体交流可能会导致用户联系没那么紧密，这时候，可以考虑设计一些独特的互动体验：比如用户按下某一按键，另一用户的家里面就会绽放鲜花。
VR社交应用《Where Thoughts Go》其实也提供了一个很好的思路，玩家可以在虚拟气泡中留下个人的语音信息，然后将其分享给社区的其他人。（有点类似于语音漂流瓶）。而未来MR社交也可以借鉴这种形式：即便用户之间没有直接互动，也可以留给对方某些线索或者彩蛋。
图源：《Where Thoughts Go》
七、基于各自空间的建模
在终极场景下，如果我想在家里就能打造一场MR社交，并且远程的朋友也乐在其中，这里还有一种解决方案：我们可以预先将我们的空间进行3D扫描，然后邀请朋友进入这一空间。
在这种情况下，他们基于VR模式进入体验，他们的虚拟世界其实就是你的真实房间。而你则可以基于透视模式下运行，双方都能在相同的环境下获得相同的体验。
实际上，Quest 3也有扫描房间3D网格并共享的功能，不过它的扫描效果十分粗糙，并且会丢失纹理细节，用户只能进入一个纯白背景的虚拟世界。
此外，Varjo Reality Cloud（Varjo推出的一个云服务平台）也可以实现类似功能：Varjo头显可通过摄像头扫描房间并上传到云平台，而重建数据也能分享给其他用户。
图源：Varjo
根据一些体验视频，Varjo Reality Cloud所构建的这一体验仍十分粗糙，不过它是一个不错的原型。
我也十分喜欢这一解决方案，目前它可能是唯一能够真正实现远程邀请朋友来“家里做客”的方式：我能实现混合现实体验，并且双方都基于同一空间，动作行为保持连贯。
来源：https://skarredghost.com/2024/04/15/social-mixed-reality-how-design/