Facebook Reality Labs 希望帮助人们在虚拟现实中看到你的眼睛——即使结果介于轻微不安和噩梦之间。本周早些时候,FRL 发布了一篇关于“反向直通 VR”的论文,这是一种使 VR 头显减少物理隔离的方法。研究人员设计了一种将你的脸转换到头显前部的方法,尽管他们强调这仍然是实验性的。

“Passthrough VR”是指显示来自头显摄像头的实时视频馈送的功能,让用户在仍然戴着设备的同时看到真实世界。例如,Facebook 的 Oculus Quest 平台会在用户走出 VR 空间边界时向他们显示直通提要。它对于快速退出 VR 很有用,它还可以通过将虚拟对象添加到相机源来启用增强现实形式。但正如 FRL 指出的那样,即使佩戴者可以完美地看到他们,耳机用户周围的人也无法进行眼神交流。如果旁观者习惯于看到他们的朋友或同事裸露的脸,那会很尴尬。

FRL 科学家 Nathan Matsuda 决定改变这一点。一篇博文解释说,松田从 2019 年开始,当时他将 3D 显示器安装到 Oculus Rift S 耳机上。屏幕上显示了他上脸的虚拟渲染,定制装配的眼动追踪摄像头捕捉到了松田正在注视的地方,因此他的化身的眼睛可以指向同一个方向。结果基本上是松田戴着一个远程呈现平板电脑,展示了他自己的脸的副本——这可以说是同样尴尬,但更有趣的是后现代风格。

根据博客文章,FRL 首席科学家迈克尔·亚布拉什(Michael Abrash)——完全可以理解——并不认为这个想法非常实用。“我的第一反应是,这是一个愚蠢的想法,充其量是一种新奇,”他指出。“但我不会告诉研究人员该做什么,因为如果没有尝试新事物的自由,你就不会获得创新。”

松田坚持这个概念,在接下来的两年里,他带领一个团队开发了一种更苗条的设计。该团队在下周 SIGGRAPH 会议之前公布的原型头显为标准 VR 头显显示器增加了一堆镜头和摄像头。立体摄像头在头显内捕捉面部和眼睛的图像,并将它们的运动映射到面部的数字模型上。然后,图像被投影到朝外的光场显示器上。该显示器会产生一种通过厚厚的护目镜镜片观看并看到一双眼睛的错觉,尽管实际上您仍然看到的是实时动画副本。如果佩戴者跳回完整的 VR,显示屏可能会变黑,表明他们不再与外界接触。

结果是一副八角形护目镜,在 Terry Gilliam 的电影中看起来就像在家里一样。FRL 使用了一个虚拟人脸的简单渲染,但它也展示了系统及其更逼真的编解码器头像,如下所示。

FRL 承认系统的各个组件并非都是革命性的。HTC 已经为其 Vive Pro 头显安装了面部追踪插件;它将运动映射到 VR 内的虚拟形象上,而不是面向外的屏幕,但原理是相似的。本周的论文重点关注光场显示的潜力以及系统改善面对面社交互动的机会。

HoloLens 式投影眼镜理论上让您的脸部比直通显示器清晰得多——尽管很多眼镜都有深色镜片,而且正如VR 之路所指出的那样,透明镜片上的投射光也会挡住您的视线。但据报道,像苹果这样的公司正在试验直通式设计,Facebook 的新研究表明,实心屏幕不一定是眼神交流的障碍……某种意义上。