Meta 甩出 10 大硬核技术,揭秘扎克伯格元宇宙野心

0

   it爱好者2022-08-29 22:27:15
说起 VR(虚拟现实)领域的前沿研究进展,全球最火爆的 VR 设备供应商 meta,绝对是引领市场风向的存在。

meta 的 CEO 马克・扎克伯格最近在访谈中透露了 meta 在元宇宙领域的最新布局。meta 将于 10 月推出新的 VR 头显 ——meta Quest Pro。

据悉,该头显的最大亮点是具有面部和眼动跟踪功能,可以让虚拟数字化身进行眼神交流。硬件分析师 Brad Lynch 认为,meta Quest Pro 将采用经过改进的 XR2 处理器,较现有的 XR2 处理器同比性能提升 30%。分析师郭明錤预测,Quest Pro 将使用单眼 2160×2160 分辨率的面板。

在访谈中,扎克伯格还谈到了元宇宙社交,他认为,从文字、图像、再到视频,社交媒体的载体正朝着更大的信息容量演变,而下一个能比视频承载更多信息量的载体,就在 VR 领域。

此前,扎克伯格亲自下场推荐自家的社交平台 Horizon Worlds,并发表了一张 VR 自拍。虽然照片遭到全网群嘲,不过扎克伯格还是为 Horizon Worlds 带起了一波全网热度。

▲ 不同 VR 头显分辨率对比

而让图像更加逼真的方法之一,就是尽可能地提升图像的分辨率。为此,meta 研发了原型机 Butterscotch,其特点就是具有“视网膜级别”的分辨率。

Butterscotch 的 PPD 达到 55,很接近每 1 度角 60 像素的“视网膜分辨率”水平,其分辨率是 Quest 2 的 2.5 倍,meta Reality Labs 科研部门 DSR 团队光学科学家 Yang Zhao 说,Butterscotch 的定制透镜模组中,有两个高精度玻璃镜片,镜片的表面质量更高,但也更重。此外,还有一个可衍射光线的特制透镜。玻璃透镜与衍射透镜组合后,即可呈现清晰的图像。

▲ Starburst 原型机

Starburst 原型机的特点是具备高 HDR(高动态范围成像)功能,其背光的最大亮度可达 20000nit,是现有 VR 头显 Quest 2 的 200 倍。meta Reality Labs 团队开发 Starburst 的目的是在虚拟环境中还原完整的室内照明,并探索能让用户实现最佳沉浸体验的理想亮度。

Starburst 采用 COB LED(常用于车灯上的 LED)取代原来的 LCD 屏幕背光,这在很大程度上提高了 LCD 的背光亮度,但也产生了更多的热量。因此,Starburst 还配备了风扇和 3D 打印散热底架。但是设备整体比较笨重,且耗电严重。在四项技术中,这项技术离上市的距离最远。

▲ Half Dome 发展史

Half Dome 是基于 Oculus Rift 改造的 VR 头显原型机,其特点是采用可变焦透镜。从第三代开始,Half Dome 的透镜从机械系统升级为电子变焦系统,减少了机械噪音和震动。Half Dome 3 有 32 个可切换的焦点平面。据体验者透露,通过 Half Dome 的动态变焦玩《Lucky’s Tale》等游戏时,视野里的图像焦点可以根据手柄移动的距离而变化。

02. Starburst 峰值亮度为 20000nit,是 Quest 2 的 200 倍

在本月举办的计算机图形顶会 SIGGRAPH 2022 上,外媒 Auganix 的记者 Sam Sprigg 特别体验了主打 HDR 功能的 VR 原型机 Starburst。Oculus Quest 2 是 meta 迄今推出的 VR 一体机巅峰之作,去年出货量突破千万台,是史上最畅销的 VR 产品,而 Starburst 的峰值亮度足足有 Quest 2 的 200 倍。

在展会现场,两台 Starburst 被挂在一个框架上供参与者体验。Starburst 的重量约为 2.5 公斤,这个数字对于头戴式设备而言,有点太大了。Sam Sprigg 说:“它太重了,你无法把它戴在头上,只能把它举到脸前。”并且,Starburst 需要大量电力支持其高亮度显示,所以它被固定在了框架上。

▲ 上面是普通模糊处理的 VR 效果,下面是注视点渲染技术模糊效果

2、视场角:VR 头显视场角比人眼小一倍

人类的平均水平视场角为 200 度,而目前大多数商用 VR 头显的水平视场角为 100 度。这意味着 VR 头显的视野范围比我们在真实环境中看到的更窄。此外,在垂直视场角方面,VR 头显也有改进的余地。

视野越宽,VR 头显呈现的像素也越多。这就要求更高的功率和更多的废热(waste heat)。此外,视线范围变宽后,视线范围边缘的图像容易失真。因此,更宽的视线范围需要更好的透镜技术支持。并且,研究人员还要确保镜头和显示器的构建方式不会增加 VR 头显的外形尺寸。

3、人体工程学(Ergonomics):VR 头显佩戴舒适度不够

目前大多数 VR 头显都会略显“笨重”,例如 Quest 2 的重量超过 500 克,其设备厚度(从面部突出的距离)达 8 厘米。这样的设备显然不会为用户带来很好的佩戴体验。理想的 VR 设备应该更轻薄,能让用户舒适地长时间佩戴。

Pancake 透镜和全息透镜或许会对减小头显体积有所帮助,目前 meta 的 Holocake 2 原型机正在往此方向探索,但其尚未发展到大规模生产的水平。

▲ “太阳镜”是 Holocake 1 原型机,透明的是 2016 年的 Oculus Rift

4、视力矫正显示屏:还未找到成本低廉的视力矫正显示屏

更好的 VR 头显应该具备视觉矫正功能,让用户不必在 VR 头显下还带着常规眼镜。这个问题可以通过特殊的镜头附件解决,但这不是理想的解决方案。最佳方案是头显的显示器自带视觉矫正功能,这样头显设计师就不再需要考虑适配眼镜等问题。

但挑战就在于,如何才能找到一种制造成本低廉,且不会额外增加头显重量的解决方式呢?

▲ 具有视力矫正功能的镜头附件已经存在,但它们并不是理想的解决方案

5、变焦:meta 原型机 Half Dome 可实现人眼变焦

在自然环境中,为了看清不同距离的画面,人眼可以自然变焦。但在 VR 头显中,因为人眼与屏幕之间的距离没有改变,所以人眼无法变焦,也无法看清远近景物之间的差别。这其中存在视觉辐辏调节冲突(vergence-accommodation-conflict)问题。所以有时用户会感到眼睛疲劳,甚至出现头痛和呕吐现象。

为了解决这个问题,meta 的研究人员开发了一系列支持“渐进式视觉”(progressive vision)的原型机 Half Dome。Half Dome 可以模拟不同的焦点平面,呈现出不同的模糊程度,从而帮助人眼在虚拟世界里调整焦距。

▲ 瞳孔的形状因人而异,这对眼动追踪技术来说是一个挑战

7、畸变校正:meta 研发失真模拟器,加快算法迭代速度

瞳孔的运动会引起图像的失真,进而降低用户的沉浸感,这种现象在配合变焦技术使用时尤其明显。为了开发校正算法,研究人员必须在实物头显上进行调整测试,但生产头显可能会耗费数周甚至数月,这大大拖延了算法的迭代时间。

为了解决这个问题,meta 研究团队开发了一种失真模拟器(distortion simulator)。有了这种模拟器,无需生产测试头显和特殊镜头,研究人员就能测试校正算法。

▲ 左边是一个 Oculus Rift,它挡住了 VR 用户的视线,右侧是早期的反向“透视”原型机

10、面部重建:meta 开展“虚拟化身”项目研究

meta 希望未来人们在虚拟环境中见面就像在现实中一样真实。为此,meta 正在展开了名为虚拟化身(Codec Avatars)的研究项目,该项目致力于为人们在虚拟环境中创建 3D 数字化身。

目前,VR 头显可以实时读取 VR 用户的面部表情,并将其转移到虚拟现实中。据悉,即将推出的 Quest Pro 或将成为 meta 第一款提供面部跟踪(face-tracking)的设备。

▲ Quest Pro 可以识别面部表情并将其传输到 VR 设备上

04.结语:meta 的 VR 技术已有突破,但仍需继续攻克技术难题

Lanman 在 SIGGRAPH 2022 上提出了目前 VR 头显面临的十大挑战,我们可以从中看到目前 meta 取得的进展和尚未解决的问题。meta 发布了四款原型机,目的是解决 VR 头显在分辨率、变焦、轻薄外形、HDR 四个方面的问题。这四款原型机各有所长,在各自领域获得了初步的技术进展。此外,meta 开展了虚拟化身项目助力 VR 头显的面部重建功能、开发了失真模拟器加速算法迭代。

这些原型机展现了现在 meta 在 VR 单项技术领域能达到的最高水准,但这些技术远远不足以打造出一个成熟的 VR 头显。目前仍存在一些 meta 暂时无法攻克的技术问题。例如 VR 头显的视场角比人眼更窄、VR 头显佩戴的舒适度不够、VR 头显还未配备视力矫正功能、VR 头显的眼动追踪技术不能适配所有人、VR 头显的“透视”技术尚不成熟等等。

细数目前 meta 在 VR 头显上的探索,我们可以发现,meta 已经在 VR 头显探索的路上走了很长的一段距离。但是,meta 离这条路的终点还很远。目前,VR 头显相关的各项技术都在积极开发中,但这些技术还远未成熟,离上市商用还有一段距离。从这个角度来看,VR 的爆发潮还很远。


0

Comment

评论协议 在此,我声明我已经阅读了规则,并且我知道关于网站讨论的信息和规则。点击查看信息。
0相关评论

华米去小米化!小米运动 App 改名 Zepp Life,可用于小米手环、小米体重秤等

三星电子普通员工 2021 年平均年薪约为 74 万元,是 CEO 的 1/44

山东电子健康码系统全面启用“场所码”服务(附使用方法)

京东金融 App 青春版宣布下线,聚焦学生用户和校园场景