XR专用芯片：终将成就大年夜市场_芯片_技巧

2022年，Meta与高通宣告互助打造基于骁龙XR平台和技能的定制化VR芯片组，这意味着虚拟现实厂商的差异化竞争已经到达芯片层面。
近年来，越来越多的虚拟现实设备不再“蹭”手机处理器，转而选择了XR（包括VR、AR、MR）专用芯片。
如果说芯片等关键零部件的专有化，被业界视为虚拟现实走向家当化的主要标志，那么芯片的定制化，则是虚拟现实走向商用的又一个关键节点——VR整机产品的竞争已经到达芯片层面。

XR芯片的能力象限

8年前，曾经的Facebook（现已更名为Meta）豪掷20亿美元收购Oculus，是虚拟现实进入大众视野的标志性事宜。
如今的VR产品已不再局限于用线缆与电脑主机相连的头盔，一体机式的独立头显、风镜式的超短焦VR眼镜，开启了移动VR时期。
在VR成为独立设备的早期，许多厂商在VR整机中利用了智好手机处理器。
但随着VR的消费和行业用例越来越多，用户对佩戴体验的哀求越来越高，一款为XR设计的专用芯片成为业界的共性诉求。

“XR专用芯片方面必须知足终端在性能、功耗、连接、图形、AI等方面的哀求。
除了硬件芯片平台，空间定位、环境感知等算法也须要不断迭代。
沉浸式的XR体验由于视野较大，对付分辨率、刷新率、用户感知、环境感知、数据传输和显示时延、定位技能的需求，比较于智好手机等小视野设备提升了一个等级，因此对性能和功耗的需求也更高。
”高通技能公司中国区XR业务卖力人郭鹏向《中国电子报》表示。

随着越来越多的3A游戏开拓者进入VR领域，通过线缆与电脑连接的PC VR也对电脑的存储、处理器等芯片的性能提出了更高的哀求。

以VR冒险游戏《阿斯加德之怒》为例，其材质、纹理细节的渲染须要121GB的存储空间。
英特尔为PC VR玩家推举的电脑配置为16GB以上的DDR4内存，1TB以上的SSD，支持90fps（条记本电脑）或144fps（台式机）的GPU，Core i7（条记本电脑）或Core i9（台式机）处理器作为CPU。
英伟达更是将VR视为“哀求非常苛刻的PC运用”，其GeForce RTX GPU为前辈的VR头盔和GeForce Game Ready驱动（包括适用于VR游戏的新性能调度和更新）供应即插即用的兼容性。

与封闭式的VR设备不同，AR眼镜是一种半透光的可穿着设备，以实现虚拟元素在用户所见的真实场景的叠加。

亮风台市场总监洪雁菲向表示，AR整机一样平常分为一体机和分体机，分体机的处理单元借助手机，对芯片哀求弱。
对一体机而言，一样平常关注三个要素。
一是ISP（图像旗子暗记处理器）对付摄像头能力的支撑。
摄像头是AR感知、交互的入口，精良的AR体验须要结合不同类型的摄像头能力，如用于处理拍照、视频的主摄像头，鱼眼、支持眼动交互的次摄像头，同时也须要摄像头具备暗光、低照度等AI处理能力，以便更好地支撑产品体验。
二是CPU性能。
部分AR算法运行于CPU上，个中CPU的核心数与制程对SLAM、人脸识别、物体识别等AR算法有关键影响。
三是GPU，尤其是GPU的3D渲染能力。
相较VR而言，AR对付帧率的哀求稍低，一样平常在60帧旁边，但这仍旧是考虑芯片能力的关键点。

在VR仍以头盔式设备作为主流形态时，AR已经大规模采取独立眼镜式或者与手机连接的眼镜式形态。
这也意味着AR设备对虚实领悟能力和功耗的优化有着更加急迫的需求。

“AR的特点我们一样平常总结为空间互联、虚实领悟、智能交互，因此反应到芯片性能上，我们期待未来的芯片研发能在功耗优化上进一步提升。
功耗过高对产品的散热、续航等造成不利，进而反过来影响芯片性能的发挥。
AR可穿着设备的发展方向一定是小型化、轻量化，因此芯片功耗优化是当务之急。
”洪雁菲表示。

从共性技能优化到企业需求定制

XR已经重新兴技能走向消费市场和行业市场的落地阶段，XR芯片平台商也愈发看重下贱整机企业的个性化需求，参与推动芯机的联合调优。

平台级的芯片能力，涉及算法、系统、架构等层面的多维度赋能。
上海海思于2020年发布的XR芯片平台，就联手了AR企业Rokid共同优化平台专用的算法和方案，双方对语音、视觉、环境感知等AI打算能力做了大量的优化事情，完成了多路视频编解码的高分辨率低延时设计，从芯片规格、系统软件和云端做事多个层面，为XR行业供应AI、交互和多人协同等核心根本能力。

Meta与高通于今年签署的多年计策协议，将通过面向Meta Quest平台而定制的骁龙XR平台，优化产品体验。
据悉，两家公司的工程和产品团队将深化技能互助，打造下一代平台和核心技能，加速全面实现元宇宙的愿景。

截至目前，高通已经推出了三代XR专用方案。
在率先推出环球首个XR专用平台骁龙XR1的根本上，高通于2019年年底推出环球首个5G XR平台骁龙XR2。
除了根本的AI和5G、Wi-Fi连接支持，XR2平台还在视觉、交互和音频技能方面进行了定制优化，包含一个定制的始终开启、低功耗的Qualcomm Hexagon DSP，支持语音激活和情境侦测等硬件加速特性，让用户在沉浸于数字天下的同时也能听到真实天下的声音。

面向MR、空间打算等更加繁芜的XR用例对芯片性能、散热和空间定位及感知能力的更高哀求，高通于今年10月推出了最新旗舰XR平台第一代骁龙XR2+，以助力下一代MR、VR终端实现功耗和散热性能的提升。
该平台支持并行感知技能，包括头部、手势和手柄追踪、3D重修以及低时延视频透视。
该平台的高像素密度能够支持PC级虚拟景不雅观，并能够同时支持多个传感器和摄像头，为更逼真的虚拟人物授予细致入微的面部表情。

从面向XR技能本身的定制优化，到针对企业详细需求的定制化，XR芯片的开拓和迭代路径正在衍生出更多的层次。
这也意味开花费者和企业用户的个性化需求正在从下贱向上游传导，构成运用端、整机、底层硬件与根本软件开拓商协同互匆匆的正向循环。

AI是下一阶段的重点

今年1月，Meta与英伟达宣告联合打造大型AI研究超级打算机（以下简称RSC）。
RSC支配了760个英伟达DGX A100系统作为打算节点，共有6080个英伟达A100 GPU通过英伟达Quantum 200Gb/s InfiniBand网络连接，可供应1895（千万亿次）TF32打算性能。
Meta希望RSC能助力构建全新的AI系统。
例如，为一大群利用不同措辞的职员供应实时语音翻译，让他们可以无缝协作或一起玩AR游戏，终极为构建元宇宙铺平技能道路。

对付城市级空间打算、元宇宙等下一代XR技能，AI将在算法加速、感知识别、情境理解等关键节点发挥浸染。
高通公司总裁兼CEO安蒙在2022天下人工智能大会的演讲中表示，元宇宙须要学习温柔应不断变革的环境及用户偏好，因此AI对付塑造用户体验至关主要。
打算拍照和打算机视觉技能将支持对手部、眼球和位置的追踪，情境理解等深度感知功能。
基于AI的信息扫描和图像剖析，用户能够打造高度逼真的虚拟化身，提高用户本人和其他参与者的体验。
AI还将推动感知算法、3D渲染和重修技能的发展，以构建更加逼真的环境。
此外，自然措辞处理将支持机器和终端理解文本和语音，并采纳相应的行动。

构建虚拟空间所产生的弘大数据量，须要云、边、端协同的人工智能技能。
安蒙指出，AI处理能力须要拓展到边缘侧，情景丰富的数据在边缘产生，分布式智能应运而生。
这将显著地推动更加丰富的AI运用规模化地支配，同时整体提升云真个智能。
终端AI能够提升设备安全性，使敏感数据可以在本地保存，无须发送至云端。
终端AI还能够侦测恶意软件，这对付大规模共享环境至关主要。
此外，终端侧AI将赋能联邦打算等新的颠覆性技能，助力更高效地利用有限的网络资源和带宽。

“XR芯片设计中可以增加NPU异构打算能力。
把人脸识别、手势识别、眼动追踪等深度学习干系的运算放在NPU、GPU或DSP上，做好异构打算，进而有效降落CPU负载，减少系统相应韶光，提高流畅度。
”洪雁菲说。

作者丨张心怡

编辑丨陈炳欣

美编丨马利亚

监制丨连晓东