近日, GSXR重要成员NOLO在其自媒体账号发布了其关于手势识别技术的演示片段。从视频内容可以看出,工作人员佩戴NOLO即将发售的设备NOLO SONIC 2,裸手流畅的进行点、按、捏、拖拽、滑动等动作。NOLO官方表示该项技术不仅搭载于NOLO SONIC 2设备,还将对外开发合作。凭借更加自然和直观的操作方式,NOLO的手势识别技术将作为GSXR标准下交互输入的技术方案的新范式补充。

2021年3月,由中国移动牵头,联合产业伙伴发起的中国XR通用标准(GSXR)正式对外发布,并在CCSA扩展现实产业及标准推进委员会引领下在产业中快速推广,该标准旨在构建起中国的XR跨平台互通体系,使得行业参与者基于该标准开展硬件、平台、内容开发,即可确保所开发的软件应用均可运行在针对该标准做过适配的硬件上。此标准的正式施行极大的降低了XR软硬件适配难度,加速推动了行业发展。

GSXR标准的正式实施,不仅为XR行业提供了通用接口规范,降低了开发者接入成本;同时将软件功能集成SDK的形式,服务于XR行业。

腾讯搜狗输入法正是通过此种路径成为GSXR标准内首个「中文输入」解决方案,也是标准内重要的人机交互解决方案之一。腾讯搜狗输入法为XR系统提供专属、智能和高效的语音输入和键盘输入模式,还能根据系统输入框类型匹配多形态键盘。其中行业首创的语音输入,让用户解放双手,动动嘴就能打字;搜狗通过软硬件结合的方式进行创新,优化手柄输入体验,提升输入效率;结合手势算法能力,还可进行裸手输入,让用户体验到更沉浸,更智能的输入方式。当下搜狗VR输入法已服务于中国XR行业的硬件产品,并在中国移动 x NOLO联合品牌VR终端中作为首个基线产品实现应用落地。

NOLO发布的手势追踪技术同样基于GSXR标准协议研发,开发者可以通过GSXR的通用API接口,使用XR特性模块中的手势识别、骨骼节点、捏合姿态、手部追踪等功能用于XR应用开发。同时,为了方便开发者快速上手开发XR应用,GSXR提供了Unreal SDK、Unity SDK详细的说明文档以及论坛讨论功能。对接完毕后,用户可在XR设备内实现裸手进行点、按、选择、拖拽等更加自然和沉浸的操作。

提及该项技术的研发过程,NOLO相关技术负责人表示:“NOLO技术团队凭借人工智能的深度学习技术,借助真实手部图像和3D生成手部图像进行数据融合训练。用数百万张手部图像训练了一个专门的深度神经网络,其中手腕和手指拥有3D空间位姿;由此生成的手势数据通过GSXR协议传输到3D图形引擎渲染,再显示到VR眼镜中,最终达成了现实世界和VR世界的手势同步。同时为了保证识别的实时性,NOLO深度优化网络结构,保障在骁龙XR2芯片上单帧识别速度达到5ms以下;深度学习算法通过动态提取多帧数据中的手势信息,提高动作连贯性,以此达到流畅丝滑的识别效果。”

对于该项技术是否对外开放,NOLO相关负责人表示:“该项手势追踪技术除了用于NOLO SONIC 2,以不断丰富用户的体验感受。作为GSXR工作组的一员,我们持开放的态度,将此技术合作开放给CCSA扩展现实产业及标准推进委员会的成员,助力中国XR产业的快速发展。”

GSXR标准已执行2年,CCSA扩展现实产业及标准推进委员会将进一步推动扩展现实标准实施与落地,研发适合产业发展的测试解决方案,开展产品的测试认证,探索新应用模式,服务应用开发者,建设健康可持续的产业生态。接下来,中国移动(终端公司及咪咕文化)将依托GSXR统一标准,汇聚全领域内容,提供“标准-内容(应用)-平台”的一站式服务,打造“一个平台、N个内容资源、N个应用服务”的“1+N+N”服务体系,对外开放XR通用能力,提供端到端的解决方案。从标准、内容、终端等多方面,构建全领域XR矩阵,将XR技术赋能应用在教育、医疗、工业、体育、演艺等多个领域与场景。并以开放的态度,与产业伙伴一道共同建设健康的XR大生态,助力中国XR产业快速发展。