Meta AI 研究人员演示新模型 AGRoL：有望让虚拟化身“长出”双腿

admin

　　Meta AI 研究人员正趋向于呈现逼真化身腿部显示，而无需额外的追踪硬件。
　　开箱即用，目前的 VR 系统只追踪用户的头部和手部位置。用户的肘部、躯干和腿部的位置可以使用一类称为反向运动学（IK）的算法来估计，但这有时只对肘部准确，很少对腿部进行校正。对于每组给定的头部和手部位置，都有太多潜在的解决方案。

　　鉴于 IK 的局限性，如今的一些 VR 应用程序只显示用户手部，许多应用只示用户的上半身。使用 SteamVR 追踪支持的 PCVR 追踪器，例如 HTC Vive Tracker，但购买足够追踪器的用于身体追踪需要花费数百美元，且大多数游戏都不支持。
　　去年 9 月，Meta AI 研究人员展示了一个名为 QuestSim 的强化学习神经网络，该网络仅使用 Quest 2 及其手柄的追踪数据即可估计合理的全身姿势。但 QuestSim 的延迟为 160 毫秒，在在 72 Hz下超过 11 帧。它只适合在看别人的腿部化身，而不是自己，也没有提到系统的运行时性能或运行在什么 GPU 上。
　　在一篇名为《Avatars Grow Legs（ AGRoL ）》的新论文中，其他 Meta AI 研究人员和实习生 Yuming Du 展示了一种新方法，他们声称该方法“实现了最先进的性能”，计算要求低于以前的 AI 方法。AGRoL 是一种扩散模型，就像最近的 AI 图像生成系统，如 Stable Diffusion 和 OpenAI DALL·E 2。

　　与其他扩散模型和大多数 AI 研究论文不同，研究人员表示，AGRoL“可以在 NVIDIA V100 上实时运行”，运行速度约为 41 FPS。虽然 NVIDIA V100 是一个 15000 美元的 GPU，但相信经过几年优化，最终将能在智能手机上运行。例如，Google Assistant 和 Siri 中使用的语音识别和合成模型就是这种情况。
　　尽管如此，没有迹象表明 AGRoL 身体姿势将很快出现在 Meta Quest 产品中。Meta 确实宣布虚拟化身将在今年获得腿部支持，但它可能会由技术上不那么先进的算法提供支持，并且仅适用于其他人的化身，而不是自己的化身。
  

                                      

本文来自http://vr.sina.com.cn/news/yx/2023-05-12/doc-imytnyka6725850.shtml