近日，新加坡国立大学和其他研究小组宣布推出了 HOSNeRF，这是一种新的渲染技术，可以使用单个 2D 摄像机创建高清 3D 图像。
来自新加坡国立大学和其他机构的一个研究小组宣布了一项新的渲染技术，名为“人-物-场景神经辐射场（HOSNeRF）”，可以在任何时间点从单个视频创建 360° 图像，即使是没有用 360° 摄像头拍摄的视频也可以比传统方法更清晰地渲染人体动作。
HOSNeRF 基于一种称为神经辐射场（NeRF）的技术。而 NeRF 是一种使用深度学习在多个角度拍摄的 2D 图像中创建 3D 图像的方法。自 2020 年引入 NeRF 以来，从 2D 视频生成 3D 图像的技术开发一直在进行中，其中之一就是 HOSNeRF。
与具有固定构图的图像不同，视频在主体（例如人类和网球拍）之间创建复杂的交互（例如打网球）。此外，人类不会一直携带球拍，有时他们会放下球拍或携带袋子，很难准确渲染这种人与物体的交互和物体转移，这被认为是视频自由视角渲染的一个挑战。
为了解决这些问题，HOSNeRF 引入了一种表达人体骨骼和物体骨骼的机制，以及一种处理物体状态变化的机制。在涉及物体与环境交互的视频中，成功地实现了高精度的自由视点渲染。
查看研究团队创建的比较图像，可以看出物体的排列、模糊和虚化现象比其他方法更少。
在他们的论文中，研究小组还指出，HOSNeRF 是一种专注于“人和物体”的动态建模方法，目前缺乏动态表示“背景”的能力，未来进一步的研究可能会开发一种忠实的背景渲染方法。
| 
京公网安备 11010502053125号