当两个人不在同一个房间时，在一个物理对象上进行协作可能是极具挑战性的，但一种新的远程会议系统允许远程用户操纵3D场景视图，以协助调试复杂硬件等复杂任务。
这个名为SharedNeRF的系统结合了两种图形渲染技术——一种是缓慢而逼真的，另一种是即时但不那么精确的——来帮助远程用户体验合作者的物理空间。
“这将是一个范式的转变，”开发该系统的信息科学领域博士生摩西·坂下(Mose Sakashita)说。
“它将使人们能够完成以前不可能完成的任务，这些任务很难通过只有一个角度的视频系统来传达。”
2023年，Sakashita在微软实习时设计了这款远程会议工具，当时他和安德鲁·威尔逊(Andrew Wilson)合作，威尔逊曾是康奈尔大学计算机科学专业的学生。Sakashita将于5月16日在计算机协会(ACM) CHI计算机系统人为因素会议(CHI'24)上展示这项工作，“SharedNeRF:利用逼真和视图依赖渲染进行实时和远程协作”。这篇论文获得了优秀奖。
威尔逊说:“当执行涉及物理对象的任务时，比如修理厨房水龙头或组装电路，今天的视频会议系统相当笨拙。”“最近，在计算机图形和渲染技术方面出现了大量创新。SharedNeRF是第一批使用这些技术来解决出现的问题的探索之一。”
Sakashita在康奈尔大学Ann S. Bowers计算与信息科学学院和多学院设计技术系的信息科学教授franois guimbreti<e:1>的实验室进行研究生研究，重点是开发支持远程协作的新技术。
SharedNeRF采用了一种新颖的远程协作方法，采用了一种称为神经辐射场(NeRF)的图形渲染方法。NeRF使用人工智能来使用2D图像构建场景的3D表示。它创造了令人难以置信的逼真描绘-完整的反射，透明的物体和精确的纹理-可以从任何方向观看。
在SharedNeRF系统中，当地合作者佩戴头戴式摄像机来记录现场。生成的图像将输入NeRF深度学习模型，该模型将场景以3D形式呈现给远程合作者，后者可以根据需要旋转视点。
当场景发生变化时，它会触发NeRF模型来更新视图。然而，这个更新需要一些时间——大约15秒——所以Sakashita的团队将NeRF创建的详细视觉效果与更快的点云渲染技术合并在一起。
头戴式摄像头和第二个RGB-D摄像头(用于检测颜色和深度)设置在用户对面，将场景捕捉为空间中的点集合。该方法可以快速传达场景的动态部分，如移动的手。
通过合并这两种渲染技术，远程用户可以通过NeRF从各个角度高质量地查看场景，同时还可以通过点云看到场景中的实时运动。
SharedNeRF还显示了本地合作者的头像，因此远程用户可以看到他们在看哪里。
七名志愿者通过与一名合作伙伴合作进行插花项目来测试SharedNeRF。当与标准的视频会议工具相比，或者仅仅是点云渲染时，5名志愿者更喜欢SharedNeRF。所有人都同意，这个系统帮助他们看到了设计的细节，并让他们更好地控制自己看到的东西。
Sakashita说:“我们发现人们真的很欣赏他们可以独立地改变观点。”许多人还喜欢能够放大和缩小插花，而不必向当地的合作者解释他们想看到的景色。
目前，SharedNeRF仅为一对一协作而设计，但研究人员设想它可以扩展到多个用户。这项技术还可以用来记录和存档事件，比如教育演示或手术，这样学生就可以从不同的角度重新观看。
Sakashita说，未来的工作将有必要提高图像质量，并通过虚拟现实或增强现实技术提供更身临其境的体验。
更多信息:SharedNeRF:利用真实感和视图依赖渲染进行实时和远程协作，计算机械协会(ACM) CHI计算系统中的人为因素会议(CHI'24)， programs.sigchi.org/chi/2024/p…3D视频会议工具让远程用户控制视图(2024,5月6日)检索自2024年5月6日https://techxplore.com/news/2024-05-3d-video-conferencing-tool-remote.html本文档受版权保护。除为私人学习或研究目的而进行的任何公平交易外，未经书面许可，不得转载任何部分。内容仅供参考之用。
