Facebook开源VR渲染图像系统DeepFocus
极客时间编辑部
讲述:杜力大小:2.00M时长:02:11
最近,Facebook 开源了 VR 渲染图像系统 DeepFocus。这是一个由 AI 驱动的新框架,用以在 VR 中渲染自然逼真的对焦效果。
据了解,它可以与高级原型头戴式设备配合工作,实时显现不同焦距下的模糊效果。例如,当佩戴 DeepFocus 支持的头戴式设备观看附近物体时,它就会立即聚焦清晰显示主要物体,而将背景物体虚化。这种散焦模糊对实现 VR 中的真实感和深度感知非常重要。
DeepFocus 是首个为 VR 应用程序实时生成该效果的系统。现在,Facebook 宣布开源数据集,以帮助 VR 研究界的其他人员。
据介绍,DeepFocus 的工作原理是让累积缓冲器这样的传统方法实现物理上的精确散焦模糊。但是,无法为复杂丰富的内容生成实时效果,因为这样的处理需求,即使是最先进的芯片也很难做到。
然而,Facebook 利用深度学习解决了该问题,他们开发了一种新颖的端到端卷积神经网络,在眼睛看到某场景的不同部分时,该网络会生成具有精确视网膜模糊的图像,包括保持容量的新交织层,以在完全保留图像细节的同时减少输入空间维度,该网络的卷积层以相同的、降低的空间分辨率运行,运行时间明显减少。
随着对新 VR 头戴式设备的研究进展加快,DeepFocus 能够模拟所需的精确视网膜模糊以生成极其逼真的视觉效果。该平台表明 AI 能够帮助解决 VR 中渲染高度计算密集性视觉效果的挑战。DeepFocus 为未来新型的显示系统解决实际渲染和优化限制打下了基础。
此外,DeepFocus 几乎适用所有 VR 游戏和应用程序。同时,它还兼容目前 VR 研究界在探索的 3 种支持调节的头戴式设备,包括变焦显示器、多焦点显示器和光场显示器。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》,如需阅读全部文章,
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论