Facebook开源DensePose
极客时间编辑部
讲述:丁婵大小:1.16M时长:02:33
近日,Facebook AI 研究院(FAIR)开源了 DensePose,这是一个能够将人体所有像素的 2D RGB 图像实时映射到 3D 人体模型的应用。
近期,在人类理解上的研究都是聚焦于对稀疏的关节集合进行定位,例如手腕、手肘等。这对于手势或动作识别的应用来说是足够的,但是它输出的是缩减的图像解释。
为了进一步解释人体姿态的更多信息,通过照片来试穿新衣服,或者给照片中的朋友穿上衣服等。对于这些任务,需要更复杂的基于表面的图像解释。
为此,DensePose 项目就解决了这个问题,并旨在以基于表面的模型来理解图像中的人物。研究表明,用 DensePose 可以高效地计算人体的 2D RGB 图像和 3D 表面模型之间的密集对应关系。和通常的研究不同,该研究考虑的是整个人体,定义了超过 5000 个节点。
早期在这个问题上的研究,需要分钟级的计算时间来通过外部系统初始化(例如在人体关节定位中),而且很脆弱。而 DensePose 可以在单块 GPU 上每秒处理多帧图像,并且能同时对几十甚至几百个人进行计算。
在这项研究中,Facebook 引入了 DensePose-COCO,这是一个在 COCO 数据集的 5 万个人中,进行手工标注的真值数据集。其真值是以图像到表面的形式,在随机采样的人体位置上标注得到的。
此外,他们还为该任务开发了新的深度网络架构,该架构建立在 Facebook 人工智能实验室的 Detectron 系统上,并将其整合了密集姿态估计的功能。他们用三个输出管道来增强网络,通过训练来输出对人体部分和 UV 坐标的像素分配。最终得到的架构,达到了和 Mask-RCNN 一样的有效速度。
Facebook 希望 DensePose 能够将计算机视觉、增强现实和计算机图形学的研究者与开发者结合在一起,并且产生新的经验。
目前,DensePose 可以在 GitHub 上访问了,Facebook 还为 DensePose-COCO 发布了多个预训练模型与标注信息。如果你对此感兴趣,可以点击文末链接, 查看其GitHub 主页。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》,如需阅读全部文章,
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(1)
- 最新
- 精选
- cpw怎么看链接主页中的地址,很多链接还是在电脑中学习比较方便。
收起评论