Facebook提出DensePose数据集和网络架构
极客时间编辑部
讲述:丁婵大小:1.21M时长:02:38
近日,Facebook 发表了一篇研究论文,宣布已经训练出一套名为“DensePose”的先进系统,能够查看人物的 2D 照片或视频,并自动为人物目标创建出高清 3D 网格模型,这样的能力在众多领域都具有广泛的用途及影响。
研究人员们的动机是希望能够将这样的技术引入图形、增强现实或者人机交互领域,同时也有可能借此建立起实现基于 3D 对象的识别能力的技术基石。然而,根据现有研究成果以及即将发布的数据集来看,这项技术对于数字化监控同样极具现实意义。
从效能上来看,“DensePose”技术能够为复杂的场景构建起高精度的对应场景,并且出色的速度使其能够同时实时追踪多达数十个人物目标。
据介绍,在使用 GTX 1080 GPU 的前提下,该系统能以每秒 20 至 26 帧的速度运行。800x1100 分辨率的图像则可以实现每秒 5 帧。这样的表现大大超越了以往的先进系统,当然其性能水平仍然无法与人类的识别速度相提并论。
为了进行这项研究,Facebook 创建出一套基于“COCO 数据集”的全新数据集。据介绍,COCO 数据集当中包含 50000 张拥有不同坐标以及对应注释的人物图像,用于生成包含所描绘人物的 3D 地图。
在技术层面,研究人员们采用了多段式深度学习方法,也就是首先为某一对象确定关注区域,而后将各个特定区域交付至自己的深度学习管道,从而进一步执行对象区分与三维点预测及映射。
对于任何给定的图像,其中的每位人物都拥有相对稀疏的标签,每人大约拥有 100 至 150 条注释。为了增加神经网络的可用数据量,研究人员们利用监督系统在训练期间自动通过训练完成的模型添加其它数据点,从而人为强化数据资源。
据悉,这套系统使用了 Mask R-CNN 配合 Feature Pyramid Networks,二者都可以在 Facebook 刚刚发布的“Detectron”系统中使用。
根据论文对该系统的描述,此项研究在军事以及监控类用途方面有着重大意义,因此,一经发布就获得了广泛的关注。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》,如需阅读全部文章,
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论