谷歌推出人类动作识别数据集AVA
极客时间编辑部
讲述:丁婵大小:1004.19K时长:02:09
教机器理解视频中的人的行为是计算机视觉中的一个基本研究问题,对个人视频搜索和发现、运动分析和手势界面等应用都十分重要。
近日,谷歌发布了一个新的电影片段数据集 AVA(atomic visual action),旨在教机器理解人的活动。 AVA 以人类为中心进行标注,包含 57600 个标记好的视频,详细记录了 80 类动作,有助于人类行为识别系统的研究。
这些视频片段对人类来说并不是很特别的东西,仅仅是 YouTube 上包含人们喝水、做饭等动作的短视频片段。但每段视频都与一个文件捆绑在一起,这个文件勾勒了机器学习算法应该观察的人,以及应该如何描述他们的姿势,他们是否正在与另一个人或物进行互动等。
这项技术可以帮助谷歌分析 YouTube 上的视频。它可以用来更好地投放定向广告,或用于内容过滤。作者在相应的研究论文中写道,最终的目标是教会计算机社会视觉智能(social visual intelligence),也就是“理解人类正在做什么,他们下一步将会做什么,以及他们想要达到的目的。”
与其他动作数据集相比,AVA 具有以下几个关键特征:
1. 以人类为中心的标注(Person-centric annotation)。每个动作标签都与一个人相关联,而不是与一个视频或视频剪辑关联。因此,AVA 能够为在同一场景中执行不同动作的多个人分配不同的标签,这是种很常见的情况。
2. 原子视觉动作(Atomic visual actions)。AVA 将动作标签限制在 3 秒之内,同时,动作需要是物理性质的,并且有清晰的视觉信号。
3. 真实的视频材料。AVA 使用不同类型、不同国家的电影作为数据源,因此,数据中包含了广泛的人类行为。
研究人员在论文中写道,他们希望 AVA 的发布将有助于人类行为识别系统的研究,提供基于个人行为层面的精细标签,为对复杂活动进行建模提供机会。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》,如需阅读全部文章,
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论