蔡元楠:大规模数据处理技术的四大误区
极客时间编辑部
讲述:丁婵大小:2.21M时长:02:24
最近,Google Brain 担任人工智能的健康医疗应用领域资深工程师蔡元楠表示,大部分人都还没有正确理解数据处理技术,常见的误区有如下几种。
第一,低估了数据处理的重要性。
没有高质量的数据处理的话,人工智能是只有人工没有智能的。谷歌也曾在很长的一段时间里低估过数据处理,例如在语义理解上,谷歌认为自己有最多的搜索文本数据、最好的算法,那就一定能把语义理解做的最好。可是到 2016 年左右,一个名不见经传的德国小公司却一举超过了谷歌,大家都很惊讶,后来发现原来他们凭借的是高质量的数据标注和处理。
第二,低估了数据处理工程师在组织架构上的重要性。
许多工程师都喜欢自嘲自己的工作是“搬砖”,事实也正是如此。很多人的工作内容都避不开数据的搬运和处理。可能连他们自己都还没有意识到,即使是一个写前端的工程师,很多工作还是数据处理。
大数据领域泰斗级人物杰西·安德森(Jesse Anderson)曾做过一项研究,一个人工智能团队的合理组织架构,需要 4/5 的数据处理工程师。很不幸,很多团队没有认识到这一点。
第三,低估了数据处理规模变大带来的复杂度。
很多人可能还没有遇到过“大规模”数据的问题,容易把问题想简单了。蔡元楠表示,他在谷歌面试过很多优秀的候选人,应对普通的编程问题,他们能够用算法和数据结构解决得很好。可是追问数据规模变大时怎么设计系统,他们的回答却并不让人满意。
这时就要思考,当你的产品从 1 万用户到 1 亿用户,技术团队从 10 个人到 1000 个人,之前的方法还能奏效吗?
第四,高估了上手数据处理的难度。
一方面我们需要认识到大规模的数据处理是有复杂的因素的。但另一方面,有了正确的工具和技术理念,现在上手数据处理并不困难。在谷歌,有很多应届生来了半年后也能轻松应对上亿的数据量。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》,如需阅读全部文章,
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(1)
- 最新
- 精选
- 飞翔是的
收起评论