Caffe贾扬清：AI时代软件开发的趋势和挑战
极客时间编辑部
讲述：丁婵大小：1.43M时长：03:07
此前，Robin.ly 硅谷交流活动邀请到 Caffe 作者贾扬清博士分享从 Caffe 到 PyTorch 的 AI 基础架构演进以及 AI 时代软件开发的趋势和挑战。本文精选了部分内容，希望对你有用。
贾扬清认为，从数据到决策是一个大趋势，在很多领域都有体现。比如在六七年前，他在做 PhD 的时候，做概率图模型，当数据进来之后，可以把数据建模成一个大的联合概率分布，但图模型关注的是怎样诠释不同数据，或者不同维度之间的关系、因果等。
所以，当时的做法一方面是计算、归纳，另一方面试图从统计的数据中提取一些逻辑、规律。贾扬清表示，如果纯用统计学或者深度学习，很难从中提炼出知识或设计新模型的指导原则，而他们要做的是思考接下来有什么新原则能够设计出更好的模型，可能是 AutoML，也可能是一种更新的原则。贾扬清认为从现有的数据中提炼出逻辑、知识是很挺重要的事情。
此外，贾扬清还分享了数据收集与处理方面的经验。他认为在设计人工智能基础设施时，可以把数据收集也集成进来，这在大公司可能不是大问题，但总体来说，目前还没有一个太好的方案。
贾扬清谈到，数据是自然产生的，但在应用时，他们发现数据的输送管道需要很紧密的整合到计算系统中。主要问题在于，第一是如何实际处理数据，就是怎么样用传统的 MapReduce 或者当下实时在线的方法将数据输入训练算法，特别是在高并发环境下。如果在 GPU 上做计算的话，由于 GPU 速度之快经常导致开发者的数据输入跟不上。
第二个问题是如何做好数据版本控制跟数据处理，贾扬清团队发现模型训练完滞留数据，验证时数据性能表现的非常好，而上线之后就不行了。最后发现是验证数据时出错，跟训练数据有重叠等问题。因此，怎么样让开发者容易发现这类问题，更好地做数据处理，其实与基础设施的数据收集有很大关系。
数据一直在变，即使是同一个数据，跑两次训练出来的结果都不一样。贾扬清称他们在 Facebook 做测试的时候，有时就算是两个矩阵应用，把 threading 换一下，从 4 个词变成 8 个词，结果都会不一样。
因此，怎么样来解释“正确性”，他们目前还不太清楚。在 Facebook，如何更好的做试验管理，可能没有一个好的答案，但对于任意实验来说，人们可以记录尽可能多的信息，以便在人工检查时能够有更多的资料。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》，如需阅读全部文章，
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示，欢迎踊跃留言。
收起评论