滴滴机器学习平台架构演进之路
极客时间编辑部
讲述:杜力大小:2.04M时长:02:13
现在很多互联网公司都有自己的机器学习平台,冠以之名虽然形形色色,但就平台所要解决的问题和技术选型基本还是大同小异。
滴滴机器学习平台的治理思路主要是:减少重复、提高效率。最近,滴滴机器学习平台技术团队分享了机器学习平台不同阶段所要解决的问题,以及解决问题的思路和技术方案。
滴滴的机器学习平台建设开始于 2016 年,当时滴滴内部各算法团队逐步开展机器学习、深度学习等 AI 相关的研究和实践应用。但随着业务的开展,各算法团队仅针对各自的问题做规划,由此导致了一种小作坊式的生产局面。
作坊式生产方式在早期有其积极的一面,能够保证创新的灵活性,但是越往后,这种小作坊式算法生产模式的局限就越明显:资源缺乏统筹调度,无法形成规模化效应,大量重复性工作,自身的算力有限。逐渐增多的这种小作坊式生产方式致使整体投入产出的效益大打折扣。滴滴机器学习平台在这种背景下应运而生,这个阶段也主要致力于解决这些问题。
随着作坊逐渐消失,机器学习平台作为一种集中化的生产方式呈现给公司所有算法团队。平台功能开始完整和完善,监控体系、运维体系,更加精细化的资源隔离、管理及优化;根据用户不同的任务性质也提供了不同性质的任务支持。
此后,随着平台能力的增加以及孵化落地算法逐步丰富,加上滴滴内部数据、AI 工程和算法逐步积累成熟,机器学习平台的功能、定位也变得多样化。除了服务好滴滴内部机器学习平台用户,进一步夯实资源调度、任务管理、监控运维等能力外,平台开始承接内部能力对外输出的职能,期间机器学习平台和滴滴云着手在公有云上打造从底层资源到上层平台、从公有云到私有云的解决方案。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》,如需阅读全部文章,
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论