大数据十年，我看到的技术变化和趋势
蔡芳芳
讲述：丁婵大小：4.07M时长：02:58
计算和存储分离是近几年大数据架构领域颇受关注的一个技术风向。近日，InfoQ 采访到了阿里巴巴计算平台资深技术专家胡月军（花名一浪），聊了聊阿里搜索与广告引擎的技术演进脉络以及大数据领域近几年的技术趋势和变化。以下为重点内容。
胡月军表示，近年来，伴随着电商平台商品量的大量丰富、实时推荐的智能化运营兴起、购物体验的持续优化等，使得搜索和推荐的引擎技术也大致经历了三个阶段。
第一阶段主要关注点在引擎检索性能的提升，当时阿里做了很多关于索引构建、查询流程以及算分等组件的优化来提升引擎的 QPS。
随着业务的实时化需求越来越迫切，第二阶段的引擎在在线和离线都做了不少工作，在线引擎实现了内存索引以及辅表关联，离线基于 Flink 孵化了 Blink 的流计算引擎和 Porsche 在线机器学习平台，大大缩短了端到端的处理延迟，大幅提升了搜索和推荐的实时性购物体验。
第三阶段引擎的进步主要来自于支持算法的高效迭代以及持续提升搜索和推荐的精准性，阿里将引擎的召回和算分进行了分离，抽象出了 RankingService 服务，从而支持各种搜索和推荐召回场景的统一打分，同时支持在线深度学习计算，较好地提升了购物体验和成交引导。
此外，对于近三年大数据存储和计算引擎方面值得关注的新技术，胡月军认为，首先是存储和计算分离的兴起，比如 Snowflake 等，它使存储和计算资源可以各自根据需求进行伸缩，较好地节约了成本，当然这也给高效引擎的设计与实现带来了不少挑战。比如怎么设计专门的存储机型和高效 I/O 实现？怎么优化网络连接？怎么在计算节点 I/O 延迟可能会增大的情况下保证 Query 处理的低延迟？
其次，对于计算引擎本身，胡月军认为图计算和图像、视频处理的高效支持可能会是值得关注的技术方向。随着当下推荐、信用和安全等需求的兴起，对于关系的存储和处理越来越重要。目前各家引擎对图计算的支持还处在各显神通的阶段，后面的发展值得关注。图形和视频处理带来向量计算应用目前也原来越来广泛，目前已经有几家企业陆续将自己的技术开源。
以上就是今天的内容，希望对你有所帮助。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》，如需阅读全部文章，
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(1)
- 最新
- 精选
小桥流水三个阶段 1、查询引擎 2、实时兴起 3、引擎进步【高效算法等 精准营销、搜索】 最近发展 1、存储与计算的分离 2、计算引擎在图计算、视频方面的技术进步
收起评论