为什么ELT比ETL更适合AI应用场景？
极客时间编辑部
讲述：丁婵大小：1.17M时长：02:33
近日，北京数见科技（DataPipeline）的 CTO 陈肃博士，结合 AI 应用的场景，介绍了为什么 ELT 是更适合 AI 应用场景的数据集成方案，而不是 ETL。
ELT（数据仓库） 和 ETL（数据仓库技术） 是数据集成的两种基本方式。前者专注于大数据的实时抽取和可靠传输，后者则包含了更丰富的数据转换功能。
据悉，数据集成包含三个基本的环节：抽取（Extract）、转换（Transform）、加载（Load）。而根据转换发生的顺序和位置，数据集成可以分为 ETL 和 ELT 两种模式。ETL 在数据源抽取后首先进行转换，然后将转换的结果写入目的地。ELT 则是在抽取后将结果先写入目的地，然后由下游应用利用数据库的聚合分析能力，或者外部计算框架（例如 Spark）来完成转换的步骤。
陈肃博士介绍了 ELT 更适合 AI 的应用场景的原因：
首先，这是由 AI 应用对数据转换的高度灵活性需求决定的。 绝大多数 AI 应用使用的算法模型都包括一个特征提取和变换的过程，根据算法的不同，这个特征提取可能是特征矩阵简单的归一化或平滑处理，也可以是用 One-Hot 编码进行维度特征的扩充，甚至其本身也需要用到其它模型的输出结果。这使得 AI 模型很难直接利用 ETL 工具内建的转换功能，来完成特征提取步骤。
其次，企业经常会基于同样的数据来构建不同的应用。 比如一家在线教育公司，构建了两个 AI 的应用，其中一个是针对各类课程的推荐应用，另外一个是自适应学习系统，这两个应用采用的具体模型的特征提取和处理方式完全不同。如果用 ETL 模式，就需要从源端抽取两遍数据。而采用 ELT 模式，则降低了对源端的依赖和访问频次。
最后，一些主流的机器学习框架（例如 Spark MLlib 和 Flink MLlib），对于分布式、并行化和容错都有良好的支持，并且易于进行节点扩容。 通过采用 ELT 模式，可以避免构建一个专有数据转换集群（可能还伴随着昂贵的 ETL 产品 License 费用），有利于降低总体拥有成本，同时提升系统的可维护性和扩展性。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》，如需阅读全部文章，
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示，欢迎踊跃留言。
收起评论