13｜ETL：让数据从“原始”到“可用”

1. ETL包括Extract、Transform、Load三个步骤，分别代表数据的提取、转换和加载。 2. ETL和ELT的区别：传统ETL适合数据仓库场景，ELT更适合数据湖场景，而在湖仓一体架构中，两种方式结合使用。 3. 数据提取的实践要点包括全量抽取与抽样选择、质量检测、安全合规、血缘与追踪、性能优化。 4. 数据转换的核心技巧包括数据清洗、数据标准化、字段派生、多数据源整合。 5. ID-Mapping是识别出同一个用户在不同系统、不同渠道的不同数据源中的身份，是数据处理中的重要问题。 6. 数据加载的策略选择包括覆盖写入、追加写入和Upsert，需要根据目标表的更新方式选择合适的加载策略。 7. ETL开发的最佳实践包括幂等性设计、可重跑设计、完善的错误处理机制和调度与依赖管理能力。 8. 通过统一日志规范，将ETL工作“前置”可以提升效率，减少重复开发、维护困难和资源浪费。 9. 在实际的实践中，会碰到一些常见的陷阱，如数据倾斜问题、NULL值的处理、精度损失问题等，需要特别注意和处理。