02｜数据采集：优秀数据采集方案的设计标准
曹犟
你好，我是曹犟。
上一节课中，我们整体介绍了一个典型的大数据系统的基本架构与设计，从这一节课开始，我们要开始逐渐深入系统的每一个关键步骤。这节课，我们先讨论数据流角度上的第一个环节——数据采集。
不知道你会不会碰到类似这样的问题，例如：老板让我开发一个数据中台，那么我到底应该要收集哪些数据呢？或者是：我现在的数据收集方案，是最有效的吗？能够满足未来需求的扩展吗？这节课，我们将针对类似的问题，进行讨论。
课程中，我们将为了满足数据统计、分析、挖掘的需要，搜集和获取各种数据的过程，统一叫做数据采集。
从我过去接近 20 年构建大数据系统的经验来看，任何大数据系统的构建都始于数据采集。数据采集的覆盖范围与完整性，也直接决定了系统最终的应用的质量。没有高质量的数据采集环节，采集的数据不够全面、不够准确，那么不论后续的处理技术多么先进，也无法从数据中获得有用的价值。
国际数据公司（IDC）在《数据时代 2025》报告对于数据质量的重要性也表达了类似的观点。而 Gartner 的研究表明，企业中约 40% 的决策失误归因于低质量的数据，而 70% 的数据质量问题可追溯至采集环节。
因此，要构建一个好的大数据系统，发挥出数据的价值，首先必须保证要设计出一个好的数据采集方案。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
1. 一个优秀的数据采集方案应该具备“大”“全”“细”“时”四个评估标准，即要充分考虑数据规模的增长、全面采集有价值的数据、采集的数据字段尽可能细致准确、数据采集和处理过程的时效性能够满足后续数据应用的需求。 2. 数据采集方案设计需要根据具体业务场景和应用需求，在“大”“全”“细”“时”四个维度上找到合适的平衡点。 3. 数据采集方案的设计需要充分考虑后续数据应用的需求，如实时推荐系统、库存预警系统和用户画像等。 4. 确定要采集的数据范围时存在两种方法论：目标导向性和建设导向性。 5. 可采集的数据分为私域数据和公域数据，私域数据是企业自身拥有完全所有权和控制权的数据，而公域数据则归属于公共机构、第三方合作伙伴或公开渠道。 6. 数据类型包括用户类数据、业务类运行数据、内容类数据、IOT 数据和第三方接口数据，需要根据数据类型采用不同的技术方案。 7. 数据采集方案的设计对于数据开发工程师、数据产品经理非常重要，同时产品经理、数据分析师也应该深度参与设计一个合理的数据采集方案。 These key points summarize the importance of a comprehensive and balanced data collection strategy, the considerations for determining the scope of data collection, the types of collectible data, and the involvement of various roles in the design of a data collection plan.
仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《大数据应用实战》，新⼈⾸单¥59
《大数据应用实战》，新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(1)
- 最新
- 精选
Mr.H老师，采集业务日志时，如果不通过sdk方式采集，而是先将数据推送到kafka，再用logstash进行数据采集和转换，是不是也可以2025-10-27归属地：浙江
收起评论