大数据应用实战
曹犟
神策数据联合创始人 & CTO
662 人已学习
新⼈⾸单¥59
大数据应用实战
15
15
1.0x
00:00/00:00
登录|注册

03|数据采集(下):不同类型数据采集的技术方案

你好,我是曹犟。
在上一节课中,我们讨论了什么是一个好的数据采集方案,如何根据业务需求确定要采集的数据范围,以及通常有哪些类型的数据需要采集。这节课中,我们则会针对主要的数据类型,来学习每类数据分别应该采用什么样的技术方案进行采集。
由于我们在第 23 节课中会专门讨论大模型带来的多模态数据的处理,因此在这节课中,我们暂时先不专门针对多模态数据采集的技术方案做讨论。
为了便于同学们在学习后能够马上用到自己的项目之中,我们依然会以免费的或者开源的方案为主。
随着互联网的发展进入到红海阶段,对于用户的精细化经营成为几乎每家公司的必备。在这种情况下,用户行为数据的价值有了巨大的提升。而采集用户行为主要是在客户端进行采集,所以我们首先来看这个技术方案。

客户端埋点

客户端的范围一般包括 Web、App、小程序,甚至车机、智慧大屏等。广义上,所有用户直接交互、打交道,并用它完成特定任务的软硬件,都可以叫做客户端。
在客户端采集数据在行业内有一个比较通用的术语,叫做埋点。客户端埋点可以在用户使用客户端的过程中,一个行为发生或者属性变化的现场就完成数据的采集,是一个从逻辑上非常直观的采集方式,因此也成为了当前用户行为和用户属性数据采集的主流方案。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
  • 解释
  • 总结

1. 客户端埋点是一种主流的用户行为和属性数据采集方案,包括全埋点和代码埋点两种模式,需要注意数据传输安全和维护挑战。 2. 服务端埋点通常作为客户端埋点的补充,可以提高数据准确率,需要将埋点视作开发过程的一部分。 3. 数据探查是业务数据库数据采集中的关键方面,需要充分了解业务数据库的数据内容,包括表字段的含义、数据的分布、空值和异常值等。 4. 第三方数据采集面临着合规、数据一致性、稳定性和容错处理、成本控制与效率优化等挑战,需要在合法合规的前提下采集数据,并确保数据传输的完整性和准确性。 5. 数据产品经理的重要职责包括确定数据采集方案,了解每类数据采集的技术方案,对于组织内部的协作和业务决策都有帮助。 These key points summarize the main topics related to data collection, including client-side and server-side tracking, data exploration in business databases, challenges in collecting third-party data, and the role of data product managers in determining data collection strategies.

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《大数据应用实战》
新⼈⾸单¥59
立即购买
登录 后留言

全部留言(2)

  • 最新
  • 精选
  • 亚林
    保证安全合规。从技术的角度,有哪些方面需要注意的?这块了解是真少,这个直接找公司自己的法务,估计也谈不太清楚。
    2025-10-29归属地:湖南
  • 一滴水的波浪
    曹犟老师,不建议从数据库表中实时采集数据是出于什么考虑啊?从业务产生数据环节采集有时候还挺困难,需要涉及业务系统配合改造
    2025-10-29归属地:北京
收起评论
显示
设置
留言
2
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部