22 | 采集数据:用好一手数据和二手数据
郭炜
该思维导图由 AI 生成,仅供参考
数据给你一双看透本质的眼睛,这里是《数据分析思维课》,我是郭炜。
在上面一节课里,我们讲了如何确定我们要分析的数据问题,为整个数据分析的过程指明了方向。整个数据分析过程就像规划设计一个大的数据地图(就像玩 Simcity),先有了大的城市框架,再去规划每一个街区。
在规划这一步,测绘、逐步细化迭代非常重要。所以今天我就来给你讲讲测绘——也就是我们的数据采集。
我们进行问题决策的时候,如果没有数据采集,就会陷入经验主义,通过拍脑袋来进行决策,这不是数据分析思维的主张的方向。
现在我们有了方向和问题列表,那么数据会从哪里来呢?
我们在收集数据的时候,数据的来源会分为两大类:一手数据和二手数据。根据这些数据,我们会进行数据探索并产生一些衍生数据,最终为我们下一节课的数据分析思路组织与撰写提供弹药。
采集数据类型
我们先来看采集数据中的第一类数据来源:一手数据。一手数据主要来自企业内部的大数据平台、数据仓库以及相关系统,还有部分数据来自用户访谈和调研问卷以及内部沉淀的历史文档。
一手数据的特点就是数据可控,也正是因为数据都掌握在自己企业手中,理论上只要付出成本,我们可以拿到所有的想要的数据。也就是说,我们可以通过数据采集、建立相关流程业务系统来进行录入,或者开展大规模的用户访谈以及调研问卷去采集到我们想要的数据。这是一个企业数字资产积累的过程,现在很多企业都已经在关键业务流程上实现了数字化升级和转型。不过在数字化转型升级过程当中,有三点我觉得尤其需要注意。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
本文介绍了数据探索的三种常用方法:趋势分析法、快照扩展法和衍生指标法。趋势分析法通过捕捉数据的变化来找到关键问题和原因,需要关注离群点和数据的波动情况。快照扩展法则是通过扩展指标的分布情况来明确分析范围的目的。而衍生指标法则是通过制造衍生指标来拨开数据的迷雾,帮助看到更有意义的数据。此外,文章还以获客购买流程为例,详细介绍了数据分析的具体示例,包括数据的梳理和分析过程。整体来看,本文通过介绍数据探索的方法和具体示例,为读者提供了数据分析的思路和技巧。文章还提到了数据采集的方法和外部数据资料的使用,以及一些常用的网站和信息来源渠道,为读者提供了丰富的数据资源。文章内容丰富,涵盖了数据分析的基本方法和实际应用,对于想要深入了解数据探索和分析的读者具有很高的参考价值。
仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《数据分析思维课》,新⼈⾸单¥59
《数据分析思维课》,新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(9)
- 最新
- 精选
- 那时刻请问老师,数据探索过程中,有您提到的三种方法。比如在探索过程中,有了一个初步的结论,如何来校对我的初步结论的正确性呢?比如有可能是数据误差或者人为后续处理数据错误导致的问题。
作者回复: 数据准确性问题比较复杂,和企业整体数据治理水平有关系,分析人员只能交叉检测来处理,所以我为什么推荐大家直接使用明细数据而不是二次加工数据的原因,确保数据准确性很难
2021-09-171 - TeddyPM像神策这个第三方数据,属于框架图中的哪一个环节呀?
作者回复: 数据采集部分,在kafka之前的,没有在这个图里。
2021-10-19 - 范数据分析应该就是先按照结构化的形式细化分类,然后整合分析。细化的维度可以是时间维度(趋势分析法),结构的维度(类似于部门、地区、分类等,快照扩展),过程维度(细化一个商业过程从开始到结束)。2021-09-1810
- 艺霖子太爱老师了,我感觉在数据分析的路上,终于被带上了路。2021-09-262
- 进化菌干货好多,感谢老师的分享🙏2021-09-172
- 数据分析星球一手数据是公司内部自产可控的数据,一般有通过埋点获取的用户行为数据,也有一些结果性的业务数据,这些数据粒度很细,准确性较高,但是在使用前也要做数据探索,保证数据质量,要相信数据量再大,只要质量不高也挖掘不出信息,反之,质量很高,只要有一定量的数据(满足统计学检验)也能发现很多。二手数据多指从外部获取的,或者内部获取的别人加工过的数据,这些数据的数据源未知,加工逻辑未知,所以准确性很难保证,在使用时要尤其小心,一般仅作为标准benchmark,例如行业的roi是什么水平。最后,如何设计数据采集的方案,这取决于我们要分析哪些内容,通过文中的案例,我们不仅要结果类的指标,比如成单量,销售转化率等,还要有过程性的指标比如注册率,demo页访问率,除了指标外,我们还需要一些看指标的维度,比如不同渠道,不同关键字都是维度,确定了指标和维度后,我们就知道要获取哪些数据了,然后反推去获取这些数据即可。2022-10-26归属地:安徽1
- 艺霖子太实用了2021-09-261
- 刚毅坚卓然后通过下钻的方式来扩展这个指标的分布情况,请问一下老师这段话怎么理解呢。下钻的方式是什么意思呢2022-04-24
- 80分数据量不大的情况下,Excel中的数据透视表也能执行文中说的几种数据探索方法,面对更复杂的场景还有Power BI或者Tableau等自助式BI工具,可以帮助业务或者运营人员进行快速分析。2021-09-26
收起评论