结束语 | 数据中台从哪里来，要到哪里去？
该思维导图由 AI 生成，仅供参考
荧光笔
直线
曲线- 深入了解
- 翻译
- 解释
- 总结
数据中台的重要性和构建方法是本文的核心内容。作者通过个人经历和观点深入探讨了数据中台的重要性，强调了数据中台团队需要独立于业务部门，同时又不能脱离业务，因为数据中台必须解决业务问题。文章指出了数据中台需要解决的核心问题：效率、质量和成本，并强调了数据中台需要解决如何让数据帮助业务解决更多问题的挑战。建议以1~2数据应用场景作为切入点，逐步构建数据中台，以降低风险并实现阶段性成果。最终，文章强调了数据中台的价值最终要回到业务价值上来，数据中台的价值最终体现在数据应用和数据解决业务问题上。数据中台和业务的关系密不可分，业务需要依赖数据中台来获得增长，而数据中台也需要依赖业务的口碑和认可来存活下去。整体而言，本文通过作者的亲身经历和观点，深入探讨了数据中台的重要性和构建方法，为读者提供了有益的技术见解。
《数据中台实战课》，新⼈⾸单¥59
全部留言(33)
- 最新
- 精选
- crossbell赞赞赞，唯一一个刷了4-5遍 专栏
作者回复: 感谢你的认可，希望对你有所帮助！
2020-05-11314 
Weehua这门课真的太棒了，让我对2年带团队做数据的工作经验教训有了新的认识和感受。我自己都听了N边，也推荐给了下面小伙伴，而且还专门组织一起学习，非常棒！作者回复: 非常感谢你的认可，真的有点小感动了，希望对你的工作和团队有所帮助，有时间可以来杭州喝茶~祝好~
2020-05-2728
leslie记得最近和同行沟通中有句很经典的话：中台其实就是在还之前的技术债。 我们最初在设计系统时都是点，可是点多了就要串联，数据不产生关联就没有价值；一大堆数据放在那里又需要各种维护成本甚至我们还不知道是否将来会用，当量变到某个值是就要去重精简。 中台其实有时就像我们自己学习到最后的学习笔记，这本笔记看似记录在某本书，可是真正关联的就那些，某些书籍之间本来就有交叉的其实就已经被我处理了。我觉得这个例子可能比较合适来解释中台。 谢谢老师的分享，期待将来有机会交流；愿未来一切更好。作者回复: 领悟很深刻！赞！
2020-05-1136- YuChEn-2020郭老师能说说业务使用数据中台的流程及评测、评定标准及方式吗？
作者回复: 你好~ 很多朋友都会说，我怎么知道我现在建设的是一个中台，还是一个基于Hadoop之上构建的数据仓库呢？ 这还要从中台的内涵来讲，中台的核心，包括两部分，其一是OneData，其二是OneService。检验第一个，你是不是OneData，我们就要看，你的数据模型复用度如何？ 是否存在跨层引用，数据是否符合规范？ 详细的这部分内容可以参考我在模型设计章节提出的如何度量数据中台的模型设计。其二，就是OneService，核心是数据服务化，就是你的数据，是不是通过API服务的方式实现对外的解耦，能不能实现接口的复用。 我觉得这是评估你建设的是不是一个真的数据中台的两个比较基本的判断方法~
2020-06-035 
北野豪横老师整套课程。，可以说在我的项目建设中帮了最大的忙，目前已经开始跟数据产品经理和领导层交流我的想法，限于商业没办法说太多，但是老师的这整套课可以说给了我一个大海中的灯塔，让我知道应该做什么，怎么做，多谢老师 ，多谢作者回复: 你好，感谢你的认可，也非常高兴，自己的一些经验可以帮助到你，让你有所收获。 数据中台是企业数据应用发展到一定阶段必然的选择，在数据中台建设中，建议采用渐进式的建设方法，结合数据应用场景，以1~2个场景作为出发点，关键是建立规范化的数据建设流程，让数据能够真正在业务场景中用起来。 我把一般企业数据建设和应用划分为4个阶段，第一个阶段，是BI 报表阶段，这个时候数据以可视化展现为主要目标。第二个阶段，是大数据平台阶段，主要是面临各种异构数据源系统，需要对数据进行清洗加工，ETL。第三个阶段，企业数据应用场景深化，需要结合具体业务场景，研发一些具备从数据展现，持续监控，发现问题，诊断问题，给出决策建议，到一键执行的完整闭环的数据产品，构建产品矩阵，此时就会涉及到数据中台的建设，强调数据和接口的共享和复用。最后数据应用会向实时化和智能化迈进，实时数据中台和AI中台的建设由此开展。 不过最近，我在思考，可能在第一个阶段和第二个阶段之间，还存在一个轻量化数仓的阶段，本身企业的数据量还不需要引入Hadoop这么重的分布式架构，需要轻量化的ETL解决方案，例如kettle，所以可能有1.5阶段轻量化数仓。 看到你的留言，一激动，多说了两句，把最近的一些想法也简单聊了两句，欢迎你有任何新的想法和经验，也可以在留言区与我们分享~ 再会~祝好~
2020-05-225
Jie再次谢谢老师，跟着学习受益匪浅。要实际使用到工作中去还有很长很长的路要走。专栏的内容现阶段对我来说还是杀鸡用的牛刀，正像结束语里说的，从业务中找切入点才是当务之急。作者回复: 对的，抓住业务痛点，用数据中台的方法论帮助业务解决当下的问题，才能凸显数据中台的价值。数据中台是数据建设发展到一定阶段的必然选择，所以不要急，如果现在没遇到这些问题，说明规模或者深度还不到，不过迟早一天会遇到，可以先按正确的方法去建设，到时候就不会出现“先污染，后治理”的问题啦！ 也感谢你的阅读，祝好！
2020-05-114
你好这么快就结篇了，最近落了好几节课，老师可以抽空回来看看我们的疑问吗？每看一遍都有新的收货，还会向您问问题的。作者回复: 嗯嗯，不好意思，最近回复的慢了一点，因为有好几个问题，问的都挺好的，我想组织一下，稍微花点时间详细回复一下。我这两天就会回复完的哈~ 感谢你的认可，也希望我们这些经验能帮助到你的日常工作~
2020-05-113
Derek D Huang郭老师，您好。反复听了很多次，收获满满，有两个问题请教： 1）开源hadoop平台维护是个大问题，请问网易是如何做好的？ 2）调度平台没有分享啊？感觉调度才是大问题，开源的都没有可以直接拿来就用的。作者回复: 你好，这门课程，主要介绍的是数据中台的落地实践，数据中台的核心在于OneData和OneService，所以并没有写Hadoop和调度平台，前者属于大数据的计算、存储引擎，后者属于大数据开发平台的范畴。 开源Hadoop的运维确实复杂度很高，但是网易从09年就开始搭建Hadoop集群，还有一直Hadoop的内核开发团队，针对Hadoop做了很多功能增强，比如垃圾回收站机制，另外，我们还自己研发了一套easyops的自动化安装、运维的系统，可以监测任务的大规模异常，通过工具化的方式，提高的运维的效率。 调度平台，我们是基于azkaban二次开发的，其他的oozie、airflow其他企业也有用。调度功能相对还是非常复杂的，尤其是大规模故障恢复的时候，尤为重要。 感谢你提问，祝好~
2020-09-122
Jerry Tan老师牛B,🐮作者回复: 你好，希望对你有所帮助，有什么问题可以在留言区与我互动。
2020-05-112
曹云直击痛点，看得停不下来，最快看完的专栏，干货满满~ 期望能展开讲讲，测试部门如何测试数据质量的话题作者回复: 嗯嗯，感谢你的认可。 最近，也在跟编辑沟通，希望增加一些新的章节，比如大数据的CI/CD Pipleline应该怎么做。 网易从去年到今年，在这块做了一些新的实践探索。我们所有的任务在提交的时候，是有一个Pipleline的，这个Pipleline其实包括了一些CheckList： 1. CodeReview，我们会提供一些版本的differ功能能，方便reivew的人去check代码的改动。 2. 数据测试相关报告，主要包括数据的形态探查分布，数据的比对（主要涉及一些模型重构的场景），SQL Scan。 3. 配置检查，比如调度时间是否设置合理，报警是否漏配，任务依赖是否有缺失？ 4. 该任务的下游影响范围。 结合上述信息，其他人就可以比较容易的审核任务的发布上线流程。 但是这套流程，是非常重的，对于敏捷开发来说，并不适用，所以要结合数据资产等级来落地。对于涉及下游对数据质量要求非常高的（例如电商场景里面资损相关的表），就必须要严格执行流程，但是对于一般的，则可以轻量化一点，比如不需要 Code Review,只需要第二步的SQL Scan和第三步的配置检查即可发布上线。 所以，数据质量，我们不仅在事后要做到早发现、早恢复，在事前，我们还要构建大数据的CI/CD Pipleline流程，将质量管控从事后推到事前。 希望我的回答对你做数据质量的管控，有所助益。
2020-07-211
