13 | 数据研发就只是写代码吗？

作者回复: HI， 吴科， 今年之前，网易的离线和实时数据架构，还是采用的Lamda架构，即实时采用kafka+flink的方式，离线采用spark+hdfs的方式，从ods原始数据开始，kafka会归档一份数据到hdfs，然后分别计算，在数据应用场景上，T+1的数据用离线计算的，T+0的数据用实时链路的。历史数据以离线计算为准。 今年，我们引入的iceburg，正在研发批流一体的实时数据中台架构，iceburg可以实现upsert功能，可以实时更新，避免merge操作。用iceburg统一离线和实时的存储，同时在计算引擎上，主要使用flink，然后辅助用Spark进行校验。目前整套数据湖的方案还在研发中，当然Iceburg也存在一些挑战，比如怎么和现有的impala mpp集成，怎么基于iceburg文件粒度的元数据统计优化计算引擎性能，都是我们目前正在推进的工作。 感谢你的阅读~祝好~

作者回复: 对的哦，看来你也悟到了，其实数据中台和由微服务构建的技术中台很多技术原理都是相通的，比如数据服务，跟微服务中API网关有异曲同工之妙，这些例子还有很多，我只能说技术的原理都是相通，互相借鉴的，学透了一个，另外一个就会觉得似曾相识，当然，你也可以看看，数据中台中的核心知识点，是不是可以应用到其他的领域，比如AI中台等等，你一定也可以有新的发现。 很多创新都是把一些其他领域实践过方法论应用在一个新的领域，解决了新领域的某些问题，所以沉淀这些方法论就很重要，这也是每个公司为什么在职级晋升答辩时候，很看重这方面能力的原因。 这里多说了两句，希望对你有所帮助，感谢你的留言😃

作者回复: HI，WeehuaZheng，我在一个分享中，曾经提到过，数据建设过程中存在的效率、质量和成本的问题，背后深层次的原因，其实是流程规范、技术工具以及组织架构跟不上导致的。 而这三个原因又是环环相扣，息息相关的。组织架构是根本，流程规范和技术工具其实是相关的，流程规范制订的再好，必须要有技术工具帮他落地，否则流程规范就会成为空中楼阁，很难实施。 祝好~

作者回复: 或者看看是否可以说服自己的老板，建立一套规范化的数据研发，管理，应用流程？😁

作者回复: 你好，louShang， 模型设计完成以后，就进入到ETL开发的阶段，模型设计完成的是任务输入表和输出表的设计建模，ETL 完成的是任务代码的Coding。 当然，我们现在正在尝试的是，根据输入表和输出表，自动构建ETL任务，当然我们还仅仅是在集市层，没有复杂聚合场景下尝试，不过经过初步的测试，已经可以解放很大的数据研发的效能。 如果一些通过自动化代码构建无法完成的场景，是需要数据开发来构建对应的任务的。模型通过模型设计中心完成设计后，发布到测试环境，然后在测试环境开发对应的ETL任务，测试通过后，模型一键发布到生产环境，任务提交上线即可。 感谢你的提问，祝好~

作者回复: 我自己画图平时用的xmind的，编辑小姐姐会重新改一下，用keynote画的。

作者回复: 你好，能具体再描述一下纵向切分和横向切分分别代表什么含义么？ 一般数据开发团队的人员划分中，是按照主题域进行组织划分的。一个主题域由几个数据开发负责。

作者回复: 目前，这个是我们自研的，没看到有一些开源的工具产品。