数据中台实战课
郭忆
网易大数据专家
立即订阅
2712 人已学习
课程目录
已更新 12 讲 / 共 16 讲
0/2登录后,你可以任选2讲全文学习。
开篇词 (1讲)
开篇词 | 数据中台,是陷阱?还是金钥匙?
免费
原理篇 (4讲)
01 | 前因后果:为什么说数据中台是大数据的下一站?
免费
02 | 关键抉择: 到底什么样的企业应该建数据中台?
03 | 数据中台建设三板斧:方法论、组织和技术
特别放送|史凯:建设数据中台到底有什么用?
实现篇 (7讲)
04 | 元数据中心的关键目标和技术实现方案
05 | 如何统一管理纷繁杂乱的数据指标?
06 | 数据模型无法复用,归根结底还是设计问题
07 | 同事老打脸说数据有问题,该怎么彻底解决?
08 | 交付速度和质量问题解决了,老板说还得“省”
09 (一)| 数据服务到底解决了什么问题?
09(二) | 数据服务难道就是对外提供个API吗?
数据中台实战课
15
15
1.0x
00:00/00:00
登录|注册

09 (一)| 数据服务到底解决了什么问题?

郭忆 2020-04-22
你好,我是郭忆。
从 04 讲元数据中心开始,到 08 讲成本治理,我已经把元数据以及在它基础上的五大应用场景:数据发现(数据地图)、指标管理、模型设计、数据质量、成本优化,全部讲完了。这部分内容对应的就是数据中台 OneData 方法论。相信学完这部分内容之后,你已经了解了 OneData 方法论在企业内部落地的方法了。
而这节课我要和你聊的,是数据中台另外一个核心方法论,OneService 的实现:数据服务。
服务化在业务系统中提的比较多,它是业务系统化繁为简,实现业务拆分的必经之路(特别是这几年微服务的概念深入人心)。那对于数据中台,服务化意味着什么呢?数据服务到底解决了什么问题? 我相信很多人会有这样的疑问。
服务化:不同系统之间通过服务方式交互,服务通常以 API 接口形式存在。
当然,关于数据服务的“料”很多,信息比较密集,所以我会用两讲的时间帮你搞清楚这部分内容,今天咱们先来从问题入手,看一看数据服务解决了什么问题,打消你“为什么要有数据服务”这样的疑问。
在我看来,要想搞清楚数据服务解决了什么问题,就要先知道,没有数据服务,我们在日常数据建设中存在哪些痛点。

数据接入方式多样,接入效率低

数据中台加工好的数据,通常会以 Hive 表的形式存储在 HDFS 上。如果想直接通过数据报表或者数据产品前端展现,为了保证查询的速度,会把数据导出到一个中间存储上:
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《数据中台实战课》,如需阅读全部文章,
请订阅文章所属专栏。
立即订阅
登录 后留言

精选留言(5)

  • 发现新大陆
    oneservice建设过程中,数据使用方常常希望还是直接访问表,认为自身需求的多变中台无法快速适应,怎么办?在基本数据需求定义标准API的基础上,能否开放一个通用servcice,允许使用方传入SQL,支持多变的临时性需求,采用这种方式是否可行,会有什么问题・_・?
    2020-04-22
    2
  • 吴科🍀
    统一的数据服务,可以统一管理数据的权限,规范统一的数据格式,对外暴露的是服务接口,应用层不关心底层是MySQL还是oracle。
    我们也存在多份数据保存在不同的存储中的问题,某张宽表,在clickhouse,gp都保存了一份,不同的系统在用。业务场景不一样,不好统一。
    期待老师后面的课程。
    2020-04-22
    2
  • JohnT3e
    数据服务可以通过鉴权和数据分级分类实现数据访问时的安全控制。但数据接入,存储,备份恢复,乃至治理过程中的安全则需要其它方面的技术配合。比如加密传输,透明加密存储,集群访问认证控制,数据脱敏,开发环境和线上环境分离等
    2020-04-22
    2
  • 手心里的阳光
    赞,一直想请教一下,最后总结是用的什么工具呢?
    2020-04-24
  • leslie
    记得去年GOPS大会就有过2场关于安全的议题,特意去听过;其实目前安全这个词已经敏感的渗透的到各个环节。记得道哥曾经有过一句话“如果云计算还剩下最后一个属性,那就是安全”。
    数据服务并不是解决了数据的安全,数据的安全不仅仅是考服务就能解决的;它对于上下的依赖其实很明显,我们可以去看到云计算目前的框架就可以看到现在都是称为数据存储,一旦问题到数据服务了-说明已经到了接近最后一层了。
    谢谢今天的分享,期待后续课程。
    2020-04-22
收起评论
5
返回
顶部