作者回复: 你好,我们在公有云上,有一套对外的体验Demo系统,百度搜索网易大数据,猛犸,可以找到。
这里面有我文中提到的工具,可以试用体验,不妨去试试看~
作者回复: 你好,吴科。
实时报表这块,我们是基于kafka数据写kudu,然后在kudu上架impala来查询的,因为kudu可更新,所以不存在Merge的过程。BI 基于impala查询实时数据。
自助取数平台你可以实验一下,对于非技术人员,或者不懂SQL的取数,还是有很大的帮助的,也可以避免SQL比较差的问题。
作者回复: 说的挺好的,但是其实,一般自助分析,这种产品,不太可能作为第二阶段,往往是数据产品,包括携带一些智能决策功能的数据产品,也就是你所指的第三个阶段,会更在前面,因为只要专业的人(分析师)把这个东西做好,然后给业务人员用就好,业务人员其实并不具备自助分析的能力。而要让每个业务人员都能做到自助分析,那要到第三个阶段。这是我看到的在实际企业落地的过程。
如果你指的自助分析,是tableau,其实他是BI的范畴,属于第一个阶段。
作者回复: 感谢、感谢~ 希望对你的工作有所帮助~
作者回复: 你好,aof,
全维度钻取的前提,必须是数据中台的指标有这个对应的分析维度,但是一个指标的可分析维度是非常多的,对于一个有经验的分析师,他可以快速知道,但是对于一个新人,他其实并不清楚数据中台中,某个指标有哪些可分析的维度,全维度钻取,可以充分利用数据中台的能力。
但是如果数据中台中,都没有这个指标对应的维度,那肯定是不行的。
全维度钻取,要解决的问题是,数据中台的分析维度很多,单个分析师,针对某个指标,维度知道的不全,导致可能遗漏了某些关键信息。
作者回复: 对的,图形化的取数,可以降低取数的门槛,同时也可以避免一些比较差的SQL 消耗大量的查询引擎资源,在取数平台层,把SQL优化好。
感谢你的阅读~
作者回复: HI, 你好
自助取数,用户是根据指标(度量)、维度去完成取数的。一个很典型的场景,就是用户根据指标,筛选一些维度,比如消费额大于50的会员,会员是维度,消费额是指标。自助取数为了方便取数的人,能够理解指标的计算口径,必须要展示指标系统中指标的口径定义。
自助取数的模型,当然要现在模型设计中心中完成集市层模型的建模,然后才能配置在自助取数系统中。
感谢你的提问,祝好~
作者回复: 你好,你指的是EasyFetch 自助取数的可视化查询页面么,我在内容中有贴一个图,其实单纯界面来看,并不复杂,用户主要是通过勾选一些指标和维度,做查询。你可以具体参考一下文章中的图片。
感谢你的阅读~
作者回复: 你好,你也感受到了数据质量问题的重要性了。
其实,我在前面的留言中,也讲了我们解决业务系统数据库变更导致的数据中台数据质量问题,这个可以通过增加一个协作流程解决,在第12讲中,我会介绍数据中台的协作流程。在源系统数据库变更工单提交的时候,根据其影响的下游表,通知到对应表的负责人,由负责人确认后,才能完成变更。
感谢你的阅读。