从0开始学大数据
李智慧
同程艺龙交通首席架构师，前Intel大数据架构师，《大型网站技术架构》作者
立即订阅
14333 人已学习
课程目录
已完结 46 讲
0/4登录后，你可以任选4讲全文学习。
开篇词 (1讲)
开篇词 | 为什么说每个软件工程师都应该懂大数据技术？
免费
预习模块 (3讲)
预习 01 | 大数据技术发展史：大数据的前世今生
预习 02 | 大数据应用发展史：从搜索引擎到人工智能
预习 03 | 大数据应用领域：数据驱动一切
模块一 Hadoop大数据原理与架构 (7讲)
04 | 移动计算比移动数据更划算
05 | 从RAID看垂直伸缩到水平伸缩的演化
06 | 新技术层出不穷，HDFS依然是存储的王者
07 | 为什么说MapReduce既是编程模型又是计算框架？
08 | MapReduce如何让数据完成一次旅行？
09 | 为什么我们管Yarn叫作资源调度框架？
10 | 模块答疑：我们能从Hadoop学到什么？
模块二 大数据生态体系主要产品原理与架构 (7讲)
11 | Hive是如何让MapReduce实现SQL操作的？
12 | 我们并没有觉得MapReduce速度慢，直到Spark出现
13 | 同样的本质，为何Spark可以更高效？
14 | BigTable的开源实现：HBase
15 | 流式计算的代表：Storm、Flink、Spark Streaming
16 | ZooKeeper是如何保证数据一致性的？
17 | 模块答疑：这么多技术，到底都能用在什么场景里？
模块三 大数据开发实践 (8讲)
18 | 如何自己开发一个大数据SQL引擎？
19 | Spark的性能优化案例分析（上）
20 | Spark的性能优化案例分析（下）
21 | 从阿里内部产品看海量数据处理系统的设计（上）：Doris的立项
22 | 从阿里内部产品看海量数据处理系统的设计（下）：架构与创新
23 | 大数据基准测试可以带来什么好处？
24 | 从大数据性能测试工具Dew看如何快速开发大数据系统
25 | 模块答疑：我能从大厂的大数据开发实践中学到什么？
模块四 大数据平台与系统集成 (6讲)
26 | 互联网产品 + 大数据产品 = 大数据平台
27 | 大数据从哪里来？
28 | 知名大厂如何搭建大数据平台？
29 | 盘点可供中小企业参考的商业大数据平台
30 | 当大数据遇上物联网
31 | 模块答疑：为什么大数据平台至关重要？
模块五 大数据分析与运营 (5讲)
32 | 互联网运营数据指标与可视化监控
33 | 一个电商网站订单下降的数据分析案例
34 | A/B测试与灰度发布必知必会
35 | 如何利用大数据成为“增长黑客”？
36 | 模块答疑：为什么说数据驱动运营？
模块六 大数据算法 (6讲)
37 | 如何对数据进行分类和预测？
38 | 如何发掘数据之间的关系？
39 | 如何预测用户的喜好？
40 | 机器学习的数学原理是什么？
41 | 从感知机到神经网络算法
42 | 模块答疑：软件工程师如何进入人工智能领域？
智慧写给你的寄语 (1讲)
所有的不确定都是机会——智慧写给你的新年寄语
结束语 (2讲)
结束语 | 未来的你，有无限可能
第2季回归丨大数据之后，让我们回归后端
从0开始学大数据
登录|注册
32 | 互联网运营数据指标与可视化监控
李智慧 2019-01-10
数据分析是大数据应用的一个主要场景，通过数据分析指标监控企业运营状态，及时调整运营和产品策略，是大数据技术的关键价值之一。互联网企业大数据平台上运行的绝大多数大数据计算都是关于数据分析的，各种统计、关联分析、汇总报告，都需要大数据平台来完成。
下面给你讲一个我曾经遇到过的真实案例。老板跟技术部说，我们要加强监控。技术部以为老板对程序运行监控不满意，这也是情理之中，当对技术人员说监控的时候，他们通常理解的监控就是程序运行期监控，包括操作系统监控和应用程序监控。所以技术部专门挖了做监控的专家，成立了监控运维开发团队，花了半年时间做了一个漂亮的技术运维监控系统。
老板看了以后大惊，这是什么？
你要的监控啊！
啊？
老板蒙掉了。
老板其实想要的是运营监控，就是我下面要列举的那些运营数据指标，他需要全面快速了解这些指标，以发现公司运营中出现的问题。而技术部却给了他一个监控系统响应时间、执行超时、CPU 利用率的监控系统。
从公司角度看，运营数据是公司运行发展的管理基础，既可以通过运营数据了解公司目前发展的状况，又可以通过调节这些指标对公司进行管理，即数据驱动运营。
而运营数据的获得，需要在应用程序中大量埋点采集数据，从数据库、日志和其他第三方采集数据，对数据清洗、转换、存储，利用 SQL 进行数据统计、汇总、分析，才能最后得到需要的运营数据报告。而这一切，都需要大数据平台的支持。
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《从0开始学大数据》，如需阅读全部文章，
请订阅文章所属专栏。
请订阅文章所属专栏。
立即订阅
登录 后留言
精选留言(10)
桃园悠然在如果老板要做一个运营监控系统，要先跟老板确认清楚几个要点：
1、用户。给谁看的。只面向管理层还是老板、中层、普通员工甚至外部用户，这会涉及数据权限及功能权限
2、核心指标。不同业务有不同核心指标，确定需要的核心指标后，便于明确口径以、信息展示层级和具体展示方式
3、上线时间点。监控系统上游有指标体系数据来源、下游有数据分析和运营动作，明确时间点后便于拆解落地。
之后才到具体产品方案、系统架构、技术选型以及开发排期和跟踪。
PS,数据监控系统免不了对数，上线后还是要每日走查数据，被老板先发现问题就完蛋了作者回复: 👍
2019-01-10 1 31
杰之7通过这一节的阅读，熟悉了互联网公司常用的数据监控指标，每家公司可能由于自身所处业务不同，监控的指标会有所不同。
通过监控的指标用图表展示出来，可以直观展示数据结果，也是数据价值的体现，展示中我们需要从用户或者老板角度考虑，什么是他们真正关注或者想要的数据。2019-01-10 4
玉剑冰锋老师您好，问一个跟本节内容不太相关的问题:目前负责一个项目是以elk为基础定制化项目，日志解析是以sparkstreaming来解析，解析完成后入到es。个人主要负责项目运维，由于从采集到es中间经过很多组件，很多运维指标无法简单便捷拿到，比如从采集到es延时，数据准备性，想问问老师有没有好的办法？2019-01-10 4
missa不要站在自己的角度去思考问题。老板说一个需求，得从老板的角度想这个需求。如果还是不确定，让老板做选择题。2019-03-19 3
安静之前年底述职，发现开发同事就以运营数据来做主打，很赞的思路，运营监控大盘不可少作者回复: 👍
2019-01-15 1
风老板布置一个任务，先说一下自己的理解，然后给一个简单的方案。先沟通好，正确理解目的，才能把活干好。2019-01-11 1
胡小发老师，我是一名产品。我有一个问题：数据运营监控系统的核心指标、指标展现方式、指标统计定义、数据计算方法可能随业务发展会持续调整，是否需要支持用户自定义维护？有什么思路、工具可以使用？作者回复: 是不是需要自定义，以及能否做到自定义要看具体业务场景和需求。但是如果重视数据的话，应该有专门的数据运营、数据产品、数据研发人员。
2019-10-30 1- 李可视化都是用的什么框架或者工具
作者回复: 可以看下metabase
2019-10-24 1 
知莫问现在就要做这个大屏。
为了了解数据来源来学的这个课程。2019-03-26
Link初期可以从业务库拉从库进行支持，再考虑大数据技术平台搭建支持2019-02-15
收起评论