分布式技术原理与算法解析
聂鹏程
智载云帆CTO，前华为分布式Lab资深技术专家
立即订阅
5969 人已学习
课程目录
已更新 36 讲 / 共 34 讲
0/4登录后，你可以任选4讲全文学习。
课前必读 (3讲)
开篇词 | 四纵四横，带你透彻理解分布式技术
免费
01 | 分布式缘何而起：从单兵，到游击队，到集团军
02 | 分布式系统的指标：啥是分布式的三围
第一站：分布式协调与同步 (6讲)
03 | 分布式互斥：有你没我，有我没你
04 | 分布式选举：国不可一日无君
05 | 分布式共识：存异求同
06 | 分布式事务：All or nothing
07 | 分布式锁：关键重地，非请勿入
08 | 分布式技术是如何引爆人工智能的？
第二站：分布式资源管理与负载调度 (6讲)
09 | 分布式体系结构之集中式结构：一人在上，万人在下
10 | 分布式体系结构之非集中式结构：众生平等
11 | 分布式调度架构之单体调度：物质文明、精神文明一手抓
12 | 分布式调度架构之两层调度：物质文明、精神文明两手抓
13 | 分布式调度架构之共享状态调度：物质文明、精神文明多手协商抓
14 | 答疑篇：分布式事务与分布式锁相关问题
第三站：分布式计算技术 (4讲)
15 | 分布式计算模式之MR：一门同流合污的艺术
16 | 分布式计算模式之Stream：一门背锅的艺术
17 | 分布式计算模式之Actor：一门甩锅的艺术
18 | 分布式计算模式之流水线：你方唱罢我登场
第四站：分布式通信技术 (4讲)
19 | 分布式通信之远程调用：我是你的千里眼
20 | 分布式通信之发布订阅：送货上门
21 | 分布式通信之消息队列：货物自取
22 | 答疑篇：分布式体系架构与分布式计算相关问题
第五站：分布式数据存储 (5讲)
23 | CAP理论：这顶帽子我不想要
24 | 分布式数据存储系统之三要素：顾客、导购与货架
25 | 数据分布方式之哈希与一致性哈希：“掐指一算”与“掐指两算”的事
26 | 分布式数据复制技术：分身有术
27 | 分布式数据之缓存技术：“身手钥钱”随身带
特别放送 (3讲)
特别放送 | 分布式下的一致性杂谈
特别放送 | 徐志强：学习这件事儿，不到长城非好汉
特别放送 | 那些你不能错过的分布式系统论文
第六站：分布式高可靠 (5讲)
28 | 分布式高可靠之负载均衡：不患寡，而患不均
29 | 分布式高可靠之流量控制：大禹治水，在疏不在堵
30 | 分布式高可用之故障隔离：当断不断，反受其乱
31 | 分布式高可用之故障恢复：知错能改，善莫大焉
32 | 答疑篇：如何判断并解决网络分区问题？
分布式技术原理与算法解析
登录|注册
15 | 分布式计算模式之MR：一门同流合污的艺术
聂鹏程 2019-10-25
你好，我是聂鹏程。今天，我来继续带你打卡分布式核心技术。
我在第 12 篇文章中与你介绍两层调度时提到，Mesos 的第二层调度是由 Framework 完成的。这里的 Framework 通常就是计算框架，比如 Hadoop、Spark 等。用户基于这些计算框架，可以完成不同类型和规模的计算。
那么，在接下来的 4 篇文章，我们就要进入“第三站：分布式计算技术”了。在这一站，我将与你详细介绍分布式领域中的 4 种计算模式，包括 MapReduce、Stream、Actor 和流水线。而今天这篇文章，我们就先从 MR 模式开始吧。
Hadoop 这个框架主要用于解决海量数据的计算问题。那么，它是如何做到海量数据计算的呢？你可能会想，既然是海量数据，规模这么大，那就分成多个进程，每个进程计算一部分，然后汇总一下结果，就可以提升运算速度了。其实，整个计算流程，我们可以很形象地用一个词来解释，就是“同流合污“。
没错，就是这种想法，在分布式领域中就叫作 MR 模式，即 Map Reduce 模式。接下来，我们就一起揭开 MR 模式的神秘面纱吧。
什么是分而治之？
分而治之（Divide-and-Conquer），是计算机处理问题的一个很重要的思想，简称为分治法。
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《分布式技术原理与算法解析》，如需阅读全部文章，
请订阅文章所属专栏。
请订阅文章所属专栏。
立即订阅
登录 后留言
精选留言(7)
Jackey有两个问题想请教老师和各位同学
1. 中间结果一定要落盘吗？如果只在内存中进行排序，再发给reduce是不是在速度上可以得到一个提升？
2. 如果在执行时某个任务特别慢，Hadoop的整个流程都会卡住吧？这里有一些改进方法吗？比如超时舍弃任务？
关于思考题：我认为MR是属于批处理类型的。文中讲到一个大任务拆分成多个子任务，类似的，只要是同质的多个任务，都可以放到MR中处理。如果子任务本身粒度比较细，感觉可以考虑省略“拆分”这一步骤了。2019-10-25 4 1
xingoo这个批量定义有点模糊。宏观上完整的mapreduce不属于批量，因为最后有个reduce合并操作；但是还要考虑最后reduce要做什么。微观上每个map任务或者shuffle都是并行处理的，此时就可以看做批量任务。作者回复: 其实这里的批量处理，是指在map阶段，多个子任务之间是没有依赖关系，可以并发处理不同的数据。
2019-10-25 1
～风铃～批处理框架还有个Spring batch，不知道这个怎样定位的2019-11-11
随心而至可以类比算法中归并排序理解分而治之的思想。2019-10-26
leslie个人觉得其实任何都应当从层级去考虑：批量那么它其实是先拆分再分别处理再统一。
可能现在越来越觉得任何的独立，分别都是从层级的概念去考虑和定位。可能最近学习算是把多年的知识在学习中梳理的过程吧：不同的point看待是不同的。2019-10-25
锦可用于处理静态数据，属于批处理，如果把流处理拆分成多个小段数据，也能处理流数据。
有个疑问，集群内的MRAppmaster以及Worker节点都有任务的副本，冗余任务是为什么呢？如果为了实现高可用也是冗余数据吧？2019-10-25
花儿少年批处理任务的定义是 无需人工干预而执行一列程序，并且是使用已定义好的输入数据。
所以mapreduce是批处理任务类型，因为输入数据已经准备好，并且无需交互。
与此相对的是流计算，期待下一章2019-10-25
收起评论