大数据经典论文解读
从大数据论文入手,提升问题解决能力
徐文浩  bothub 创始人
专栏
已完结·共 59 讲
|
1.4w 人已学
|
收藏
第三步,拿到数据应该写到哪些 chunkserver 里之后,客户端会把要写的数据发给所有的 replica。不过此时,chunkserver 拿到发过来的数据后还不会真的写下来,只会把数据放在一个 LRU 的缓冲区里。
来自:04 | The Google File System (二): 如何应对网络瓶颈?
8 人划过
MemTable 的数据结构通常是通过一个 AVL 红黑树,或者是一个跳表(Skip List)来实现
来自:10 | Bigtable(三):SSTable存储引擎详解
6 人划过
但是这两个,其实都没有办法解决好数据的高性能随机读写问题。
来自:01 | 什么是大数据:从GFS到Dataflow,12年大数据生态演化图
5 人划过
GFS 直接使用了 Linux 服务上的普通文件作为基础存储层,并且选择了最简单的单 Master 设计。单 Master 让 GFS 的架构变得非常简单,避免了需要管理复杂的一致性问题。不过它也带来了很多限制,比如一旦 Master 出现故障,整个集群就无法写入数据,而恢复 Master 则需要运维人员手动操作,所以 GFS 其实算不上一个高可用的系统。
来自:03 | The Google File System (一): Master的三个身份
5 人划过
使用 MySQL 集群,需要你在一开始就对如何切分数据做好精心设计
来自:08 | Bigtable(一):错失百亿的Friendster
5 人划过
reduce 任务的 worker 获取到所有的中间文件之后,它就会将中间文件根据 Key 进行排序。这样,所有相同 Key 的 Value 的数据会被放到一起,也就是完成了我们上一讲所说的混洗(Shuffle)的过程。
来自:07 | MapReduce(二):不怕失败的计算框架
3 人划过
有些时候,看代码并不是最快的学习方式,我往往要追根溯源,去看启发了这些开源框架的原始论文。
来自:开篇词 | 读论文是成为优秀工程师的成年礼
3 人划过
来解决 Paxos 算法的单节点性能瓶颈问题。
来自:20 | Megastore(二):把Bigtable玩出花来
3 人划过
(Coordinator Server)的节点,这个节点是用来追踪一个当前数据中心的副本里,
来自:21 | Megastore(三):让Paxos跨越“国界”
3 人划过
Bigtable 里,数据存储和在线服务的职责是完全分离的
来自:09 | Bigtable(二):不认识“主人”的分布式架构
3 人划过
*精彩内容为该课程各文章中划线次数最多的内容
免费试读
讲师

徐文浩

bothub 创始人

徐文浩,bothub 创始人,布奇托网络科技创始人及 CTO。毕业于上海交通大学计算机系试点班,在 Trilogy Software 写过大型企业软件;在 MediaV 担任技术总监,从零开始搭建支撑每天百亿流量的广告算法系统;2015 年,加入拼多多,参与重写拼多多的交易系统;201...查看更多
编辑推荐
讲师的其他课程
深入浅出计算机组成原理
徐文浩
bothub 创始人

62讲 | 70442 人已学习

¥68¥199
AI 大模型之美
徐文浩
bothub 创始人

33讲 | 32410 人已学习

¥68¥199
看过的人还看了
MySQL 实战 45 讲
林晓斌
网名丁奇,前腾讯云数据库负责人

49讲 | 224930 人已学习

¥68¥199
数据结构与算法之美
王争
前 Google 工程师

81讲 | 283795 人已学习

¥68¥199
左耳听风
陈皓
网名“左耳朵耗子”,资深技术专家

119讲 | 180994 人已学习

¥98¥399
设计模式之美
王争
前 Google 工程师,《数据结构与算法之美》专栏作者

113讲 | 123461 人已学习

¥98¥299
从 0 开始学架构
李运华
网名“华仔”,前阿里资深技术专家(P9)

66讲 | 152613 人已学习

¥68¥199
深入剖析 Kubernetes
张磊
Kubernetes 社区资深成员与项目维护者

57讲 | 116757 人已学习

¥68¥199