分布式技术原理与算法解析
聂鹏程
智载云帆 CTO,前华为分布式 Lab 资深技术专家
39663 人已学习
新⼈⾸单¥59
登录后,你可以任选4讲全文学习
课程目录
已完结/共 43 讲
分布式技术原理与算法解析
15
15
1.0x
00:00/00:00
登录|注册

22 | 答疑篇:分布式体系架构与分布式计算相关问题

数据处理方式
实时性强调
适用场景
时延要求
MapReduce中的Map
数据子集处理
核心思想
应用场景
主备节点之间的网络连接断开
Akka集群中的心跳方式
每个节点被b个节点监控
采用心跳方式
心跳方式
TCP长连接
流式计算
实时计算
批量计算
离线计算
一个集群为什么会存在双主的场景
非集中式架构中如何判断节点存活
集中式架构中如何判断节点存活
分布计算技术相关问题
分布式体系架构相关问题
分布式核心技术

该思维导图由 AI 生成,仅供参考

你好,我是聂鹏程。今天,我来继续带你打卡分布式核心技术。
到目前为止,“分布式技术原理与算法解析”专栏已经更新 21 篇文章了,我已经为你介绍了分布式技术四纵四横知识体系中的三横,即“分布式资源管理”“分布式计算技术”和“分布式通信”,以及四纵中的“分布分布式式协同”和“分布式调度”。
在这里,我首先要感谢你们坚持学习每一篇文章,以及对每一道思考题的积极思考与讨论,并且还在此基础上对类似问题进行了扩展。
比如,@1024、@每天晒白牙、@游弋云端、@Jackey 和 @Dale 等同学,对双主问题展开了激烈的讨论;再比如,@xj_zh、@mt11912、@小白啊、@随心而至等同学,对 Master 如何判断 Slave 是否存活的问题进行了讨论,特别是 @小白啊还专门查询了 Kubernetes 的方法,在留言区进行了回复。
这样的同学还有很多,我就不再一一点名了。今天,我就针对前面文章涉及的与思考题有关的留言,做一次进一步的梳理与分析,以帮助你夯实前面所学的知识点。
留言涉及的问题有很多,但我经过进一步地分析和总结后,发现大家特别感兴趣和有疑惑的思考题主要分为两类:
分布式体系架构中,如何判断节点存活的问题;
分布式计算技术中,离线计算、批量计算、实时计算和流式计算的区别。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结

本文深入介绍了分布式体系架构中节点存活判断的原理和方法,以及非集中式架构中节点存活判断的方式。在集中式架构中,通过TCP长连接和心跳协同来判断节点是否存活,而在非集中式架构中,采用心跳方式进行判断,并通过哈希环和Gossip协议来实现节点之间的监控和信息传播。文章还探讨了主备场景下可能出现的双主情况,以及离线计算、批量计算、实时计算和流式计算的概念和区别。通过对这些技术问题的深入分析,读者可以获得对分布式系统架构中节点存活判断和分布式计算模式的深刻理解。文章内容详实,逻辑清晰,对于想要深入了解分布式系统架构和计算模式的读者具有很高的参考价值。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《分布式技术原理与算法解析》
新⼈⾸单¥59
立即购买
登录 后留言

全部留言(13)

  • 最新
  • 精选
  • 科科
    个人觉得使用TCP长连接一是为了完成网络基本功能,顺便利用一下TCP返回的错误信息。并非是只依靠TCP协议,因为TCP主要也不是用来完成相应的,虽然TCP里面可以设置保活定时器,但是由于太占用资源所以一般都在应用层做相关的检测

    作者回复: 故障检测并非只依靠TCP长连接,进程退出等场景下可以借用TCP的特征检测相关故障。

    2020-05-15
    2
    1
  • 几点了
    我觉得是TCP长链接不能保证应用层业务可用性,所以需要心跳来进行保活。

    作者回复: TCP长链接用来辅助检测故障,通常情况下保活主要还是采用心跳的方式

    2020-02-26
    1
  • 花儿少年
    如何避免出现”双主“呢 https://www.iteye.com/blog/1316478764-2206068 这篇博客 给了一个一种颁发有效期的机制。 其实都会依赖一个高可用的监控系统来监控应用系统主节点的状态,根据其状态做判断
    2019-11-20
    2
    7
  • simon
    对于 Slave 所在服务器故障的情况,由于服务器宕机或重启,那么系统环境等均不工作了,这种情况 TCP 长连接也无法进行探测了,也就是说 TCP 长连接方法在这种场景下无法判断节点是否故障。 为什么???难道重启或岩机,还能tcp长连接?反过来,心跳也能检查进程退出吧,因为如果进程退出也不会有心跳吧
    2019-11-14
    5
    3
  • Jackey
    关于检测存活还是有些疑问。长连接为什么不能检测机器故障呢?服务器宕机时长连接也会断开的吧。 另外非集中式的下线条件是过半数以上机器标记为不可达才会认为机器下线对吗?下线后监控的顺序会发生改变吗?
    2019-11-13
    5
    2
  • tt
    判断节点是否存活的方法中,基于长链接的方法是利用了TCP层本身的机制;而基于心跳的方式是基于应用层自己的方法去实现。 如果用OSI模型来描述,就是前者是四层的存活检测,后者是七层的存活检测。
    2019-11-13
    2
  • 郡鸿
    这个专栏写的真好,我订阅的晚,一口气看到这里。老师的讲解即有生动的例子,也有表格的总结对比,一路看下来收获很多!感谢🙏老师
    2020-01-14
    1
  • Dylan
    那假设出现双主的场景,一般是通过什么有效策略去解决呢,或者有没有好的办法尽量去避免这种情况
    2019-11-16
    1
    1
  • 随心而至
    非集中式的心跳机制好多是基于Gossip协议做的,比如consul,redis。
    2019-11-13
    1
  • 阅过留痕 专栏正文的风格很喜欢,不过如其他同样一样的感受,老师可能是学术派,不过内容讲的细致内容会膨胀的厉害,有些专栏就是针对此专栏的一节延展开来,系统、细致讲解的。比如:RPC、MQ、架构模式等
    2020-02-18
收起评论
显示
设置
留言
13
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部