下载APP
登录
关闭
讲堂
算法训练营
Python 进阶训练营
企业服务
极客商城
客户端下载
兑换中心
渠道合作
推荐作者
当前播放: 35 | ZooKeeper本地存储源码解析
00:00 / 00:00
标清
  • 标清
1.0x
  • 2.0x
  • 1.5x
  • 1.25x
  • 1.0x
  • 0.5x
网页全屏
全屏
00:00
付费课程,可试看

ZooKeeper实战与源码剖析

共47讲 · 约450分钟
2940
免费
01 | 课程介绍
免费
02 | 内容综述
免费
03 | 什么是ZooKeeper?
免费
04 | ZooKeeper提供什么服务?
免费
05 | 开始使用ZooKeeper
06 | 使用ZooKeeper实现Master...
07 | ZooKeeper架构解析
08 | ZooKeeper API简介
09 | ZooKeeper API:Watch示...
10 | 使用ZooKeeper实现分布式...
11 | 使用ZooKeeper实现分布式...
12 | 使用ZooKeeper实现选举
13 | 使用Apache Curator简化Z...
14 | 如何安装配置一个ZooKeepe...
15 | 如何进行ZooKeeper的监控...
16 | 通过ZooKeeper Observer...
17 | 通过动态配置实现不中断服...
18 | ZooKeeper节点是如何存储...
19 | 使用ZooKeeper实现服务发...
20 | 使用ZooKeeper实现服务发...
21 | 使用ZooKeeper实现服务...
22 | Kafka是如何使用ZooKeeper...
23 | 什么是Paxos协议?
24 | 对比Chubby和ZooKeeper
25 | Raft协议解析
26 | 什么是etcd?
27 | etcd API: KV部分
28 | etcd API:Watch和Lease...
29 | 使用etcd实现分布式队列
30 | 使用etcd实现分布式锁
31 | 如何搭建一个etcd生产环境...
32 | 存储数据结构之B+tree
33 | 存储数据结构之LSM
34 | 本地存储技术总结
35 | ZooKeeper本地存储源码解...
36 | 网络编程基础
37 | 事件驱动的网络编程
38 | Java的事件驱动网络编程
39 | ZooKeeper的客户端网络通...
40 | ZooKeeper的服务器网络通...
41 | ZooKeeper的Request Proc...
42 | Standalone的ZooKeeper是...
43 | Quorum模式下ZooKeeper节...
44 | ZooKeeper的Leader Elect...
45 | ZooKeeper的Zab协议
46 | 客户端和服务器端交互:Wa...
47 | 结束语

精选留言(3)

  • 2019-11-10
    老师,你好,看完后,有几个问题,希望得到解答
    1、snapshot的话,可以理解为是数据库里面的全量备份吗?这个触发的时机都有哪些呢,是否是定期的?如果配置pure事务日志的时候,清除事务日志的时候,会触发snapshot吗?
    2、snapshot的保存有什么策略吗?是否系统运行很久后,snapshot会膨胀得很大(存在多个文件)如何去管理呢?
    3、snapshot是否可以用来做新服务器的数据恢复?比如我有五个节点的集群,现在坏了3个,还剩2个,希望再加3个,新增的3个节点,如何才能保证与剩余2个节点的数据一致,是通告依次动态添加节点来让zookeeper进行同步刷新。还是说,可以自己从剩余的2个节点中拷贝数据和事务日志,让新节点从快照和事务日志中恢复数据呢?
    展开

    作者回复: > 1、snapshot的话,可以理解为是数据库里面的全量备份吗?
    是数据库里面的全量备份。

    > 这个触发的时机都有哪些呢,是否是定期的?
    snapCount控制生成快照的频率,当日志文件里面的日志记录数大于snapCount / 2 + r.nextInt(snapCount/2)时生成一个快照。细节可以参见SyncRequestProcessor.java的代码。

    > 如果配置pure事务日志的时候,清除事务日志的时候,会触发snapshot吗?
    不会。但是保证数据恢复需要的快照不会被清除掉。

    > 2、snapshot的保存有什么策略吗?是否系统运行很久后,snapshot会膨胀得很大(存在多个文件)如何去管理呢?
    autopurge.snapRetainCount控制保留多少个快照,autopurge.purgeInterval控制多长时间进行一次清理。如果autopurge.purgeInterval设置成了0,需要手动使用zkCleanup.sh进行清理。

    > 3、snapshot是否可以用来做新服务器的数据恢复?比如我有五个节点的集群,现在坏了3个,还剩2个,希望再加3个,新增的3个节点,如何才能保证与剩余2个节点的数据一致,是通告依次动态添加节点来让zookeeper进行同步刷新。还是说,可以自己从剩余的2个节点中拷贝数据和事务日志,让新节点从快照和事务日志中恢复数据呢?
    快照的用处之一就是用来做新服务器和leader节点之间的同步。如果剩下的两个节点还是形成了一个运行的ensemble,依次动态添加节点就行了。ZooKeeper会自动进行新节点和leader节点之前的同步。如果新节点落后leader节点不多,就会只从leader节点接收日志记录。否则的话,先从leader节点接收一个快照,再接收后续日志记录。

  • 2019-10-25
    老师您好,最近公司zk集群挂掉了,由于业务紧急,重启了集群,想请教老师,zk挂掉一些常见的原因有哪些

    作者回复: 1. 网络原因导致ZooKeeper节点互相连不上。
    2. 多个ZooKeeper节点的失败。

  • 2019-10-22
    老师 想问个问题 如果zookeeper 创造了一个snapshot 之后比如snapshot中的最大zxid是a, 那么他会不会在snapshot完成后把小于等于a的transanction log删除, 只保留zxid大于a的transanction log?