29 | 如何正确实现循环缓冲区？

蒋德钧

你好，我是蒋德钧。
从今天开始，我们就进入了这门课程的最后一个模块，也就是“编程技巧模块”。Redis 作为一个广泛使用的系统，除了它自身的功能实现和性能优化值得我们学习以外，它源码中的编程技巧也同样值得我们去了解和掌握。
在这个模块中，我会带你学习 Redis 在循环缓冲区、监控、功能扩展模块等方面的设计与实现，这些功能的开发对于后端系统软件来说都是非常重要的。
那么，今天这节课，我先带你来学习 Redis 中循环缓冲区的实现。
我们在开发后端数据系统时，都会面临数据同步的问题，在应对这个问题时，缓冲区的设计与实现是一定要考虑的。而循环缓冲区是缓冲区开发的一个常用技巧，所以，学习这节课的内容，可以让我们掌握如何实现循环缓冲区，尤其是实现难点的解决方法，从而可以给我们自己开发数据同步提供一个参考实现。
好了，下面我们先来看下循环缓冲区是如何工作的，有了这部分知识后，我们就能更好地理解和掌握 Redis 的代码实现了。
循环缓冲区如何工作？在后端数据系统中，为了保证数据的可靠性，我们通常会采用主从集群的方式，在主节点和从节点之间同步数据。一般来说，主节点会先和从节点进行一次全量同步，把某个时刻的所有数据传输给从节点。

公开

同步至部落

取消

完成

0/2000

荧光笔

直线

曲线

笔记

复制

AI

深入了解
翻译
英语
中文简体
中文繁体
法语
德语
日语
韩语
俄语
西班牙语
阿拉伯语
解释
总结

本文深入介绍了Redis中循环缓冲区的实现细节，重点讲解了循环缓冲区的写操作过程。文章首先解释了循环缓冲区的工作原理，包括写指针和读指针的工作机制。接着详细介绍了Redis中循环缓冲区的数据结构和初始化过程，以及创建和读写操作的实现。通过代码示例和具体操作逻辑，读者可以深入理解了循环缓冲区的实现细节。文章还通过示例和图表展示了数据写入过程中各状态值的变化，帮助读者更直观地理解了循环缓冲区的写入过程。总体而言，本文内容深入浅出，适合想要了解Redis循环缓冲区实现细节的技术人员阅读。在主从复制中，循环缓冲区的读操作是通过PSYNC命令实现的。主节点在处理PSYNC命令时，调用addReplyReplicationBacklog函数来读取循环缓冲区中的数据。该函数首先计算从节点在全局范围内要跳过的数据长度，然后根据这个跳过长度计算实际要读取的数据长度。通过循环流程来实际读取数据，确保从节点能够正确获取数据。在实现循环缓冲区时，需要注意累积要发送的数据长度可能大于缓冲区长度，以及如何确定全局读取位置在循环缓冲区中的对应位置。这些难点在Redis源码中得到了解决，对于想要深入理解循环缓冲区实现的技术人员来说，这篇文章提供了宝贵的参考和指导。总的来说，本文通过深入剖析Redis中循环缓冲区的实现细节，为读者提供了宝贵的技术指导和实践经验，对于想要深入理解Redis内部工作原理的技术人员具有重要的参考价值。

仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《Redis 源码剖析与实战》，新⼈⾸单¥59

立即购买

登录后留言

全部留言(3)

最新
精选

小五
masterTryPartialResynchronization 函数中的相关代码如下： /* We still have the data our slave is asking for? */ if (!server.repl_backlog || psync_offset < server.repl_backlog_off || psync_offset > (server.repl_backlog_off + server.repl_backlog_histlen)) { serverLog(LL_NOTICE, "Unable to partial resync with replica %s for lack of backlog (Replica request was: %lld).", replicationGetSlaveName(c), psync_offset); if (psync_offset > server.master_repl_offset) { serverLog(LL_WARNING, "Warning: replica %s tried to PSYNC with an offset that is greater than the master replication offset.", replicationGetSlaveName(c)); } goto need_full_resync; } 上面的代码进行了前置判断，如果从节点的读位置对应的数据丢失了，就需要执行全量复制。这种情况不会执行到 addReplyReplicationBacklog 函数中。
2021-12-04

4
stone
问下老师，如果缓冲区的总长度等于8时，当要写入的数据大于8时，等于从头开始写，那岂不是要把之前写的数据给覆盖掉，当从节点复制数据的时候，覆盖掉的数据怎么办？还有如果有多个从节点，每个从节点的偏移量可能不一样，用一个循环缓冲区，怎么保证每个从节点的数据都时正确的，没搞明白这2点，如果老师看到，请给予赐教。。谢谢！
2023-09-26归属地：江苏


末日，成欢
想问下老师，当主从建立好连接后，主节点接收到的操作会往循环缓冲区写一份，同时会将命令同步给从节点，此时缓冲区中的全量偏移量在增量，而从节点的的偏移量是什么时候变动的？如果不变动，那么主从一旦断开，势必就会发生全量复制。
2022-03-22



收起评论