Redis 核心技术与实战
蒋德钧
中科院计算所副研究员
81696 人已学习
新⼈⾸单¥68
登录后,你可以任选4讲全文学习
课程目录
已完结/共 53 讲
开篇词 (1讲)
实践篇 (28讲)
Redis 核心技术与实战
15
15
1.0x
00:00/00:00
登录|注册

01 | 基本架构:一个键值数据库包含什么?

构建总结
存储模块
访问模式
存储位置定位
数据模型和操作接口
键值数据库构建

该思维导图由 AI 生成,仅供参考

你好,我是蒋德钧。
我们知道,Redis 是典型的键值数据库,所以今天,我准备手把手地带你构建一个简单的键值数据库。为啥要这么做呢?
还记得我在开篇词说过吗?Redis 本身比较复杂,如果我们一上来就直接研究一个个具体的技术点,比如“单线程”“缓存”等,虽然可以直接学习到具体的内容,甚至立马就能解决一些小问题,但是这样学,很容易迷失在细枝末节里。
从我自己的经验来看,更好的学习方式就是先建立起“系统观”。这也就是说,如果我们想要深入理解和优化 Redis,就必须要对它的总体架构和关键模块有一个全局的认知,然后再深入到具体的技术点。这也是我们这门课坚持的一种讲课方式。
我相信,经过这样一个过程,我们在实践中定位和解决问题时,就会轻松很多,而且你还可以把这个学习方式迁移到其他的学习活动上。我希望你能彻底掌握这个学习思路,让自己的学习、工作效率更高。
说远了,还是回到我们今天的课程主题上。今天,在构造这个简单的键值数据库时,我们只需要关注整体架构和核心模块。这就相当于医学上在正式解剖人体之前,会先解剖一只小白鼠。我们通过剖析这个最简单的键值数据库,来迅速抓住学习和调优 Redis 的关键。
我把这个简单的键值数据库称为 SimpleKV。需要注意的是,GitHub 上也有一个名为 SimpleKV 的项目,这跟我说的 SimpleKV 不是一回事,我说的只是一个具有关键组件的键值数据库架构。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结

构建简单键值数据库SimpleKV的过程中,重点关注了数据模型、操作接口、内存与外存存储选择以及基本组件。文章介绍了访问模式、键值对定位、操作逻辑和重启后快速提供服务等关键点。讨论了不同访问模式对性能和设计选择的影响,以及索引模块、操作模块和存储模块的作用。此外,还强调了Redis与SimpleKV的区别,包括网络框架访问、丰富的value类型和持久化机制等方面的演进。通过对SimpleKV的构建,读者能够全面了解键值数据库的基本结构和重要模块,为深入学习Redis奠定了基础。文章内容丰富,涵盖了键值数据库的关键技术特点,适合读者快速了解和学习。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《Redis 核心技术与实战》
新⼈⾸单¥68
立即购买
登录 后留言

全部留言(129)

  • 最新
  • 精选
  • Monday
    置顶
    庖丁解牛式的分解,赞,redis原来这么多“道道”,一直是我把redis想简单了,以前只是一个拿来主义,人云亦云说redis好用,引入项目使用就行,没有深入redis背后的功能,所以一直以为redis很简单,希望通过此专栏有深入了解redis。

    作者回复: 加油,我们一起交流学习。

    2020-08-13
    132
  • 曾轼麟
    SimpleKV和Redis的对比: 【数据结构】上缺乏广泛的数据结构支持:比如支持范围查询的SkipList,和Stream等等数据结构 【高可用】上缺乏,哨兵或者master-slaver模式的高可用设计 【横向扩展】上缺乏集群和分片功能 【在内存安全性】上,缺乏内存过载时候的key淘汰算法的支持 【内存利用率】没有充分对数据结构优化提高内存利用率,例如使用压缩性的数据结构 【功能扩展】需要具备后续功能的拓展 【不具备事务性】无法保证多个操作的原子性 等等

    作者回复: 赞,系统性的对比非常详细!我再补一个,内存分配器,SimpleKV就是glibc,Redis的分配器选择更多。

    2020-08-03
    6
    389
  • Kaito
    缺少的还包括:丰富的数据类型、数据压缩、过期机制、数据淘汰策略、主从复制、集群化、高可用等功能,另外还可以增加统计模块、通知模块、调试模块、元数据查询等辅助功能。

    作者回复: 这个比较丰富,赞!

    2020-08-04
    4
    190
  • 方程
    Redis不也是根据跳表作为索引的吗

    作者回复: 跳表是在Redis的value类型为有序集合时采用的一种数据组织结构,作为集合内元素的索引,在有序集合中进行操作时会依赖于跳表索引。但是从key找到value本身这个过程还是由全局哈希表索引完成。

    2020-08-07
    6
    94
  • 无名之辈
    看完想以设计者的角度设计一下。 K-V数据库 设计题(自我设计): ①访问模块 ->网络Socket编程(薄弱项,待加强) ②操作接口 ->curd ③索引模块 ->哈希表 ④数据模型 -> K-String V-基本数据类型+引用数据类型等 ⑤存储 -> 内存or磁盘以及如何存储 再次观看老师的设计,补充一下自己看不到的地方 ①访问模块 -> IO模型设计:网络连接处理、网络请求的解析、数据存储的处理 ②操作接口 -> 根据业务需求扩展:范围查询、exist接口等 ③索引模块 -> 哈希表、B+树、字典树的价高,不同的索引结构在性能、空间消耗、并发控制等方面都具有不同的特性 ④数据模型 -> 不同的数据结构在性能、空间效率方面存在差异,不同的value操作空间存在差异 ⑤存储模块 -> 根据不同的业务场景设计存储,并引出持久化 总结: 以上都是简单的概括,但背后涉及的东西还是挺多的,这个要想搞懂只能自己下功夫了。顺便感慨一下,自己看东西也看的比较浅,很多点就是想不到,但是老师的这种思维方式对我还是挺有帮助的,希望在研究下个技术的时候可以用上。最后非常感谢老师的倾囊相授!!!

    作者回复: 非常棒的一个思考过程! 而且做了很好的总结和对比,非常有利于知识点掌握,加油!

    2020-08-27
    2
    60
  • Geek_c37e49
    我是小白一个 键值数据库的访问方式 1、动态链接库方式----这个不是很能理解 这种动态链接库是兼容多语言的还是说每种语言都需要自己去实现 动态链接库本身是怎么实现访问的,基于内存的数据库,可能不在程序本身的这个主机上 这个时候是通过socket或者http协议去访问的吗?

    作者回复: 动态链接库是和语言相关的,例如C++语言实现的库由C++编写的程序调用。 如果用动态链接库实现键值数据库,应用程序可以先实例化动态链接库提供的类,然后调用实例的接口进行数据存取。我还是以SimpleKV举个例子,使用动态链接库方式时,使用方式类似如下:实例化一个db,然后可以进行读写操作。 simplekv::DB *db db.get(key, &value) db.put(key, value) 如果是用动态链接库实现的内存数据库,使用数据库的应用程序需要和库在一个主机上。如果不在同一主机上,就需要通过网络框架访问了,例如建立socket访问。

    2020-08-14
    5
    35
  • 使用动态链接库访问键值数据库的时候,是不是数据库的服务端也要和应用在同一个server中?数据库是服务的一部分

    作者回复: 是的,这等于你使用键值数据库的应用程序和数据库本身是一个进程了,运行时也在同一个server上。

    2020-08-03
    8
    21
  • 不能扮演天使
    依据高性能,高可用和可扩展的架构模式,SimpleKV还是主要缺乏高可用和可扩展的设计吧,单机高性能可以通过IO线程模型,数据结构内存模型等实现,其他两种没有😐

    作者回复: 没错,和Redis相比,SimpleKV是个单机系统,扩展性就谈不上了,而且它也是个纯粹的内存数据库,高可靠也谈不上了。

    2020-08-03
    2
    16
  • ming
    文中的SimpleKV有没有源码,个人感觉运行起来,操作下更促进理解每个模块

    作者回复: SimpleKV暂时还没有公开的源码,不过我们正在做一个SimpleKV的升级版框架,定义好了接口,可以自行替换其中的索引结构、存储管理、内存管理等模块,到时会开源出来。

    2020-08-14
    4
    12
  • 张洋
    缺少的功能组件的话就是1.单点问题,2.扩展问题。 有一个问题作为小白不是很懂,就是动态库 和 网络框架进行访问的区别。 网络框架:可以理解为需要通过Socket连接进行操作访问,比如redis 和 kafka (需要客户端进行TCP连接访问操作) 不知道这样的理解对吗? 动态库 不太明白是什么呢,如果是相当于我们平常说的SDK集成调用方法,在本地直接调用SDK即可。那么当这个 数据库不在本地部署的时候,还是需要远程通信进行操作呀。。

    作者回复: 网络框架理解的没错,此时,redis客户端和redis服务器端通常不在同一个物理机器上,需要过网络。如果是TCP/IP网络,就通过socket进行连接再访问。 动态库和SDK还不太一样,SDK通常封装了访问后端系统的操作,以API形式提供给程序使用。如果访问的后端系统和应用程序不在同一台服务器上,那么SDK中还是会和后端系统建立网络连接,以网络方式访问。而动态库实现的键值数据库相当于是在库里建立数据库的存储结构,一个应用程序调用这个库时就可以直接在本地存取数据了。

    2020-08-05
    5
    11
收起评论
显示
设置
留言
99+
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部