01 | 基本架构:一个键值数据库包含什么?
该思维导图由 AI 生成,仅供参考
- 深入了解
- 翻译
- 解释
- 总结
构建简单键值数据库SimpleKV的过程中,重点关注了数据模型、操作接口、内存与外存存储选择以及基本组件。文章介绍了访问模式、键值对定位、操作逻辑和重启后快速提供服务等关键点。讨论了不同访问模式对性能和设计选择的影响,以及索引模块、操作模块和存储模块的作用。此外,还强调了Redis与SimpleKV的区别,包括网络框架访问、丰富的value类型和持久化机制等方面的演进。通过对SimpleKV的构建,读者能够全面了解键值数据库的基本结构和重要模块,为深入学习Redis奠定了基础。文章内容丰富,涵盖了键值数据库的关键技术特点,适合读者快速了解和学习。
《Redis 核心技术与实战》,新⼈⾸单¥68
全部留言(129)
- 最新
- 精选
- Monday置顶庖丁解牛式的分解,赞,redis原来这么多“道道”,一直是我把redis想简单了,以前只是一个拿来主义,人云亦云说redis好用,引入项目使用就行,没有深入redis背后的功能,所以一直以为redis很简单,希望通过此专栏有深入了解redis。
作者回复: 加油,我们一起交流学习。
2020-08-13132 - 曾轼麟SimpleKV和Redis的对比: 【数据结构】上缺乏广泛的数据结构支持:比如支持范围查询的SkipList,和Stream等等数据结构 【高可用】上缺乏,哨兵或者master-slaver模式的高可用设计 【横向扩展】上缺乏集群和分片功能 【在内存安全性】上,缺乏内存过载时候的key淘汰算法的支持 【内存利用率】没有充分对数据结构优化提高内存利用率,例如使用压缩性的数据结构 【功能扩展】需要具备后续功能的拓展 【不具备事务性】无法保证多个操作的原子性 等等
作者回复: 赞,系统性的对比非常详细!我再补一个,内存分配器,SimpleKV就是glibc,Redis的分配器选择更多。
2020-08-036389 - Kaito缺少的还包括:丰富的数据类型、数据压缩、过期机制、数据淘汰策略、主从复制、集群化、高可用等功能,另外还可以增加统计模块、通知模块、调试模块、元数据查询等辅助功能。
作者回复: 这个比较丰富,赞!
2020-08-044190 - 方程Redis不也是根据跳表作为索引的吗
作者回复: 跳表是在Redis的value类型为有序集合时采用的一种数据组织结构,作为集合内元素的索引,在有序集合中进行操作时会依赖于跳表索引。但是从key找到value本身这个过程还是由全局哈希表索引完成。
2020-08-07694 - 无名之辈看完想以设计者的角度设计一下。 K-V数据库 设计题(自我设计): ①访问模块 ->网络Socket编程(薄弱项,待加强) ②操作接口 ->curd ③索引模块 ->哈希表 ④数据模型 -> K-String V-基本数据类型+引用数据类型等 ⑤存储 -> 内存or磁盘以及如何存储 再次观看老师的设计,补充一下自己看不到的地方 ①访问模块 -> IO模型设计:网络连接处理、网络请求的解析、数据存储的处理 ②操作接口 -> 根据业务需求扩展:范围查询、exist接口等 ③索引模块 -> 哈希表、B+树、字典树的价高,不同的索引结构在性能、空间消耗、并发控制等方面都具有不同的特性 ④数据模型 -> 不同的数据结构在性能、空间效率方面存在差异,不同的value操作空间存在差异 ⑤存储模块 -> 根据不同的业务场景设计存储,并引出持久化 总结: 以上都是简单的概括,但背后涉及的东西还是挺多的,这个要想搞懂只能自己下功夫了。顺便感慨一下,自己看东西也看的比较浅,很多点就是想不到,但是老师的这种思维方式对我还是挺有帮助的,希望在研究下个技术的时候可以用上。最后非常感谢老师的倾囊相授!!!
作者回复: 非常棒的一个思考过程! 而且做了很好的总结和对比,非常有利于知识点掌握,加油!
2020-08-27260 - Geek_c37e49我是小白一个 键值数据库的访问方式 1、动态链接库方式----这个不是很能理解 这种动态链接库是兼容多语言的还是说每种语言都需要自己去实现 动态链接库本身是怎么实现访问的,基于内存的数据库,可能不在程序本身的这个主机上 这个时候是通过socket或者http协议去访问的吗?
作者回复: 动态链接库是和语言相关的,例如C++语言实现的库由C++编写的程序调用。 如果用动态链接库实现键值数据库,应用程序可以先实例化动态链接库提供的类,然后调用实例的接口进行数据存取。我还是以SimpleKV举个例子,使用动态链接库方式时,使用方式类似如下:实例化一个db,然后可以进行读写操作。 simplekv::DB *db db.get(key, &value) db.put(key, value) 如果是用动态链接库实现的内存数据库,使用数据库的应用程序需要和库在一个主机上。如果不在同一主机上,就需要通过网络框架访问了,例如建立socket访问。
2020-08-14535 - 奕使用动态链接库访问键值数据库的时候,是不是数据库的服务端也要和应用在同一个server中?数据库是服务的一部分
作者回复: 是的,这等于你使用键值数据库的应用程序和数据库本身是一个进程了,运行时也在同一个server上。
2020-08-03821 - 不能扮演天使依据高性能,高可用和可扩展的架构模式,SimpleKV还是主要缺乏高可用和可扩展的设计吧,单机高性能可以通过IO线程模型,数据结构内存模型等实现,其他两种没有😐
作者回复: 没错,和Redis相比,SimpleKV是个单机系统,扩展性就谈不上了,而且它也是个纯粹的内存数据库,高可靠也谈不上了。
2020-08-03216 - ming文中的SimpleKV有没有源码,个人感觉运行起来,操作下更促进理解每个模块
作者回复: SimpleKV暂时还没有公开的源码,不过我们正在做一个SimpleKV的升级版框架,定义好了接口,可以自行替换其中的索引结构、存储管理、内存管理等模块,到时会开源出来。
2020-08-14412 - 张洋缺少的功能组件的话就是1.单点问题,2.扩展问题。 有一个问题作为小白不是很懂,就是动态库 和 网络框架进行访问的区别。 网络框架:可以理解为需要通过Socket连接进行操作访问,比如redis 和 kafka (需要客户端进行TCP连接访问操作) 不知道这样的理解对吗? 动态库 不太明白是什么呢,如果是相当于我们平常说的SDK集成调用方法,在本地直接调用SDK即可。那么当这个 数据库不在本地部署的时候,还是需要远程通信进行操作呀。。
作者回复: 网络框架理解的没错,此时,redis客户端和redis服务器端通常不在同一个物理机器上,需要过网络。如果是TCP/IP网络,就通过socket进行连接再访问。 动态库和SDK还不太一样,SDK通常封装了访问后端系统的操作,以API形式提供给程序使用。如果访问的后端系统和应用程序不在同一台服务器上,那么SDK中还是会和后端系统建立网络连接,以网络方式访问。而动态库实现的键值数据库相当于是在库里建立数据库的存储结构,一个应用程序调用这个库时就可以直接在本地存取数据了。
2020-08-05511