分布式数据库从入门到实战
彭旭
惟客数据总架构师
1383 人已学习
新⼈⾸单¥59
登录后,你可以任选4讲全文学习
课程目录
已更新 25 讲/共 28 讲
分布式数据库从入门到实战
15
15
1.0x
00:00/00:00
登录|注册

24|带你看一个完整的向量数据库Milvus

你好,我是彭旭。
前面几节课我们介绍了 Faiss,学习了使用 Faiss 构建索引与向量化检索,也用 Faiss 来搭建了一个简单的人脸识别应用。
通过对 Faiss 的介绍,你应该知道,Faiss 不像数据库一样持久化存储向量化数据,而是每次使用之前,都需要从硬盘等持久化设备读取数据,加载索引。并且 Faiss 也没有一个数据库所需要的数据管理功能。所以 DBRanking 对向量数据库的排名,并没有将 Faiss 包括在内。
那有没有一个具备完整的数据存储、管理功能的向量数据库产品呢?
有,就是我们这节课要介绍的 Milvus。

Milvus 是什么?

Milvus 其实是基于 Faiss、HNSW、DiskANN、SCANN(Scalable Approximate Nearest Neighbor)等这些向量检索库构建的,被设计用来做稠密向量的相似性检索。它可以支持十亿,甚至万亿以上向量化数据的存储检索。
Milvus 支持数据分片、动态 Schema、单向量检索、多向量检索、向量与标量混合检索以及许多其他高级功能。
与 StarRocks 类似,Milvus 也支持存算分离。因为 Milvus 使用 MinIO 对象存储来存储日志文件的快照、索引文件、数据以及一些查询的中间结果,所以能够快速地部署在兼容 MinIO 协议的 AWS S3 和 Asure Blob 上。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
  • 解释
  • 总结

1. Milvus是一个基于Faiss、HNSW、DiskANN、SCANN等向量检索库构建的向量数据库,用于稠密向量的相似性检索,支持十亿甚至万亿以上向量化数据的存储检索。 2. Milvus的架构包括访问层、协调服务层、工作节点和存储层,实现了弹性伸缩与故障恢复,采用大规模并行处理(MPP)架构,支持存算分离。 3. Milvus的逻辑模型类似于关系型数据库,支持RBAC(基于角色的权限控制),数据库可以包含多个collection,支持动态字段和索引创建。 4. Milvus提供了丰富的SDK,如Python、Java、Go等,用于与Milvus进行交互。 5. Milvus使用MinIO对象存储来存储日志文件的快照、索引文件、数据以及一些查询的中间结果,能够快速地部署在兼容MinIO协议的AWS S3和Asure Blob上。 6. Milvus提供了Web GUI工具,用于管理和监控数据库。 7. Milvus支持数据分片、动态Schema、单向量检索、多向量检索、向量与标量混合检索以及许多其他高级功能。 8. Milvus的存储层包含Meta Storage、Object Storage和Log Broker,用于存储元数据、日志文件、索引文件、数据以及一些查询的中间结果。 9. Milvus支持给向量字段、标量字段创建索引,包括In-Memory Index、On-Disk Index、GPU Index等不同的索引方式。 10. Milvus在DBRanking对纯向量数据库的排名中排名第2,具有性能突出、分布式集群架构、支持多语言SDK访问、多租户支持等特点,被超过5000家企业使用。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《分布式数据库从入门到实战》
新⼈⾸单¥59
立即购买
登录 后留言

精选留言

由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论
显示
设置
留言
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部