24|带你看一个完整的向量数据库Milvus
彭旭
你好,我是彭旭。
前面几节课我们介绍了 Faiss,学习了使用 Faiss 构建索引与向量化检索,也用 Faiss 来搭建了一个简单的人脸识别应用。
通过对 Faiss 的介绍,你应该知道,Faiss 不像数据库一样持久化存储向量化数据,而是每次使用之前,都需要从硬盘等持久化设备读取数据,加载索引。并且 Faiss 也没有一个数据库所需要的数据管理功能。所以 DBRanking 对向量数据库的排名,并没有将 Faiss 包括在内。
那有没有一个具备完整的数据存储、管理功能的向量数据库产品呢?
有,就是我们这节课要介绍的 Milvus。
Milvus 是什么?
Milvus 其实是基于 Faiss、HNSW、DiskANN、SCANN(Scalable Approximate Nearest Neighbor)等这些向量检索库构建的,被设计用来做稠密向量的相似性检索。它可以支持十亿,甚至万亿以上向量化数据的存储检索。
Milvus 支持数据分片、动态 Schema、单向量检索、多向量检索、向量与标量混合检索以及许多其他高级功能。
与 StarRocks 类似,Milvus 也支持存算分离。因为 Milvus 使用 MinIO 对象存储来存储日志文件的快照、索引文件、数据以及一些查询的中间结果,所以能够快速地部署在兼容 MinIO 协议的 AWS S3 和 Asure Blob 上。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
1. Milvus是一个基于Faiss、HNSW、DiskANN、SCANN等向量检索库构建的向量数据库,用于稠密向量的相似性检索,支持十亿甚至万亿以上向量化数据的存储检索。 2. Milvus的架构包括访问层、协调服务层、工作节点和存储层,实现了弹性伸缩与故障恢复,采用大规模并行处理(MPP)架构,支持存算分离。 3. Milvus的逻辑模型类似于关系型数据库,支持RBAC(基于角色的权限控制),数据库可以包含多个collection,支持动态字段和索引创建。 4. Milvus提供了丰富的SDK,如Python、Java、Go等,用于与Milvus进行交互。 5. Milvus使用MinIO对象存储来存储日志文件的快照、索引文件、数据以及一些查询的中间结果,能够快速地部署在兼容MinIO协议的AWS S3和Asure Blob上。 6. Milvus提供了Web GUI工具,用于管理和监控数据库。 7. Milvus支持数据分片、动态Schema、单向量检索、多向量检索、向量与标量混合检索以及许多其他高级功能。 8. Milvus的存储层包含Meta Storage、Object Storage和Log Broker,用于存储元数据、日志文件、索引文件、数据以及一些查询的中间结果。 9. Milvus支持给向量字段、标量字段创建索引,包括In-Memory Index、On-Disk Index、GPU Index等不同的索引方式。 10. Milvus在DBRanking对纯向量数据库的排名中排名第2,具有性能突出、分布式集群架构、支持多语言SDK访问、多租户支持等特点,被超过5000家企业使用。
仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《分布式数据库从入门到实战》,新⼈⾸单¥59
《分布式数据库从入门到实战》,新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论