谷歌等推出基于机器学习的数据库SageDB
极客时间编辑部
讲述:杜力大小:2.11M时长:02:19
近日,谷歌联合 MIT、布朗大学共同推出新型数据库系统 SageDB,并撰写论文详述了 SageDB 的设计原理和性能表现。谷歌在论文中提出,学习模型可以渗透到数据库系统的各个方面,基于机器学习的组件可以完全取代数据库系统核心组件,例如索引结构、排序算法、查询执行器等。
SageDB 的核心思想是构建一个或多个关于数据和工作负载分布模型,并基于此自动为数据库系统所有组件构建最佳数据结构和算法,这称之为数据库融合,能够通过将每个数据库组件实现专门化到特定数据库、查询工作负载和执行环境来实现更优的性能。
在缺乏运行时学习和适应的情况下,数据库系统为通用目的而设计,不能充分利用现有工作负载和数据特性。SageDB 能够弥补二者之间的鸿沟,在了解数据分布和工作负载的情况下,在特定时间设计可能的专用解决方案。
事实上,深度和宽度神经网络的成本很高,谷歌希望尽可能精确地捕捉数据细微差别,因为如今经常需要生成特殊模型才能看到显著效益,此时可以考虑论文《学习索引结构案例》中的 RMI 模型:在数据上拟合简单模型,使用模型预测挑选另外一个模型,以更准确的模拟数据子集合,然后重复该过程,直到叶模型进行最终预测。
另外,查询优化器目前的研究方向是探索基于混合模型的基数估计方法。这些混合模型结合了底层数据模式和相关性学习模型,以及使用监听器来捕获特定数据实例异常。
此外,SageDB 还提供了一种构建数据库系统的全新方法,通过使用 ML 模型与程序合成来生成系统组件。如果成功,这种方法将产生新一代大数据处理工具,可以更好地利用 GPU 和 TPU,在存储消耗和空间方面提供显著优势,在某些情况下甚至可以改变数据操作复杂性。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》,如需阅读全部文章,
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论