谷歌发布BigQuery ML,用SQL实现机器学习
极客时间编辑部
讲述:杜力大小:1009.87K时长:02:09
近日,谷歌正式发布了 BigQuery ML,对 SQL 语言进行了扩展,数据科学家和分析师表示,只需要用 SQL 语言,就可以实现流行的机器学习功能并执行预测分析。
据了解,谷歌 BigQuery 提供了基于大型数据集的交互式分析能力,让企业能够轻松地分享有意义的见解,并分析出开发解决方案。目前,很多使用 BigQuery 的企业,都没有使用机器学习来理解他们正在生成的数据,这是因为精通 SQL 的数据分析师,可能不具备机器学习方面的数据科学背景。
作为 BigQuery 功能的一部分,BigQuery ML 可以让数据科学家和分析师在大型的结构化或半结构化的数据集上,构建和部署机器学习模型。它还会自动设置智能的默认选项,并进行数据转换,从而带来易用的无缝式体验,同时生成非常好的结果。
在设计 BigQuery ML 后端时,该团队面临着两难的局面。将大量数据从 BigQuery 服务器传输到运行机器学习算法的专用服务器上将非常耗时,并且存在数据安全性和隐私方面的问题。不过,梯度下降的核心组件(一种用于优化机器学习算法的方法)可以使用常用的 SQL 操作来实现,因此,能够让 BigQuery ML 利用现有的 BigQuery SQL 处理引擎。
据了解,BigQuery 引擎旨在高效地扫描大型数据集,而不只是随机抽取小型样本,因此,BigQuery ML 是基于梯度下降的标准(批量)变体,而不是随机版本。虽然在当今的大型机器学习系统中,随机梯度下降更为常见,但是批量变体具有很多实践方面的优势。
相反,批量梯度下降对磁盘上的数据是否排序和分区并不敏感。此外,批处理方法也可以与经典的线性搜索技术相结合,可以让学习算法更加稳定,并且需要更少的调整。
在未来,谷歌计划进一步将梯度下降实现与 BigQuery 基础架构集成在一起,以实现更高的性能提升。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》,如需阅读全部文章,
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论