谷歌Gmail的新特性 Smart Compose
极客时间编辑部
讲述:丁婵大小:1.14M时长:02:30
近日,谷歌大脑团队首席软件工程师吴永辉介绍了 Smart Compose 技术。这是 Gmail 中的一项新特性,可以智能预测拼写功能。
该新特性利用机器学习,交互式地为正在写邮件的用户提供补全句子的预测建议,从而让用户更快地撰写邮件。Smart Compose 是基于此前的智能回复(Smart Reply)技术开发而来的,它提供了全新的方式来帮助用户撰写邮件。
在一封邮件中,用户在邮件撰写会话中打下的单词会给模型一个信号,模型会利用这个信号来预测下一个单词。为了结合更多用户想表达的上下文,谷歌的模型还会利用邮件主题和此前的邮件正文来智能预测(假设用户正在回复一封刚刚收到的邮件)。
据了解,谷歌的方法是包含利用额外语境的一个方法,该方法是将问题转换成一个序列到序列(seq2seq)的机器翻译任务,其中源序列是邮件主题和上封邮件正文(假设存在上封邮件)的串联,用户正在写的邮件是目标序列。
为了提高预测质量,谷歌将一个 RNN-LM 神经网络与一个 BoW 模型结合起来,结合后的模型在速度上比序列到序列的模型要快。在该混合算法中,谷歌通过把词嵌套平均分配在每个区域内,来对邮件主题和此前的邮件内容进行编码。随后谷歌将这些平均分配后的嵌套连接在一起,并在每次执行解码步骤时,将它们提供给目标序列 RNN-LM。
当然,一旦选定了这种建模方法,谷歌就必须调整各种模型超参数,并且使用超过数十亿的样本来训练这些模型,所有的这些操作都相当费时。
在推断期间,谷歌使用 TPU 来大大地加速用户体验,通过分流 TPU 之上的大部分计算,谷歌可以将平均延迟降低至几十毫秒,同时也能大大增加单一机器可处理的服务请求数量。
在这之后,谷歌将持续地研究改良语言生成模型的预测质量,为此谷歌会通过使用最先进的架构(如 Transformer,RNMT+ 等),试用最新、最先进的训练技术来实现这一目标。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》,如需阅读全部文章,
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论