Transformer升级版，评估速度提升超1800倍
极客时间编辑部
讲述：丁婵大小：2.25M时长：02:27
最近，CMU、谷歌大脑的研究者提出了万用 NLP 模型 Transformer 的升级版——Transformer-XL。这个新架构在 5 个数据集上都获得了强大的结果，在评估中甚至比原始 Transformer 快 1800 多倍。
据了解，Transformer 是谷歌在 2017 年提出的一个革新性的 NLP 框架，自那以来，业内人士表示，在机器翻译领域，Transformer 已经几乎全面取代了 RNN。因为它确实是一个非常有效且应用广泛的结构，应该可以算是自 seq2seq 之后的又一次 “革命”。
然而，虽然 Transformer 网络具有学习较长期依赖关系的潜力，但是在语言建模的设置中，会受到固定长度上下文（fixed-length context）的限制。
作为一种解决方案，这篇论文提出了一种新的神经网络结构——Transformer-XL，它使 Transformer 能够在不破坏时间一致性的情况下，学习固定长度以外的依赖性。
具体来说，Transformer-XL 是由一个 segment-level 的递归机制和一种新的位置编码方案组成。这一方法不仅能够捕获长期依赖关系，而且解决了上下文碎片的问题。
实验结果表明， Transformer-XL 学习的依赖关系比 RNN 长 80%，比 vanilla Transformer 长 450%，在短序列和长序列上都获得了更好的性能，并且在评估中比 vanilla Transformer 快 1800 倍。此外，Transformer-XL 在 5 个数据集上都获得了强大的结果。
研究团队表示，他们的主要技术贡献包括在一个纯粹的 self-attentive 模型中引入递归的概念，并推导出一种新的位置编码方案。这两种技术形成了一套完整的解决方案，因为它们中的任何一种都不能单独解决固定长度上下文的问题。
可以说，Transformer-XL 是第一个在字符级和单词级语言建模方面都取得了比 RNN 更好结果的 self-attention 模型。
现在，研究团队公布了代码、预训练模型和超参数，在 Tensorflow 和 PyTorch 中都可以使用。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》，如需阅读全部文章，
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示，欢迎踊跃留言。
收起评论