NLP领域的ImageNet时代到来
极客时间编辑部
讲述：杜力大小：1.14M时长：02:29
计算机视觉领域经常使用在 ImageNet 上预训练的模型，它们可以进一步用于目标检测、语义分割等不同的 CV（ Computer Vision）任务。而在自然语言处理领域中，没有一个能用于整体模型的预训练方法。
塞巴斯蒂安·鲁德（Sebastian Ruder）表示，语言模型有作为整体预训练模型的潜质，它能由浅到深地抽取语言的各种特征，并用于机器翻译、问答系统和自动摘要等广泛的 NLP 任务。他展示了用语言模型做预训练模型的效果，并表示，NLP 领域中的 ImageNet 终要到来。
长期以来，词向量一直是自然语言处理的核心表征技术。然而，其统治地位正在被一系列新挑战所动摇，它们在 NLP 中拥有的影响，可能和预训练的 ImageNet 模型在计算机视觉中的作用一样广泛。
据了解，ImageNet 数据集对机器学习研究具有重要影响。它不仅使 2012 年非常重要的深度学习能力展示成为可能。而且在迁移学习中，也取得了同样重要的突破，研究人员很快意识到，在 ImageNet 现有模型中学习，可以用于完全初始化其它数据集的模型，并能够显著提高性能。
到目前为止，研究人员将语言建模作为预训练任务的论点纯粹是概念性的。但是，最近的实验证明，语言模型的词嵌入（ELMo）、普遍语言模型精调（ULMiT）和 OpenAI Transformer，已经实验性地证明了语言模型能用于预训练任务，这三种方法都使用了预训练语言模型，来实现当前最优的自然语言处理任务。
在很多情况中，使用预训练语言模型作为核心的算法在广泛研究的基准上，要比当前最优的结果高 10% 到 20%。而且，这些模型表现出了非常高的样本效率，甚至可以实现 zero-shot 学习。
这一变化表明，NLP 实践者很可能在一年后下载预处理的语言模型，而不是预处理的词嵌入，来用于他们自己的模型，就像现在大多数 CV 项目的起点是如何预处理 ImageNet 模型一样。
鲁德表示，NLP 真正转向迁移学习的时机已经成熟。这种发展似乎只是一个时间问题，预训练的词嵌入将逐渐落伍，取而代之的是每个 NLP 从业者工具箱里的预训练语言模型，这可能会在标注数据数量不足时，为 NLP 创造更多可能性。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》，如需阅读全部文章，
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示，欢迎踊跃留言。
收起评论