自然语言处理的ImageNet时刻已经到来
极客时间编辑部
讲述:丁婵大小:2.43M时长:02:39
一直以来,词向量都是自然语言处理的核心表征技术,长期统治着自然语言处理领域。然而,现在出现了一系列令人振奋的挑战者,包括 ELMo、ULMFiT 和 OpenAI Transformer,都证明了预训练语言模型可以在各种自然语言处理任务中取得最佳结果。
这些方法的出现预示着一个分水岭时刻的到来:预训练语言模型可能会在自然语言处理领域造成广泛影响,正如 ImageNet 预训练模型在计算机视觉中所造成的影响一样。
具体来说,预训练词向量已经引领了自然语言处理很长时间。Word2vec 在 2013 年被作为近似语言建模模型而提出。当时,硬件速度比现在慢很多,深度学习模型也还没有得到广泛支持,Word2vec 凭借着自身效率和易用性而被采用。
从那时起,实施 NLP 项目的标准方法基本就没变过:通过 Word2vec 和 GloVe 等算法,在大量未标注数据上进行预训练获得词嵌入向量 ,然后把词嵌入向量用于初始化神经网络的第一层,而网络其它部分则根据特定任务,利用其余数据进行训练。尽管这种做法对许多任务都有帮助,但却无法捕捉到更有用的高层次信息。
现如今, ULMFiT、ELMo 和 OpenAI Transformer 给自然语言处理社区带来了语言任务的 ImageNet,也让模型能够学习文本中更高层次的细微差别,类似于 ImageNet 上的预训练使计算机视觉模型学习图像通用特征的做法。
在深度学习时代,数据与算法同等重要。 ImageNet 在迁移学习中实现了同等重要的突破,研究人员意识到,ImageNet 最佳模型学习的权重可以初始化其它任务模型,尽管数据集不同,但是这对模型性能提高依然有很大帮助。这种方法可以实现更好的效果,甚至每个类别有一个正样本就足够了。
现在,预训练 ImageNet 模型已经被用于物体检测、语义分割和视频识别等任务,并取得了最佳结果。同时,这也让深度学习得以应用到训练样本数量较少且标注成本很高的领域。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》,如需阅读全部文章,
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论