NLP领域最优秀的8个预训练模型
极客时间编辑部
讲述：丁婵大小：2.79M时长：03:03
如今，自然语言处理应用已经变得无处不在。自然语言处理应用能够快速增长，很大程度上要归功于通过预训练模型实现迁移学习的概念。本文介绍了一些顶级的预训练模型，开发者可以用它们来开始你的自然语言处理之旅，并复制该领域的最新研究成果。
1.ULMFiT
它使用新的自然语言生成技术实现了最先进的结果。该方法包括在 Wikitext 103 数据集上训练的预处理语言模型进行微调，使其不会忘记以前所学的内容，从而将其微调为一个新的数据集。
2.Transformer
该架构是自然语言处理领域最近几乎所有主要发展的核心，2017 年由谷歌推出，据了解，它应用了一种自注意力（self-attention）机制，可以直接模拟句子中所有单词之间的关系。
3.Google BERT
BERT 是第一个无监督、深度双向的自然语言处理模型预训练系统，它只使用纯文本语料库进行训练。它的设计目标是能够进行多任务学习，也就是说，它可以同时执行不同的自然语言处理任务。
4.Google Transformer-XL
它是由谷歌 AI 团队开发的，是一种新型的自然语言处理架构，可以帮助机器理解超出固定长度限制的上下文。Transformer-XL 比普通的 Transformer 要快上 1800 倍。
5.OpenAI GPT-2
OpenAI 在 2 月份的时候发表了一篇博文，声称他们已经设计了一个自然语言处理模型，表现非常出色。
GPT-2 经过训练后，可以预测 40GB 互联网文本数据的下一个出现的单词。这个框架也是基于 Transformer 的模型，该模型在 800 万个 Web 页面的数据集进行训练。
6.ELMo
它（是 Embedding from Language Models 的缩写）在构建自然语言处理模型的上下文非常有用，它是一种用向量和嵌入表示单词的新方法。这些 ELMo 词嵌入有助于我们在多个自然语言处理任务上获得最先进的结果。
7.Flair
它并不完全是词嵌入，而是词嵌入的组合。这是一个非常简单的框架，用于最先进的自然语言处理（NLP）。Flair 具有简单的界面，允许开发者使用和组合不同的文字和文档嵌入，包括 BERT 嵌入和 ELMo 嵌入等。
8.StanfordNLP
这是一个经过预训练的、最先进的自然语言处理模型的集合。据作者声称，StandfordNLP 支持超过 53 种语言，它为非英语语言中应用自然语言处理技术提供了很多可能性，比如印地语、汉语和日语。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》，如需阅读全部文章，
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示，欢迎踊跃留言。
收起评论