吴恩达团队盘点2019 AI大势：NLP大跃进
极客时间编辑部
讲述：初明明大小：2.82M时长：03:04
来源：新智元
近日，新智元编译了吴恩达团队对今年 AI 领域的回顾与解读，本文摘录了其中关于 NLP 的部分，希望对你有所帮助。
早期由 Word2Vec 和 GloVe embeddings 支持的语言模型产生了令人困惑的聊天机器人、具有中学阅读理解能力的语法工具以及勉强能看的翻译。但最新一代的语言模型已经变得如此之好，甚至有人认为它们很危险。
2019 年自然语言处理领域发生了什么呢？一个新的语言模型生成了新闻文章，读者评价其和《纽约时报》一样可信；同样的语言模型还为《纽约客》的一篇文章做出了贡献。令人欣慰的是，这些模型没有像人们担忧的那样散布大量虚假信息。
2019 年，研究人员在让机器理解自然语言方面取得了飞跃式的进展。通过对巨大的、未标记的数据集进行预训练，新模型通常可以熟练掌握自然语言。然后，他们通过在专门语料库上进行微调来掌握给定的任务或主题。
早期的模型如 ULMFiT(由 Jeremy Howard 和 Sebastian Ruder 提出) 和 ELMo 展示了预训练模型的潜力，其中，谷歌的 BERT 是首位取得突破性成功的预训练模型。BERT于 2018 年底发布，在 GLUE 阅读理解基准测试中得分甚高，以至于测试的组织者还将模型的表现与人类的 baseline 分数进行了比较。今年 6 月，微软的MT-DNN模型更是首次击败了人类。
今年 2 月中旬，OpenAI 发布了GPT-2，一个预训练的通用语言模型，其创建者认为它太过危险而不能发布，因为它有能力生成令人信服的文章。GPT-2 使用 40GB 的 Reddit 评论进行了训练，虽然没有引发假新闻的问题，但它确实为一部小说、一篇歌词做出了贡献。最终，OpenAI 在 11 月发布了 GPT-2 的完整版本。
在这期间，来自百度、卡内基梅隆大学、谷歌大脑、Facebook 等其他机构的一系列模型依次超越了 NLP 基准。其中许多都是基于 TransFormer 架构构建的，并利用了 BERT 风格的双向编码。
值得一提的是，2018 年 7 月，就在 BERT 诞生前不久，DeepMind 研究员塞巴斯蒂安·鲁德（Sebastian Ruder）预测了预训练对自然语言处理的影响。此外，他还预测，NLP 的突破将彻底改变整个人工智能。他的论点是基于 2012 年前后预训练对计算机视觉模型的激发而提出，许多业内人士都将深度学习的爆炸式增长追溯到这一刻。
再谈到 NLP 的现状，尽管经过了一年的创新，语言模型仍然有很大的增长空间：即使是 1.5 万亿参数的 GPT-2 也经常吐出一堆令人费解的文字。至于最新的模型是否有能力用铺天盖地的虚假信息扰乱民主，将由新的美国选举季来检验这一点。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》，如需阅读全部文章，
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示，欢迎踊跃留言。
收起评论