NLP迎来了黄金时代
极客时间编辑部
讲述：初明明大小：4.66M时长：05:05
近日，小米人工智能实验室主任，NLP 首席科学家王斌博士在“AI 前线”发文回顾了 NLP 的发展历程，并表示：NLP 历尽低谷，终于迎来了大爆发的“黄金”时代。以下为王斌的观点摘要。
王斌认为，和 AI 的发展类似，NLP 的发展也同样经历了如下的三个阶段。
第一个阶段的 NLP 主要基于规则。通过人工或者自动半自动地收集规则，机器可以完成一系列 NLP 任务。以机器翻译为例，只要输入的新句子能够匹配上事先设定或得到的规则，并且假定这些规则是正确的话，系统可能会输出一条看似还不错的结果。但如果上述任一条件不满足的话，系统可能会输出让人不知所云的结果。而自然语言太过复杂，通过有限的规则来刻画，几乎是不可能的事情。因此，基于规则的方法可能会在某个特定的小领域取得不错的结果，一旦推广到更宽泛的领域，效果往往很不理想。
第二个阶段的 NLP 主要基于统计，更明确地说，基于数据 + 统计机器学习方法。 进入二十一世纪，计算机硬件能力的快速提升和数据量的增长，使得数据驱动的方法悄然成为主流。在这个阶段的 NLP 当中，人工特征工程 + 统计机器学习成了很多 NLP 任务的标配。
第三个阶段的 NLP 主要是基于深度学习。 本质上说，深度学习也是一种统计机器学习方法，因此这个阶段本质上也是数据 + 统计机器学习。但是，深度学习已经在很多领域表现优异，其名头已经盖过传统的统计机器学习。因此，说这个阶段基于深度学习毫不为过。上一个阶段最让人头疼的就是特征问题，本质上就是 NLP 的对象 (字、词、短语、句子、段落、篇章等) 如何表示的问题。而深度学习的最大好处就是能够自动学到对象的表示，从而避免了人工特征工程的大工作量和难以保证的结果。
尽管存在可解释性差、运算代价巨大等问题，但深度学习 NLP 带来了大量 NLP 任务效果的提升。机器翻译和机器阅读等任务甚至都号称“超过了人类”。造成这种结果的基本原因就是深度学习这个“黑盒子”似乎找到了以往人类没有发现的好用的特征，这些特征独自或者和人类提出的特征结合能够发挥出更好的效果。
这个阶段带来的一个重要变化是文本生成任务突然间成为可能。大量的自动写诗、自动写稿、自动写标题等算法系统纷涌而出，这是以往的阶段难以见到的。
深度学习 NLP 带来的另一个重要变化是端到端模式的流行。传统 NLP 任务大都基于流水线模式，即任务会逐层分解，通过多层模块之间的有序调用完成某个任务。这种流水线方式每一个前面步骤的错误都有可能延续到后续模块，从而造成错误的级联效应。端到端模式就可以避免逐层错误传播的缺点，这种直达任务的模式有可能会成为大多数 NLP 任务的新选择。
近年来深度学习 NLP 本身也出现了新变化，最典型的就是预训练 + 微调的任务处理方式变得十分流行。 预训练最早起源于图像处理领域，大家可以在 ImageNet 上训练出基本的模型，然后将该模型用于新任务中，而只需要对模型进行微调。
这种思路也被引入到 NLP 任务中，出现了 ELMo、GPT2、BERT 等预训练模型。这种做法至少有两个好处。其一，新任务可以减少对数据的依赖，因为预训练模型是基于大量数据得到的，其中编码了大量重要信息。其二，减少了训练代价，新任务不需要从头训练。这些预训练模型取得了非常令人鼓舞的结果，很多模型在很多 NLP 任务中都取得了更好的结果。同时，预训练模型的竞赛还一直在继续。
但基于深度学习的 NLP 方法也有很多不足。可解释性差和运算代价大是这类方法的通用性问题，这里就不再展开论述。当然，也是因为可解释性问题的存在，NLP 中学到的特征表示到底表征的是什么东西目前还不太清楚，这使得深度学习 NLP 方法可控性不强。
不管如何，NLP 迎来了属于自己的黄金时代。
这个时代不仅仅有搜索、推荐、广告、信息流、社交网络等“老树开新花”的领域，也包括人机对话、机器阅读、自动写作等充满生命力的新兴领域。NLP 在内容相关的各种应用中都扮演着极其重要的角色。
另外，NLP 技术的发展不能离开场景，场景和技术的有效结合才能充分发挥出 NLP 技术的能力。
以上就是今天的内容，你怎么看 NLP 的发展现状呢？
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》，如需阅读全部文章，
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(2)
- 最新
- 精选
DensonNLP黄金时代 ？ 值得商榷3
Chelizi手里拿着锤子🔨，看啥都是钉子，研究 nlp 的资深专家们出于利益相关也会鼓吹 nlp，任他吹得天花乱坠，我从和 siri 的对话中就可以知道 nlp 目前几斤几两，微软小冰负责人沈向阳都离职了...
收起评论