近几年，NLP技术发展无实质进步？
极客时间编辑部
讲述：初明明大小：5.21M时长：05:42
你好，欢迎收听极客视点。
2016 年，阿尔法狗打败了人类最顶尖的围棋棋手，一时间令科技圈对人工智能所展现出的巨大力量感到“震动”，自此也掀起了第三次 AI 浪潮。
“AI 已经可以在展现人类最高智慧之一的游戏——围棋中战胜人类了，但为什么它对语言的掌握却可能还不如小朋友”？这是 NLP 所面临的现状，有些“尴尬”但确实存在。最近，InfoQ 记者刘燕采访了追一科技 AI Lab 高级算法研究员潘晟锋，聊了聊 NLP 技术发展现状，期望能给你带来新的思考。
潘晟锋表示，很多人基于自己的直观感受认为，目前的 AI 系统在处理自然语言上的能力还没有达到人们对于“智能”的普遍预期。因为自然语言是人们最熟悉的交流载体，人们对自然语言的熟悉程度导致了这种“误解”的产生。其实近几年的 NLP 技术与战胜人类的阿尔法狗所用的技术，本质上都是基于深度学习的，是同一种技术，而人们对其认知却不一样。
业内还有一些观点认为，NLP 技术这几年在技术和运用上都没什么实质性的进步。潘晟锋分析，这种“印象”的形成可能与几个方面的原因有关。
首先从前沿研究成果到工业界的落地运用之间有一个过程，这当中需要考虑新技术的具体落地方式、是否具有规模效应、是否可控等，因此在技术运用上，它相比技术本身有一定的滞后性。
其次，很多新的技术被用在了“幕后”。例如一个问答系统，采用传统方法可能需要花费非常多的时间与人力成本，而采用新技术可以用更少的时间与人力达到更好的效果，但这两种技术的展现方式可能是相同的。
此外，新技术带来了一些新的运用方式，例如机器阅读理解、可控文本生成等。由于人类对自然语言的熟练掌握会让他们觉得目前还是能够区分和他们在交流的是机器还是真人，尽管如此，这一类新的运用放在以前却几乎是做不到的，只能由人来完成，而目前已经可以做出一定的效果，且实实在在很多场景中节省下人力成本。从这个意义上来讲，NLP 新技术的运用其实也是有非常大的发展的。
潘晟锋表示，“实际上，最近几年，NLP 技术的进步非常明显”。在技术上，目前的 NLP 技术主要得益于深度学习方法的兴起与发展。在深度学习被广泛运用于 NLP 之前，传统方法主要是基于手工特征以及统计模型。深度学习的引入不仅提升了这些传统自然语言处理任务的效果，同时还拓展了传统方法很难或者无法做到的任务。此外，机器阅读理解、文本生成等这类更加复杂的任务是传统方法无法很好完成的，而新的 NLP 技术在这类任务上表现出了很好的效果。
现阶段，自然语言处理技术在发展过程中还存在不少技术难点和挑战。
一是 NLP 技术对标注数据依赖性较高，难以在标注数据稀缺的任务、语言或领域内发挥作用。当前主流方法的效果取决于标注数据的规模和质量。为解决这一问题，可以采用基于大规模无监督数据的预训练模型，或者尝试半监督或无监督的方法，包括零样本学习（Zero-Shot Learning）或小样本学习（Few-Shot Learning）方法。
第二是轻量级优质模型问题。当前的主流模型需要消耗大量资源进行训练，这种趋势目前看来有增无减。如何得到轻量级的优质模型是一个挑战性问题。可能的解决方法对现有模型的裁剪甚至另辟新路提出新的模型。
还有一方面的挑战是长期性的，即如何让机器像人一样掌握自然语言。这是一个很复杂的综合问题，因为语言与认知是相关的。人类用语言表达自己的思维和逻辑，一个人的语言背后是一个智能个体的思维和知识体系。如果希望机器能够理解自然语言，那么它就需要拥有思维能力和自己的知识体系，在这一点上，可以说自然语言处理技术涉及到了人工智能的终极命题。
而突破这个问题可能不会是一个单点的突破。现在也看到一些最新的庞大的预训练模型，它通过在非常大量的语料上进行训练，展示出了优秀的自然语言能力，能够进行翻译，写作，对一些开放式的问题进行解答，可以说它初步地展现了一种综合的语言能力。因此，也许未来这会是一个有潜力的突破方向。
不过，梳理目前 NLP 在技术和应用的发展格局，不能忽视的是，尽管出现了一些挑战与瓶颈，但整体上纵观整个发展历程来看，NLP 处于快速发展阶段，它在电商、翻译、金融、智能硬件、医疗等各个行业已经有了越来越广泛的应用。
如果你对 NLP 感兴趣，或想成为 NLP 领域的高手，提升自己的竞争力，仅仅会调用几个开源框架，调一调参数，显然是不够的。
极客时间专栏《NLP 实战高手课》是一门有理论深度同时兼具实战性的课程，可以让你对 NLP 领域的相关技术和解决方案有一个更系统和深入的了解。以下是专栏目录，供你参考。使用极客视点专属口令，还可以享受立减优惠。
优惠口令：NLPshipin
适用专栏：《NLP 实战高手课》
适用规则：立减 10 元（满 40 元可用）
有效期：9 月 11 日 - 9 月 18 日
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》，如需阅读全部文章，
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(1)
- 最新
- 精选
大表哥追一科技啊哈哈哈
收起评论