深度学习对自然语言技术的影响
极客时间编辑部
讲述：丁婵大小：2.53M时长：02:46
最近，微软亚洲研究院副院长周明在北大 AI 公开课上，探讨了自然语言技术和搜索引擎如何进一步结合并创造新的可能。本文节选了深度学习对图像、语音、自然语言这些领域产生的影响。其中，深度学习对自然语言的影响主要体现在以下 6 个方面：
1. 端到端训练（End-end training）
有了端对端的训练，只要有输入和输出的对照，把输入对应的输出标注好，形成训练数据集合。然后用神经网络通过自动训练就可以得到学习系统。这改变了很多自然语言技术的发展，大大降低了自然语言处理的技术门槛。
2. 语义表示（Embedding）和预训练模型（Pretrained Model）
一是上下文无关的表示（Embedding），就是不管上下文是什么，一个词的表示是固定的（用多维向量来表示）。第二，根据上下文有关，在不同的句子里，同一个词的意思可能不一样，那么它的表示也是不一样的。现在利用 Bert 和 GPT-2 这样的模型，可以根据一个词的上下文训练这个词的动态表示。在做其他任务时候，预训练模型可以用来强化输入信息。
3.Attention（注意力模型）
Attention 指的是不同的输入信号源之间可以做相应的修正，来动态地体现当前层对网络的下一层或者对网络输出层的最佳输入信号。有了 Attention，就可以对受多输入路信号，然后动态计算信号之间产生的互相影响。
4. 句子的编码方法（RNN/LSTM/GRU/Transformer）
对于一个不定长的句子，可以通过 RNN、LSTM/GRU 或者 Transformer 技术表示其编码，表现为若干个隐含状态的序列。一个隐含状态对应句子的一个词汇。虽然以上对句子的几种编码方式都可行，但是发展到目前，更多是用 Transformer 来对句子编码。
5. 编码 - 解码模型（Encoder-Decoder）
NLP 中，很多任务都可以定义成一个输入和一个输出的对应。所以编码 - 解码模型有普遍的适用意义。比如机器翻译任务，源语言句子是输入，目标语言句子是输出。这样就存在输入和输出的对应。如果是单轮任务，就是输入和输出直接对应，不需要中间推理，可以用编码和解码的技术来进行建模。
6. 强化学习
系统根据用户的反馈或者环境的反馈信号，会迭代地修正参数，整个系统得以不断改进。比如对话系统很多用到了强化学习。不过在很多其他 NLP 任务中，如何体现强化学习是一个还在不停探索的问题。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》，如需阅读全部文章，
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示，欢迎踊跃留言。
收起评论