24 | 深度编解码：表示学习
王天一
该思维导图由 AI 生成，仅供参考
在上一讲中我提到，深度学习既可以用于解释也可以用于预测。在实际中，这两个功能通常被组合使用，解释功能可以看作编码器，对高维信息进行低维重构；预测功能则可以看作解码器，将低维重构恢复成高维信息。
这样的两个深度网络级连起来，就形成了编码 - 解码结构（encoder-decoder model）。这种结构在诸如语音、文本、图像等高维数据的处理中应用广泛，取得了良好的效果。
编解码的思想来源于信息论，是信息传输与处理的基础理论之一。但在通信中，编解码的对象是底层的语法结构，也就是对携带信息的符号进行编码，通过数据压缩实现信息的高效传输，但输出的符号本身与其所表达的含义并无关联。
在深度学习中，编解码的操作更多在语义层面完成，无论是文本还是图像，编解码的目的都是重新构造数据的表示方式，简化学习任务的难度。
在最初的尝试中，编码器和解码器并不是分开的，而是存在于单个的深度网络中，这种深度结构就是自编码器。
自编码器（autoencoder）属于生成模型，它的作用是以无监督的学习方式学到数据集的稀疏表示，从而给数据降维。显然，它和前面介绍过的主成分分析殊途同归。可以证明，如果自编码器只有一个线性隐藏层，同时使用均方误差作为损失函数，那么 个隐藏神经元的权重系数就代表了输入数据的 个主成分。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
编解码结构是深度学习中常用的模型结构，由编码器和解码器组成，用于将高维信息转换为低维表示并恢复为高维信息。自编码器是一种特殊的编解码结构，通过无监督学习学习数据集的稀疏表示，实现数据降维。在语音、文本、图像处理中得到广泛应用。编解码结构也广泛应用于循环神经网络，特别适用于机器翻译等序列到序列的模型。编码器和译码器并不一定非要具有相同的类型，异构的神经网络一样可以用来构成编解码结构。编解码结构的核心是生成数据的表示，属于表示学习的范畴。总之，编解码结构在深度学习中发挥着重要作用，为数据表示和处理提供了有效的模型框架。
仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《机器学习 40 讲》，新⼈⾸单¥59
《机器学习 40 讲》，新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(2)
- 最新
- 精选
林彦特征工程更依赖于调试者的经验，对问题的理解。不同的调试水平对结果的影响大。 特征学习对于图像，语言处理，语音这些特征组合巨量，处理方式复杂的领域可以自动化特征抽取和转换的过程。就是在除Google的顶尖大公司和学术领域之外，实现一个有效的应用于真实商业环境的模型周期我估计不短。作者回复: 特征学习其实也离不开人的介入，网络架构的设计会直接决定学习质量。
2018-08-114
ifelse
学习打卡2023-06-09归属地：浙江
收起评论