23 | 层次化的神经网络：深度学习
王天一
该思维导图由 AI 生成，仅供参考
虽然只是对生物神经网络的低水平模仿，人工神经网络却给机器学习打开了一扇全新的大门。自适应的特性让它能够灵活地更新参数，非线性则赋予它具有更加强大的表达能力。曾经的阿喀琉斯之踵——异或问题也随着隐藏层的引入迎刃而解，由原始特征重构而成的导出特征使多层感知器摆脱了对数据集线性可分的限制，呈现在神经网络前方的是大有可为的广阔天地。
神经网络最重要的正名出现在 1989 年，美国学者乔治·塞本科（George Cybenko）证明了神经网络以对数几率作为激活函数时的通用逼近定理。
简而言之，通用逼近定理（universal approximation theorem）说的是如果一个前馈神经网络（feed-forwad neural network）具有单个隐藏层，隐藏层就可以利用有限个神经元来逼近定义在实数集上的任意连续函数。
1991 年，奥地利学者库尔特·霍尔尼克（Kurt Hornik）又证明了通用逼近特性并不取决于激活函数的选择，而是由多层前馈网络自身的架构决定，这就为神经网络的性能提供了坚实的理论依据。
每一个隐藏神经元都能够生成线性的分类边界，在不同的局部选取不同的线性边界，拼接起来的就是全局层面非规则的形状，这就是通用逼近定理说明的主要问题。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
深度学习是一种机器学习方法，其核心是深度神经网络模型。该模型具有多个隐藏层，通过层次化的思想对输入特征进行连续非线性处理，从而提取和转换出新的特征。深度学习的特点包括层次化和分布式表示，通过多层级的抽象实现对复杂模式的识别。此外，深度学习还能够像逻辑回归或朴素贝叶斯一样对数据进行分类，同时具备强大的拟合能力。从预测和解释的角度看，深度学习起到了降维的作用，从高维数据中提取出隐藏的低维几何结构。此外，贝叶斯视角下的深度学习将优化问题看作后验概率最大化的问题，参数的先验分布以正则化项的形式出现。总的来说，深度学习作为机器学习领域的新兴方法，具有层次化结构、分布式表示、广义线性模型和降维等特点，为机器学习领域带来了新的可能性。
仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《机器学习 40 讲》，新⼈⾸单¥59
《机器学习 40 讲》，新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(4)
- 最新
- 精选
林彦除了图像处理和自然语言处理这2个领域在我们的日常生活中感知到并能较明白地解释给外行听，其他领域的深度学习怎么既能通俗地解释清楚又能和商业价值建立联系是我们普通人学习和使用深度学习当下的主要困惑。毕竟不能为老板创造看得见的商业价值的事很难在商业环境得到持续的支持。 图像处理和自然语言处理则有不少的专业知识，工具或模块需要学习才能在工业界完成应用，对于普通人来说门槛比一般的机器学习更高。没有看明白的事我个人保持一定怀疑。深度学习肯定有价值，但是不是什么应用领域都能通过深度学习为企业创造更高价值，而不仅是估值。什么阶段，什么场景下合适这是我们很多人和团队领导者需要想得更清楚的问题。作者回复: 说得对，深度学习有越来越被高估的趋势。它有它自身的适用领域，再深度的网络也预测不了明天上证的指数。
2018-08-0824- 林彦深度学习还有一个应用领域是语音，掌握的门槛也不低2018-08-093
ifelse
学习打卡2023-06-08归属地：浙江
建强想请教一下老师，阿尔法狗是深度神经网络的典型应用吗，老师能不能大致讲一下它的原理，一直对这个比较好奇。2021-06-20
收起评论