机器学习 40 讲
王天一
工学博士,副教授
34688 人已学习
新⼈⾸单¥59
登录后,你可以任选4讲全文学习
课程目录
已完结/共 46 讲
机器学习 40 讲
15
15
1.0x
00:00/00:00
登录|注册

23 | 层次化的神经网络:深度学习

虽然只是对生物神经网络的低水平模仿,人工神经网络却给机器学习打开了一扇全新的大门。自适应的特性让它能够灵活地更新参数,非线性则赋予它具有更加强大的表达能力。曾经的阿喀琉斯之踵——异或问题也随着隐藏层的引入迎刃而解,由原始特征重构而成的导出特征使多层感知器摆脱了对数据集线性可分的限制,呈现在神经网络前方的是大有可为的广阔天地。
神经网络最重要的正名出现在 1989 年,美国学者乔治·塞本科(George Cybenko)证明了神经网络以对数几率作为激活函数时的通用逼近定理。
简而言之,通用逼近定理(universal approximation theorem)说的是如果一个前馈神经网络(feed-forwad neural network)具有单个隐藏层,隐藏层就可以利用有限个神经元来逼近定义在实数集上的任意连续函数。
1991 年,奥地利学者库尔特·霍尔尼克(Kurt Hornik)又证明了通用逼近特性并不取决于激活函数的选择,而是由多层前馈网络自身的架构决定,这就为神经网络的性能提供了坚实的理论依据。
每一个隐藏神经元都能够生成线性的分类边界,在不同的局部选取不同的线性边界,拼接起来的就是全局层面非规则的形状,这就是通用逼近定理说明的主要问题。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结
仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《机器学习 40 讲》
新⼈⾸单¥59
立即购买
登录 后留言

全部留言(4)

  • 最新
  • 精选
  • 林彦
    除了图像处理和自然语言处理这2个领域在我们的日常生活中感知到并能较明白地解释给外行听,其他领域的深度学习怎么既能通俗地解释清楚又能和商业价值建立联系是我们普通人学习和使用深度学习当下的主要困惑。毕竟不能为老板创造看得见的商业价值的事很难在商业环境得到持续的支持。 图像处理和自然语言处理则有不少的专业知识,工具或模块需要学习才能在工业界完成应用,对于普通人来说门槛比一般的机器学习更高。没有看明白的事我个人保持一定怀疑。深度学习肯定有价值,但是不是什么应用领域都能通过深度学习为企业创造更高价值,而不仅是估值。什么阶段,什么场景下合适这是我们很多人和团队领导者需要想得更清楚的问题。

    作者回复: 说得对,深度学习有越来越被高估的趋势。它有它自身的适用领域,再深度的网络也预测不了明天上证的指数。

    2
    4
  • 林彦
    深度学习还有一个应用领域是语音,掌握的门槛也不低
    3
  • ifelse
    学习打卡
    归属地:浙江
  • 建强
    想请教一下老师,阿尔法狗是深度神经网络的典型应用吗,老师能不能大致讲一下它的原理,一直对这个比较好奇。
收起评论
显示
设置
留言
4
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部