人工智能基础课
王天一
工学博士，副教授
立即订阅
12221 人已学习
课程目录
已完结 58 讲
0/4登录后，你可以任选4讲全文学习。
开篇词 (1讲)
开篇词 | 人工智能：新时代的必修课
免费
数学基础 (7讲)
01 数学基础 | 九层之台，起于累土：线性代数
02 数学基础 | 月有阴晴圆缺，此事古难全：概率论
03 数学基础 | 窥一斑而知全豹：数理统计
04 数学基础 | 不畏浮云遮望眼：最优化方法
05 数学基础 | 万物皆数，信息亦然：信息论
06 数学基础 | 明日黄花迹难寻：形式逻辑
（课外辅导）数学基础 | 拓展阅读参考书
机器学习 (10讲)
07 机器学习 | 数山有路，学海无涯：机器学习概论
08 机器学习 | 简约而不简单：线性回归
09 机器学习 | 大道至简：朴素贝叶斯方法
10 机器学习 | 衍化至繁：逻辑回归
11 机器学习 | 步步为营，有章可循：决策树
12 机器学习 | 穷则变，变则通：支持向量机
13 机器学习 | 三个臭皮匠，赛过诸葛亮：集成学习
14 机器学习 | 物以类聚，人以群分：聚类分析
15 机器学习 | 好钢用在刀刃上：降维学习
（课外辅导）机器学习 | 拓展阅读参考书
人工神经网络 (7讲)
16 人工神经网络 | 道法自然，久藏玄冥：神经网络的生理学背景
17 人工神经网络 | 一个青年才俊的意外死亡：神经元与感知器
18 人工神经网络 | 左手信号，右手误差：多层感知器
19 人工神经网络 | 各人自扫门前雪：径向基函数神经网络
20 人工神经网络 | 看不见的手：自组织特征映射
21 人工神经网络 | 水无至清，人莫至察：模糊神经网络
（课外辅导）人工神经网络 | 拓展阅读参考书
深度学习 (7讲)
22 深度学习 | 空山鸣响，静水流深：深度学习概述
23 深度学习 | 前方有路，未来可期：深度前馈网络
24 深度学习 | 小树不修不直溜：深度学习中的正则化
25 深度学习 | 玉不琢不成器：深度学习中的优化
26 深度学习 | 空竹里的秘密：自编码器
27 深度学习 | 困知勉行者勇：深度强化学习
（课外辅导）深度学习 | 拓展阅读参考书
深度学习框架下的神经网络 (5讲)
28 深度学习框架下的神经网络 | 枯木逢春：深度信念网络
29 深度学习框架下的神经网络 | 见微知著：卷积神经网络
30 深度学习框架下的神经网络 | 昨日重现：循环神经网络
31 深度学习框架下的神经网络 | 左右互搏：生成式对抗网络
32 深度学习框架下的神经网络 | 三重门：长短期记忆网络
深度学习之外的人工智能 (4讲)
33 深度学习之外的人工智能 | 一图胜千言：概率图模型
34 深度学习之外的人工智能 | 乌合之众的逆袭：集群智能
35 深度学习之外的人工智能 | 授人以鱼不如授人以渔：迁移学习
36 深度学习之外的人工智能 | 滴水藏海：知识图谱
应用场景 (4讲)
37 应用场景 | 你是我的眼：计算机视觉
38 应用场景 | 嘿, Siri：语音处理
39 应用场景 | 心有灵犀一点通：对话系统
40 应用场景 | 数字巴别塔：机器翻译
加餐 (5讲)
课外谈 | “人工智能基础课”之二三闲话
推荐阅读 | 我与人工智能的故事
直播回顾 | 机器学习必备的数学基础
第2季回归 | 这次我们来聊聊机器学习
新书 | 《裂变：秒懂人工智能的基础课》
复习课 (7讲)
一键到达 | 数学基础复习课
一键到达 | 机器学习复习课
一键到达 | 人工神经网络复习课
一键到达 | 深度学习复习课
一键到达 | 深度学习框架下的神经网络复习课
一键到达 | 深度学习之外的人工智能复习课
一键到达 | 应用场景复习课
结束语 (1讲)
结课 | 溯洄从之，道阻且长
人工智能基础课
登录|注册
25 深度学习 | 玉不琢不成器：深度学习中的优化
王天一 2018-02-03
除了正则化之外，优化也是深度学习需要解决的一个核心问题。由于深度神经网络中的隐藏层数目较多，因而将整个网络作为一个整体进行优化是非常困难的事情，需要花费大量的时间和计算力。出于效率和精确性的考虑，在深度学习的优化上需要使用专门的技术。
出于可解性的考虑，传统机器学习算法往往会小心翼翼地选择代价函数和优化条件，将待优化问题转化为容易求解的凸优化问题。但在神经网络，尤其是在深度神经网络中，更一般的非凸情况是不可避免的，这就给深度学习中的优化带来很多额外的挑战。
当待优化的代价函数的输入是 维向量时，其二阶导数就包含针对不同变量分别求偏导所得到的很多分量，将这些分量按顺序排列可以得到 Hessian 矩阵。而在神经网络的训练中，Hessian 矩阵的病态问题非常常见，甚至无论优化问题是否具有凸优化的形式，病态的 Hessian 矩阵都会出现。
在线性方程 中，当系数矩阵 的微小扰动会给解集 带来较大幅度的波动时，这样的矩阵就被称为病态矩阵（ill-conditioned matrix）。
病态矩阵是科学计算不愿打交道的对象，因为数值精度导致的不可避免的舍入误差可能会给输出带来巨大的偏离，正所谓“差之毫厘，谬以千里”。在神经网络的训练中，病态矩阵的影响体现在梯度下降的不稳定性上。当应用随机梯度下降解决优化问题时，病态矩阵对输入的敏感性会导致很小的更新步长也会增加代价函数，使学习的速度变得异常缓慢。
深度神经网络面临的另一个挑战是局部极小值的问题。凸优化问题的数学特性保证了局部极小值和全局最小值之间的等价关系。因而在优化一个凸问题时，任何形式的临界点都可以看成是可行解。而在神经网络，尤其是深度模型中，代价函数甚至会具有不可列无限多个局部极小值，这显然会妨碍对全局最小值的寻找，导致搜索陷入局部最优的陷阱中。
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《人工智能基础课》，如需阅读全部文章，
请订阅文章所属专栏。
请订阅文章所属专栏。
立即订阅
登录 后留言
精选留言(3)
徐凌我大学本科学的是文科，之后做了十几年的市场销售方面工作。现在已经决心工作后的业余时间学人工智能，不知道还有没有戏，会不会起步太晚了？
我毕业太久了，之前中学数学都快忘光了。之前看吴恩达的课对他上面提到的数学都不太看得懂。
所以2年前决定学人工智能后。我前年把中学数学给学了。去年我自学了单元和多元微积分，统计学，学了一些基础的线性代数和微分方程，离散数学。编程方面我去年从hello world 开始学了python 和matlab，还学了点sql语言。
到现在为止我一共花了2000小时学数学和编程。
接下来今年可能会重点把线性代数基础打好。再学一学数学分析，概率学。我觉得现在我应该具备学机器学习的基础了，下个月准备开始学系统学习一下机器学习。下半年想看看有没有能力学一下随机过程，听说随机过程对于人工智能比较重要。
明年我希望能学一些优化论，和泛函分析。看看自己到时候有没有水平可以看一些国外论文。现在看了一下都基本看不懂。 不知道集合论和图论是否也应该学呢？另外数论对人工智能是不是不太重要。
王老师觉得我这个计划是否可行，有没有什么建议呢？另外到后面我发现能自学的网络素材变少了。没有找到什么公开课教pde之类的数学的，应该怎么学比较好呢？作者回复: 人工智能用到的数学主要是线性代数、概率论和优化，如果深入理论的话需要泛函，至于集合、数论、微分方程这些先不慌看。
数学是工具，关键还是机器学习、神经网络这些算法。网上各种各样的以吴恩达为代表的公开课资源很多，有了初步的数学基础就可以进入这些领域了。中间遇到问题回头再补也可以，里面的项目也跟着做一做，用python就可以。
论文都是领域内的最新成果，有了基础再看。
集合和数论在现在的主流人工智能里是用不上的，但图论可以了解一些，图论的应用比较广。2018-02-04 7
林彦谢谢分享。
请问RMSprop，Adadelta主要使用的优化方法是不是文中提及的梯度聚合？
从找到的1年多前的文章来看，如果我上面的问题的答案是肯定的，梯度聚合和融合了Momentum的梯度聚合Adam及其一些变体(如融合进Nesterov Accelerated方法)的优化方法对于解决文中提到的问题的效果不少情况下更好。作者回复: 两个方法上可能有相似之处，但出发点不一样，梯度聚合是为了调整梯度方向，RMSprop是为了调整学习率。
两者的结合原则上来说能起到更好的效果，因为是在两个不同的过程上进行优化的，但具体效果还要事实说话。2018-02-05 3
明High要多点图就好了2018-02-25
收起评论