人工智能基础课
王天一
工学博士,副教授
立即订阅
12084 人已学习
课程目录
已完结 58 讲
0/4登录后,你可以任选4讲全文学习。
开篇词 (1讲)
开篇词 | 人工智能:新时代的必修课
免费
数学基础 (7讲)
01 数学基础 | 九层之台,起于累土:线性代数
02 数学基础 | 月有阴晴圆缺,此事古难全:概率论
03 数学基础 | 窥一斑而知全豹:数理统计
04 数学基础 | 不畏浮云遮望眼:最优化方法
05 数学基础 | 万物皆数,信息亦然:信息论
06 数学基础 | 明日黄花迹难寻:形式逻辑
(课外辅导)数学基础 | 拓展阅读参考书
机器学习 (10讲)
07 机器学习 | 数山有路,学海无涯:机器学习概论
08 机器学习 | 简约而不简单:线性回归
09 机器学习 | 大道至简:朴素贝叶斯方法
10 机器学习 | 衍化至繁:逻辑回归
11 机器学习 | 步步为营,有章可循:决策树
12 机器学习 | 穷则变,变则通:支持向量机
13 机器学习 | 三个臭皮匠,赛过诸葛亮:集成学习
14 机器学习 | 物以类聚,人以群分:聚类分析
15 机器学习 | 好钢用在刀刃上:降维学习
(课外辅导)机器学习 | 拓展阅读参考书
人工神经网络 (7讲)
16 人工神经网络 | 道法自然,久藏玄冥:神经网络的生理学背景
17 人工神经网络 | 一个青年才俊的意外死亡:神经元与感知器
18 人工神经网络 | 左手信号,右手误差:多层感知器
19 人工神经网络 | 各人自扫门前雪:径向基函数神经网络
20 人工神经网络 | 看不见的手:自组织特征映射
21 人工神经网络 | 水无至清,人莫至察:模糊神经网络
(课外辅导)人工神经网络 | 拓展阅读参考书
深度学习 (7讲)
22 深度学习 | 空山鸣响,静水流深:深度学习概述
23 深度学习 | 前方有路,未来可期:深度前馈网络
24 深度学习 | 小树不修不直溜:深度学习中的正则化
25 深度学习 | 玉不琢不成器:深度学习中的优化
26 深度学习 | 空竹里的秘密:自编码器
27 深度学习 | 困知勉行者勇:深度强化学习
(课外辅导)深度学习 | 拓展阅读参考书
深度学习框架下的神经网络 (5讲)
28 深度学习框架下的神经网络 | 枯木逢春:深度信念网络
29 深度学习框架下的神经网络 | 见微知著:卷积神经网络
30 深度学习框架下的神经网络 | 昨日重现:循环神经网络
31 深度学习框架下的神经网络 | 左右互搏:生成式对抗网络
32 深度学习框架下的神经网络 | 三重门:长短期记忆网络
深度学习之外的人工智能 (4讲)
33 深度学习之外的人工智能 | 一图胜千言:概率图模型
34 深度学习之外的人工智能 | 乌合之众的逆袭:集群智能
35 深度学习之外的人工智能 | 授人以鱼不如授人以渔:迁移学习
36 深度学习之外的人工智能 | 滴水藏海:知识图谱
应用场景 (4讲)
37 应用场景 | 你是我的眼:计算机视觉
38 应用场景 | 嘿, Siri:语音处理
39 应用场景 | 心有灵犀一点通:对话系统
40 应用场景 | 数字巴别塔:机器翻译
加餐 (5讲)
课外谈 | “人工智能基础课”之二三闲话
推荐阅读 | 我与人工智能的故事
直播回顾 | 机器学习必备的数学基础
第2季回归 | 这次我们来聊聊机器学习
新书 | 《裂变:秒懂人工智能的基础课》
复习课 (7讲)
一键到达 | 数学基础复习课
一键到达 | 机器学习复习课
一键到达 | 人工神经网络复习课
一键到达 | 深度学习复习课
一键到达 | 深度学习框架下的神经网络复习课
一键到达 | 深度学习之外的人工智能复习课
一键到达 | 应用场景复习课
结束语 (1讲)
结课 | 溯洄从之,道阻且长
人工智能基础课
登录|注册

04 数学基础 | 不畏浮云遮望眼:最优化方法

王天一 2017-12-16
从本质上讲,人工智能的目标就是最优化:在复杂环境与多体交互中做出最优决策。几乎所有的人工智能问题最后都会归结为一个优化问题的求解,因而最优化理论同样是人工智能必备的基础知识。
最优化理论(optimization)研究的问题是判定给定目标函数的最大值(最小值)是否存在,并找到令目标函数取到最大值(最小值)的数值。如果把给定的目标函数看成连绵的山脉,最优化的过程就是判断顶峰的位置并找到到达顶峰路径的过程。
要实现最小化或最大化的函数被称为目标函数(objective function)或评价函数,大多数最优化问题都可以通过使目标函数 最小化解决,最大化问题则可以通过最小化 实现。
实际的最优化算法既可能找到目标函数的全局最小值(global minimum),也可能找到局部极小值(local minimum),两者的区别在于全局最小值比定义域内所有其他点的函数值都小;而局部极小值只是比所有邻近点的函数值都小。
理想情况下,最优化算法的目标是找到全局最小值。但找到全局最优解意味着在全局范围内执行搜索。还是以山峰做例子。全局最小值对应着山脉中最高的顶峰,找到这个顶峰最好的办法是站在更高的位置上,将所有的山峰尽收眼底,再在其中找到最高的一座。
可遗憾的是,目前实用的最优化算法都不具备这样的上帝视角。它们都是站在山脚下,一步一个脚印地寻找着附近的高峰。但受视野的限制,找到的峰值很可能只是方圆十里之内的顶峰,也就是局部极小值。
当目标函数的输入参数较多、解空间较大时,绝大多数实用算法都不能满足全局搜索对计算复杂度的要求,因而只能求出局部极小值。但在人工智能和深度学习的应用场景下,只要目标函数的取值足够小,就可以把这个值当作全局最小值使用,作为对性能和复杂度的折中。
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《人工智能基础课》,如需阅读全部文章,
请订阅文章所属专栏。
立即订阅
登录 后留言

精选留言(13)

  • 日耳曼战车
    这篇文章让我想起了运筹学
    2017-12-16
    6
  • 冲天
    很好,基本能听懂。对于任何问题,从量化它到优化它,从问题的抽象到问题的具体表达,再到怎么更好去看待这个问题,背后的逻辑就是数学各学科的连接融合,更深层次的逻辑就是怎么认识世界和改造世界。
    2018-04-02
    3
  • 刘祯
    首先,祝老师和大家新年快乐,感谢遇见~2018 年我还有很长的路要走,希望与大家共同成长。

    其次,今天的学习有些烧脑,基本思想容易掌握,可是后面关于启发式算法的介绍就有些难了。

    从直觉上看,我能够理解启发式算法产生的动机与优势,让机器更快更高效地找到符合生存法则的最优解,而不是在搜索式算法中只是在约束条件下进行计算。因而,我认为启发式算法会更有前景,一方面是具备一定的后验知识,模拟自然界的状态与结果,更有目的性,另一方面提升算法性能与效率。希望随着后面的知识与补充资料能够学习更多的实例,当然如果有类比,我们理解起来就就更方便了。

    作者回复: 但启发式算法设计的难度也更大,毕竟生物的进化经历了百万年的进程,其中有太多的未解之谜。

    2017-12-31
    2
  • hockidoggy
    在我看来,启发式算法具有类似归纳法的思想,更多的是以结果检验为导向,而不是以理论方法决定探索的策略。而搜索式算法往往需要预先选择某个定理公式作为算法实现的指导。

    基于上述理解,启发式算法似乎更适合探索周期短,或者容易分割进行阶段性检验的场景。

    作者回复: 这个理解有道理,很多情况下启发式算法就是黑盒,通过不断试错逼近最优解。目前看来,深度神经网络其实也是个黑盒。

    2018-01-04
    1
  • 这些知识的掌握程度要求是什么样的呢?仅仅只是理解?还是需要掌握公式?或者更高?

    作者回复: 微积分和线性代数是并行的,概率论需要用到微积分,数理统计又要用到概率论。但它们的依赖关系不太强,其实可以同时学习。
    公式是需要掌握的,这个掌握在于理解数学背后的含义,并且能运用到新问题当中。

    2017-12-27
    1
  • 吴凌华
    目前只能求局部极值,还是有约束条件的
    2019-10-30
  • Shawn
    有木有推荐书书籍呀,纯理论的也可以,非数学专业。谢谢

    作者回复: 专栏里有一篇专门讲参考书的,可以翻一翻,每一个模块都有相应的书

    2019-02-25
  • 小老鼠
    我认为是仿生法
    2019-01-15
  • 张初炼
    老师,如果把 LM 算法也加入到这篇文章的话,你会如何引入、解释?谢谢。
    2018-09-19
  • yunfeng
    【搜索式算法与启发式算法优劣】两者都是为了找到局部最优解,启发式算法以结果为导向,可能会出现基因突变小概率事件,会导致出现不好的结果,反而不如搜索式算法。能否将两者结合做一个组合法?

    作者回复: 启发式算法其实也是搜索,是依赖经验的碰运气式的搜索,相比之下,基于梯度的这些方法更像是地毯式搜索,两者相结合的话,就是在搜索效率和解的最优性上做些折中。

    2018-01-16
  • wolfog
    还要在加油呀😂😂
    2018-01-15
  • 秦龙君
    学习了,目前只用过梯度下降,水平还是太低,需要继续补充知识。
    2017-12-29
  • MJ小朋友
    很好基本能懂,希望之后的课程在给出机器学习实质上的指导
    2017-12-18
收起评论
13
返回
顶部