机器学习40讲
王天一
工学博士,副教授
立即订阅
7998 人已学习
课程目录
已完结 44 讲
0/4登录后,你可以任选4讲全文学习。
开篇词 (1讲)
开篇词 | 打通修炼机器学习的任督二脉
免费
机器学习概观 (10讲)
01 | 频率视角下的机器学习
02 | 贝叶斯视角下的机器学习
03 | 学什么与怎么学
04 | 计算学习理论
05 | 模型的分类方式
06 | 模型的设计准则
07 | 模型的验证方法
08 | 模型的评估指标
09 | 实验设计
10 | 特征预处理
统计机器学习模型 (18讲)
11 | 基础线性回归:一元与多元
12 | 正则化处理:收缩方法与边际化
13 | 线性降维:主成分的使用
14 | 非线性降维:流形学习
15 | 从回归到分类:联系函数与降维
16 | 建模非正态分布:广义线性模型
17 | 几何角度看分类:支持向量机
18 | 从全局到局部:核技巧
19 | 非参数化的局部模型:K近邻
20 | 基于距离的学习:聚类与度量学习
21 | 基函数扩展:属性的非线性化
22 | 自适应的基函数:神经网络
23 | 层次化的神经网络:深度学习
24 | 深度编解码:表示学习
25 | 基于特征的区域划分:树模型
26 | 集成化处理:Boosting与Bagging
27 | 万能模型:梯度提升与随机森林
总结课 | 机器学习的模型体系
概率图模型 (14讲)
28 | 最简单的概率图:朴素贝叶斯
29 | 有向图模型:贝叶斯网络
30 | 无向图模型:马尔可夫随机场
31 | 建模连续分布:高斯网络
32 | 从有限到无限:高斯过程
33 | 序列化建模:隐马尔可夫模型
34 | 连续序列化模型:线性动态系统
35 | 精确推断:变量消除及其拓展
36 | 确定近似推断:变分贝叶斯
37 | 随机近似推断:MCMC
38 | 完备数据下的参数学习:有向图与无向图
39 | 隐变量下的参数学习:EM方法与混合模型
40 | 结构学习:基于约束与基于评分
总结课 | 贝叶斯学习的模型体系
结束语 (1讲)
结课 | 终有一天,你将为今天的付出骄傲
机器学习40讲
登录|注册

14 | 非线性降维:流形学习

王天一 2018-07-05
“云行雨施,品物流形”,这是儒家经典《易经》对万物流变的描述。两千多年之后,“流形”一词被数学家借鉴,用于命名与欧几里得空间局部同胚的拓扑空间。
虽然流形这个词本身有着浓厚的学院派味道,但它的思想你却一点儿不会陌生。最著名的流形模型恐怕非瑞士卷(Swiss roll)莫属。如图所示的瑞士卷是常见的糕点,只是它的名字未必像它的形状一样广为人知。瑞士卷实际上是一张卷起来的薄蛋糕片,虽然卷曲的操作将它从二维形状升级成了三维形状,但这个多出来的空间维度并没有产生关于原始结构的新信息,所以瑞士卷实际上就是嵌入三维空间的二维流形。
瑞士卷(左)与瑞士卷流形(右)示意图
图片来自维基百科与 http://yinsenm.github.io/figure/STAT545/Swiss.png
在机器学习中,流形(manifold)指的是嵌入在高维数据空间中的低维子空间,它的维数是低维数据变化的自由度(degree of freedom of variability),也叫作固有维度(intrinsic dimensionality)。流形学习(manifold learning)正是通过挖掘数据的内在结构实现向固有维度的降维,从而找到与高维原数据对应的低维嵌入流形。
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《机器学习40讲》,如需阅读全部文章,
请订阅文章所属专栏。
立即订阅
登录 后留言

精选留言(6)

  • Python
    要是能结合到生活中讲就好了,这样写的太抽象了
    2018-12-25
    1
  • 哈哈哈,你才是笨蛋
    学习了
    2018-08-22
  • paradox
    老师,您好
    文中t分布随机近邻嵌入改进的一方面是,让低维空间中的条件分布服从t分布,是不是因为t分布的自由度可以加入限制条件?不是很理解它的作用

    作者回复: 你可以观察下高斯分布和t分布的形状比较,t分布的长尾特性让它对距离的保持性更好。高维空间上相距较远的点被压缩到低维空间之后可能会变得很近,但它们之间并没有什么相似性,这就是文中提到的拥挤问题。t分布能够把高维空间上距离较远的点映射成低维空间上同样距离较远的点,从而把同一类点聚合,把不同类的点分开。

    2018-08-10
  • VentusDeus
    老师,感觉这一季的内容很有意思 在上一季基础上又有更多对数学原理更为深入和一般化的的讨论。不知道还会不会考虑像上一季一样推出一些参考书目/论文供大家深入学习了呢?

    作者回复: 有的,在总结部分会系统地推荐一些书目。

    2018-07-07
  • 林彦
    如文中所述,降维和对于数据结构更好的解读是流形学习的应用。具体应用上在图像领域,特别是一些我们人脑能理解的图像信息的变化,比如苹果的各种品种,图像中一个物体的角度或位置的变化,流形学习理论上比线性降维能更好地关联数据的“关键”特征。

    网上搜索结果中,流形学习在人脸识别的应用比较多。Bengio的《Deep Learning》中提到“在图像中,我们当然会认为有很多可能的变换仍然允许我们描绘出图片空间的流形:我们可以逐渐变暗或变亮光泽、逐步移动或旋转图中对象、逐渐改变对象表面的颜色等等。在大多数应用中很有可能会涉及到多个流形“。其中提到的2个人脸的例子里展示了人脸图像的高维流形到低维的映射,这些低维可以对应不同轴向的旋转,人的情绪表达。别的例子里提到了光照。

    《Deep Learning》中的第2个例子提到了流形和自编码器的关系,我的理解是和多种自编码器的理论解读都有关系,如去噪自编码器,收缩自编码器,变分自编码器。生成式对抗网络的一些文章描述里也提及了流形,但我不确认和流形学习中的流形是否相关。

    无监督学习或半监督学习发现或推导未知的数据特征时,流形学习有应用的场景(未读相关论文,有可能更偏向理论)。

    作者回复: 自编码器里的隐藏层神经元会少于输入的数目,从降维的角度来说,可以归到流形的范畴。但真正比较实在的应用是在知乎上看到的在生物行为学中的使用,一篇典型的论文是Mapping the stereotyped behavior of freely moving fruit flies。

    2018-07-06
  • zhoujie
    流形学习是非参数的,因此对噪声会计较敏感,那有没有办法让流形学习不那么敏感呢?

    作者回复: 这是非常好的研究方向。

    2018-07-06
收起评论
6
返回
顶部