机器学习 40 讲
王天一
工学博士,副教授
35375 人已学习
新⼈⾸单¥59
登录后,你可以任选4讲全文学习
课程目录
已完结/共 46 讲
机器学习 40 讲
15
15
1.0x
00:00/00:00
登录|注册

14 | 非线性降维:流形学习

距离视为空间变换过程中的不变量 vs. 保持数据的概率分布不变
全局意义上数据的几何结构 vs. 数据在某些局部上的结构
低维空间中的条件概率服从tt分布
将由欧氏距离推导出的条件概率改写成对称的形式
KL散度最小化
保持降维前后数据的概率分布不变
在保持每个邻域中的线性系数不变的基础上重构原数据点
利用欧氏距离近似测地距离
测地距离
距离矩阵转化为内积矩阵
距离重建误差最小化
等度量映射 vs. 随机近邻嵌入
等度量映射 vs. 局部线性嵌入
tt分布随机近邻嵌入
随机近邻嵌入
局部线性嵌入
等度量映射
多维缩放
对噪声敏感
非参数
非线性
通过挖掘数据的内在结构实现向固有维度的降维
维数是低维数据变化的自由度
嵌入在高维数据空间中的低维子空间
流形学习的实际作用
数据的分类 vs. 数据的可视化
数据的规律 vs. 数据的结构
比较
方法
特点
定义
结论
应用
流形学习
机器学习中的非线性降维方法:流形学习

该思维导图由 AI 生成,仅供参考

“云行雨施,品物流形”,这是儒家经典《易经》对万物流变的描述。两千多年之后,“流形”一词被数学家借鉴,用于命名与欧几里得空间局部同胚的拓扑空间。
虽然流形这个词本身有着浓厚的学院派味道,但它的思想你却一点儿不会陌生。最著名的流形模型恐怕非瑞士卷(Swiss roll)莫属。如图所示的瑞士卷是常见的糕点,只是它的名字未必像它的形状一样广为人知。瑞士卷实际上是一张卷起来的薄蛋糕片,虽然卷曲的操作将它从二维形状升级成了三维形状,但这个多出来的空间维度并没有产生关于原始结构的新信息,所以瑞士卷实际上就是嵌入三维空间的二维流形。
瑞士卷(左)与瑞士卷流形(右)示意图
图片来自维基百科与 http://yinsenm.github.io/figure/STAT545/Swiss.png
在机器学习中,流形(manifold)指的是嵌入在高维数据空间中的低维子空间,它的维数是低维数据变化的自由度(degree of freedom of variability),也叫作固有维度(intrinsic dimensionality)。流形学习(manifold learning)正是通过挖掘数据的内在结构实现向固有维度的降维,从而找到与高维原数据对应的低维嵌入流形。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结

流形学习是一种非线性降维方法,旨在发现高维数据的低维嵌入流形。该方法包括等度量映射、局部线性嵌入和$t$分布随机近邻嵌入等典型算法。等度量映射基于全局信息,通过测地距离和欧氏距离的等效性计算流形;而局部线性嵌入则基于局部信息,通过局部线性系数的不变性计算流形。$t$分布随机近邻嵌入将欧氏距离映射为相似性,利用相似性的保持计算流形。这些方法的应用可以将复杂的高维数据映射到二维或三维流形上,从而实现数据的可视化和隐藏结构的挖掘。流形学习与主成分分析相比,能够揭示数据的结构,而主成分分析则更适用于揭示数据的规律。因此,流形学习在数据可视化和特征识别方面具有重要作用。在实际应用中,Scikit-learn中的manifold模块提供了常用的流形学习方法,使得算法的细节被隐藏在函数内部,用户只需输入对应的参数即可。总之,流形学习是一种重要的非线性降维方法,对于理解数据的结构和特征识别具有重要意义。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《机器学习 40 讲》
新⼈⾸单¥59
立即购买
登录 后留言

全部留言(9)

  • 最新
  • 精选
  • 林彦
    如文中所述,降维和对于数据结构更好的解读是流形学习的应用。具体应用上在图像领域,特别是一些我们人脑能理解的图像信息的变化,比如苹果的各种品种,图像中一个物体的角度或位置的变化,流形学习理论上比线性降维能更好地关联数据的“关键”特征。 网上搜索结果中,流形学习在人脸识别的应用比较多。Bengio的《Deep Learning》中提到“在图像中,我们当然会认为有很多可能的变换仍然允许我们描绘出图片空间的流形:我们可以逐渐变暗或变亮光泽、逐步移动或旋转图中对象、逐渐改变对象表面的颜色等等。在大多数应用中很有可能会涉及到多个流形“。其中提到的2个人脸的例子里展示了人脸图像的高维流形到低维的映射,这些低维可以对应不同轴向的旋转,人的情绪表达。别的例子里提到了光照。 《Deep Learning》中的第2个例子提到了流形和自编码器的关系,我的理解是和多种自编码器的理论解读都有关系,如去噪自编码器,收缩自编码器,变分自编码器。生成式对抗网络的一些文章描述里也提及了流形,但我不确认和流形学习中的流形是否相关。 无监督学习或半监督学习发现或推导未知的数据特征时,流形学习有应用的场景(未读相关论文,有可能更偏向理论)。

    作者回复: 自编码器里的隐藏层神经元会少于输入的数目,从降维的角度来说,可以归到流形的范畴。但真正比较实在的应用是在知乎上看到的在生物行为学中的使用,一篇典型的论文是Mapping the stereotyped behavior of freely moving fruit flies。

    2018-07-06
    2
  • paradox
    老师,您好 文中t分布随机近邻嵌入改进的一方面是,让低维空间中的条件分布服从t分布,是不是因为t分布的自由度可以加入限制条件?不是很理解它的作用

    作者回复: 你可以观察下高斯分布和t分布的形状比较,t分布的长尾特性让它对距离的保持性更好。高维空间上相距较远的点被压缩到低维空间之后可能会变得很近,但它们之间并没有什么相似性,这就是文中提到的拥挤问题。t分布能够把高维空间上距离较远的点映射成低维空间上同样距离较远的点,从而把同一类点聚合,把不同类的点分开。

    2018-08-10
  • VentusDeus
    老师,感觉这一季的内容很有意思 在上一季基础上又有更多对数学原理更为深入和一般化的的讨论。不知道还会不会考虑像上一季一样推出一些参考书目/论文供大家深入学习了呢?

    作者回复: 有的,在总结部分会系统地推荐一些书目。

    2018-07-07
  • zhoujie
    流形学习是非参数的,因此对噪声会计较敏感,那有没有办法让流形学习不那么敏感呢?

    作者回复: 这是非常好的研究方向。

    2018-07-06
  • Python
    要是能结合到生活中讲就好了,这样写的太抽象了
    2018-12-25
    13
  • 赵晓叶
    有案例对应的完整代码吗
    2023-08-22归属地:上海
  • ifelse
    学习打卡
    2023-06-01归属地:浙江
  • 建强
    个人比较肤浅的理解是,流形学习通过把样本数据从高纬空间投影到低纬空间来揭示样本之间的内在关系,变化的趋势等,这样只要把样本投影到由样本特征组成的不同低维空间中,就能从不同的侧面来反映样本的关系和变化规律,而主成份分析只是在数据的主要特征上反映数据的变化规律和关系,不能全面揭示样本潜在的内部联系。
    2021-03-08
  • 极客时间攻城狮
    学习了
    2018-08-22
收起评论
显示
设置
留言
9
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部