程序员的数学基础课
黄申
LinkedIn 资深数据科学家
83374 人已学习
新⼈⾸单¥68
登录后,你可以任选4讲全文学习
课程目录
已完结/共 58 讲
导读 (1讲)
基础思想篇 (18讲)
程序员的数学基础课
15
15
1.0x
00:00/00:00
登录|注册

45 | 线性代数篇答疑和总结:矩阵乘法的几何意义是什么?

结合实际案例
简化操作
最小二乘法、PCA、SVD
数据对象之间的关系
算法和模型
矩阵
向量
XX=UΣ2UXX'=UΣ^2U'
XX=VΣ2VX'X=VΣ^2V'
矩阵X2X_2左乘向量的几何意义
构建矩阵X2X_2
VV是酉矩阵
原有向量在xx轴和yy轴上的变换
特征值表示伸缩比例
特征向量表示变换方向
伸缩比例
变换方向
点乘结果为0
收获和心得
思考方法
运用
基本概念
证明过程
XXXX'的特征向量组成了UU矩阵
XXX'X的特征向量组成了VV矩阵
矩阵左乘矩阵的几何意义
酉矩阵VV和矩阵X2X_2
矩阵X1X_1的几何意义
矩阵X1X_1的特征向量和特征值
矩阵左乘向量的几何意义
二维空间中的正交向量
思考题
总结
SVD分解中的UUVV矩阵
矩阵乘法的几何意义
线性代数篇答疑和总结

该思维导图由 AI 生成,仅供参考

你好,我是黄申。今天是线性代数的答疑和总结。
在这个模块中,我们讲了不少向量、矩阵、线性方程相关的内容。看到大家在留言区的问题,今天我重点说说矩阵乘法的几何意义,以及为什么 SVD 中 的特征向量组成了 矩阵,而 的特征向量组成了 矩阵。最后,我会对整个线性代数的模块做一个总结。

矩阵乘法的几何意义

首先,我们来说说矩阵乘法所代表的几何意义。
在阐述 PCA 主成分分析的时候,我们聊过为什么这个方法要研究协方差矩阵的特征值和特征向量。其中,我提到对某个向量左乘一个矩阵,实际上是对这个向量进行了一次变换。某个矩阵的特征向量表示了这个矩阵在空间中的变换方向,这些方向都是正交或者趋于正交的,而特征值表示每个方向上伸缩的比例。今天,我会继续深入这个话题,结合实例,给出更详细地解释。
多维的向量空间很难理解,所以我们还是从最简单的二维空间开始。首先,我们需要明白什么是二维空间中的正交向量。正交向量的定义非常简单,只要两个向量的点乘结果为 0,那么它们就是正交的。在酉矩阵之中,矩阵和矩阵的转置相乘为单位矩阵,只有向量自己点乘自己值为 1,而不同向量之间点乘值为 0,所以不同的向量之间是正交的。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结

本文深入探讨了矩阵乘法的几何意义,以及SVD中$X'X$的特征向量组成了$V$矩阵,而$XX'$的特征向量组成了$U$矩阵。首先,通过对二维空间中的正交向量和矩阵乘法的几何意义进行详细解释,阐述了矩阵左乘所对应的几何意义。其次,通过实例验证了矩阵左乘的几何意义,以及对矩阵的特征值和特征向量进行分析。接着,通过SVD分解中的$U$和$V$矩阵的证明,阐述了$X'X$的特征向量组成了$V$矩阵,而$XX'$的特征向量组成了$U$矩阵的过程。最后,总结了矩阵左乘矩阵的几何意义,以及SVD分解中的$U$和$V$矩阵的相关内容。 通过本文的阐述,读者可以快速了解矩阵乘法的几何意义,以及SVD中$U$和$V$矩阵的形成过程,为进一步深入学习线性代数提供了重要的基础知识。线性代数最基本的概念包括了向量、矩阵以及对应的操作。向量表示了一组数的概念,非常适合表示一个对象的多维特征,因此被广泛的运用在信息检索和机器学习的领域中。而矩阵又包含了多个向量,所以适合表示多个数据对象的集合。同时,矩阵也可以用于表达二维关系,例如网页的邻接矩阵,用户对物品的喜好程度,关键词在文档中的tf-idf等等。 由于向量和矩阵的特性,我们可以把它们运用在很多算法和模型之中。向量空间模型定义了向量之间的距离或者余弦夹角,我们可以利用这些指标来衡量数据对象之间的相似程度,并把这种相似程度用于定义查询和文档之间的相关性,或者是文档聚类时的归属关系。矩阵的运算体现了对多个向量同时进行的操作,比如最常见的左乘,就可以用在计算PageRank值,协同过滤中的用户或者物品相似度等等。 当然,矩阵的运用还不只计算数据对象之间的关系。最小二乘法的实现、PCA主成分的分析、SVD奇异值的分解也可以基于矩阵的运算。这些都可以帮助我们发现不同维度特征之间的关系,并利用这些关系找到哪些特征更为重要,选择或者创建更为重要的特征。 有的时候,线性代数涉及的公式和推导比较繁琐。在思考的过程中,我们可以把矩阵的操作简化为向量之间的操作,而把向量之间的操作简化为多个变量之间的运算。另外,我们可以多结合实际的案例,结合几何空间、动手推算,甚至可以编程实现某些关键的模块,这些都有利于理解和记忆。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《程序员的数学基础课》
新⼈⾸单¥68
立即购买
登录 后留言

全部留言(14)

  • 最新
  • 精选
  • 胡鹏
    没法实践,听不懂,却在坚持,这样有益处嘛?

    作者回复: 你说的没法实践是指实际项目中没有运用的机会吗?可以一步步来,每次弄懂一点,也许没法直接用到实践中,但是对解决问题的思路也许是有帮助的,加油💪!

    2019-03-30
    2
    10
  • qinggeouye
    1、矩阵 X 左乘另一个向量 a,向量 a 分别沿着矩阵 X 的特征向量进行伸缩,伸缩大小为特征向量对应的特征值; 2、不太理解,Σ 为什么会是对角矩阵?矩阵 X 是 m x n 维的,U 是 m x m 维左奇异矩阵,V 是 n x n 维的右奇异矩阵,按道理 Σ 是 m x n 维奇异矩阵(对角线上是奇异值,其它元素为0) ;当 m = n 时,Σ 才是对角矩阵吧?这样的话才是 $Σ'Σ = Σ^2$ 。又或者是对 奇异值矩阵 Σ 中的奇异值做了某种取舍(降维),U 未必是 m x m 维,V 也未必是 n x n 维?

    作者回复: 对角矩阵的定义是主对角线之外的元素皆为0的矩阵,所以不一定需要m=n,例如,下面这种也是对角矩阵 [[1,0,0],[0,1,0]]

    2019-04-03
    4
  • l c
    https://www.bilibili.com/video/BV1ys411472E 3Blue1Brown的线性代数的本质,本科线代没好好学一塌糊涂,后来研究生的时候发现很多东西都需要依靠线代思考,所以找到了这个复习,豁然开朗。

    作者回复: 很高兴对你有价值

    2020-08-12
    2
  • 我是小白007
    工作中暂时用不到。但是拓展了思路,以前对线代的阴影也少了许多。谢谢黄老师

    作者回复: 很高兴对你有用

    2019-10-31
    2
  • 陈小渣👻
    太开心啦👏,整个线代模块下来,学到了很多大学里面没联系起来的知识~黄老师的表述好清晰~

    作者回复: 很高兴这个专栏对你有价值!

    2019-08-31
    2
  • 南边
    这是一门基础课程,第一遍看完,虽然大部分知识看懂了,但是还是很生疏,之前看的,现在又忘记了,主要是因为没有应用起来,还不熟悉,多看几遍,自己多写点demo,自然会熟悉起来

    作者回复: 是的,重在实践

    2020-01-16
    1
  • 逐风随想
    @胡鹏:一样,人们都说笨鸟先飞。刚开始的一腔热血。慢慢的到后面发现越来越艰难了。也越来越痛苦。这个已经超过了能力范围。有的时候智力真的是跨越不了的坎。

    作者回复: 加油,每次集中在一个点,逐步细化和理解,会有突破的

    2019-03-31
    1
  • 建强
    心得: 1.向量和矩阵的运算是一种可以理解为是机器学习中的基本工具和手段,适用于机器学习领域中的许多算法。 2.利用矩阵运算,可以让很多算法模型的表达更加简洁,比如PageRank算法、最小二乘法等。 3.机器学习中,把样本和样本的特征看成是一个多维矩阵,运用矩阵运算,可以对样本进行各种分析,比如主成份分析、相似度分析等。 4.向量和矩阵运算只适用于对象之间线性关系的运算和分析,不知道这样理解对不对

    作者回复: 前面3点是对的,至于第4点,我们可以将非线性的关系通过一定的变化,转为线性关系,然后用向量和矩阵运算

    2020-12-06
  • Paul Shan
    最大的收获就是矩阵乘法的几何解释,这次学习线性代数终于把矩阵的特征值和特征向量,矢量的旋转和伸缩窜起来了。总结起来就是: 列向量左乘一个方阵,相当于把这个方阵分解成特征向量和特征值,列向量在特征向量上的每一个分量都作相应特征值的伸缩,伸缩后的分量合成一个新的列向量就是左乘矩阵的结果。 矩阵本身就可以分解成列向量的集合,左乘方阵就相当于对每个列向量作相应的几何变换。 但是这只限于方阵,请问黄老师对于一般的矩阵乘法,也有几何解释吗?

    作者回复: 一般的矩阵乘法也是类似的几何解释,这里只是用方阵作为例子

    2019-10-11
  • 小伟
    之前学过线性代数,但是没有跟实际的应用场景结合一起,多谢黄老师的课程; 知道了线性代数可以求文档相关性和去重,了解了LSM推到过程,了解了PCA和奇异值分解的过程。 但是这些在我的工作中都没有应用到,所以,后面会更多的去应用场景,用好这些工具。

    作者回复: 很高兴对你有价值

    2019-08-25
收起评论
显示
设置
留言
14
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部