程序员的数学基础课
黄申
LinkedIn资深数据科学家
立即订阅
23340 人已学习
课程目录
已完结 57 讲
0/4登录后,你可以任选4讲全文学习。
开篇词 (1讲)
开篇词 | 作为程序员,为什么你应该学好数学?
免费
导读 (1讲)
导读:程序员应该怎么学数学?
基础思想篇 (18讲)
01 | 二进制:不了解计算机的源头,你学什么编程
02 | 余数:原来取余操作本身就是个哈希函数
03 | 迭代法:不用编程语言的自带函数,你会如何计算平方根?
04 | 数学归纳法:如何用数学归纳提升代码的运行效率?
05 | 递归(上):泛化数学归纳,如何将复杂问题简单化?
06 | 递归(下):分而治之,从归并排序到MapReduce
07 | 排列:如何让计算机学会“田忌赛马”?
08 | 组合:如何让计算机安排世界杯的赛程?
09 | 动态规划(上):如何实现基于编辑距离的查询推荐?
10 | 动态规划(下):如何求得状态转移方程并进行编程实现?
11 | 树的深度优先搜索(上):如何才能高效率地查字典?
12 | 树的深度优先搜索(下):如何才能高效率地查字典?
13 | 树的广度优先搜索(上):人际关系的六度理论是真的吗?
14 | 树的广度优先搜索(下):为什么双向广度优先搜索的效率更高?
15 | 从树到图:如何让计算机学会看地图?
16 | 时间和空间复杂度(上):优化性能是否只是“纸上谈兵”?
17 | 时间和空间复杂度(下):如何使用六个法则进行复杂度分析?
18 | 总结课:数据结构、编程语句和基础算法体现了哪些数学思想?
概率统计篇 (14讲)
19 | 概率和统计:编程为什么需要概率和统计?
20 | 概率基础(上):一篇文章帮你理解随机变量、概率分布和期望值
21 | 概率基础(下):联合概率、条件概率和贝叶斯法则,这些概率公式究竟能做什么?
22 | 朴素贝叶斯:如何让计算机学会自动分类?
23 | 文本分类:如何区分特定类型的新闻?
24 | 语言模型:如何使用链式法则和马尔科夫假设简化概率模型?
25 | 马尔科夫模型:从PageRank到语音识别,背后是什么模型在支撑?
26 | 信息熵:如何通过几个问题,测出你对应的武侠人物?
27 | 决策树:信息增益、增益比率和基尼指数的运用
28 | 熵、信息增益和卡方:如何寻找关键特征?
29 | 归一化和标准化:各种特征如何综合才是最合理的?
30 | 统计意义(上):如何通过显著性检验,判断你的A/B测试结果是不是巧合?
31 | 统计意义(下):如何通过显著性检验,判断你的A/B测试结果是不是巧合?
32 | 概率统计篇答疑和总结:为什么会有欠拟合和过拟合?
线性代数篇 (13讲)
33 | 线性代数:线性代数到底都讲了些什么?
34 | 向量空间模型:如何让计算机理解现实事物之间的关系?
35 | 文本检索:如何让计算机处理自然语言?
36 | 文本聚类:如何过滤冗余的新闻?
37 | 矩阵(上):如何使用矩阵操作进行PageRank计算?
38 | 矩阵(下):如何使用矩阵操作进行协同过滤推荐?
39 | 线性回归(上):如何使用高斯消元求解线性方程组?
40 | 线性回归(中):如何使用最小二乘法进行直线拟合?
41 | 线性回归(下):如何使用最小二乘法进行效果验证?
42 | PCA主成分分析(上):如何利用协方差矩阵来降维?
43 | PCA主成分分析(下):为什么要计算协方差矩阵的特征值和特征向量?
44 | 奇异值分解:如何挖掘潜在的语义关系?
45 | 线性代数篇答疑和总结:矩阵乘法的几何意义是什么?
综合应用篇 (6讲)
46 | 缓存系统:如何通过哈希表和队列实现高效访问?
47 | 搜索引擎(上):如何通过倒排索引和向量空间模型,打造一个简单的搜索引擎?
48 | 搜索引擎(下):如何通过查询的分类,让电商平台的搜索结果更相关?
49 | 推荐系统(上):如何实现基于相似度的协同过滤?
50 | 推荐系统(下):如何通过SVD分析用户和物品的矩阵?
51 | 综合应用篇答疑和总结:如何进行个性化用户画像的设计?
加餐 (3讲)
数学专栏课外加餐(一) | 我们为什么需要反码和补码?
数学专栏课外加餐(二) | 位操作的三个应用实例
数学专栏课外加餐(三):程序员需要读哪些数学书?
结束语 (1讲)
结束语 | 从数学到编程,本身就是一个很长的链条
程序员的数学基础课
登录|注册

43 | PCA主成分分析(下):为什么要计算协方差矩阵的特征值和特征向量?

黄申 2019-03-25
你好,我是黄申,今天我们继续来聊 PCA 主成分分析的下半部分。
上一节,我们讲解了一种特征降维的方法:PCA 主成分分析。这个方法主要是利用不同维度特征之间的协方差,构造一个协方差矩阵,然后获取这个矩阵的特征值和特征向量。根据特征值的大小,我们可以选取那些更为重要的特征向量,或者说主成分。最终,根据这些主成分,我们就可以对原始的数据矩阵进行降维。
PCA 方法的操作步骤有些繁琐,并且背后的理论支持也不是很直观,因此对于初学者来说并不好理解。考虑到这些,我今天会使用一个具体的矩阵示例,详细讲解每一步操作的过程和结果,并辅以基于 Python 的核心代码进行分析验证。除此之外,我还会从多个角度出发,分析 PCA 方法背后的理论,帮助你进一步的理解和记忆。

基于 Python 的案例分析

这么说可能有一些抽象,让我使用一个具体的案例来帮你理解。假设我们有一个样本集合,包含了 3 个样本,每个样本有 3 维特征
在标准化的时候,需要注意的是,我们的分母都使用 m 而不是 m-1,这是为了和之后 Python 中 sklearn 库的默认实现保持一致。
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《程序员的数学基础课》,如需阅读全部文章,
请订阅文章所属专栏。
立即订阅
登录 后留言

精选留言(10)

  • Wing·三金
    思考题:
    基于分类的特征选择
    优点:可以根据标签,有针对性地选择特征,可解释性强;
    缺点:若是已有的特征未能反映数据的本质关系,可能会起不到精简特征的作用,因为每个特征几乎同等地重要。

    基于 PCA 的特征降维:
    优点:可以组合相关性强的特征维度,挖掘数据的本质特征;
    缺点:因为失去了原始特征的描述,导致新的特征可解释性很差。

    作者回复: 写得很到位

    2019-04-04
    4
  • 半城柳色 / 半声笛
    这也是为什么,我们需要使用原始的数据去左乘这个特征向量,来获取降维后的新数据。

    对于这句话还是不太理解,这个特征向量是协方差矩阵的特征向量,如果是协方差矩阵乘上特征向量,就能使得特征向量伸缩,也就是获得了协方差矩阵的主要方向(在特征值最大情况下),但是原始数据乘上协方差矩阵的特征向量,为啥得到的也是它的主成分?

    作者回复: 你可以这么理解,协方差特征向量,告诉你了哪些特征是强相关的,并把这些强相关的特征捆绑在一起,组成一个新的维度达到降维的效果。所以原始数据左乘这个特征向量就是为了达到把若干强相关的原始特征值捆绑在一起,生成一个新的特征值,最终达到降维的目的。一个矩阵乘以自己的特征向量并不一定能达到降维的效果。

    2019-07-24
    2
  • 拉欧
    基于分类标签的特征选择是监督式的,基于PCA的主成分分析是非监督式的,前者需要测试数据进行学习,后者不需要,可以这么理解么?

    作者回复: 理解的没错

    2019-03-25
    1
  • 黄振宇
    刚刚还在上一篇有疑问,在这一节就得到解惑了。
    “”需要注意的是,这个新的方向,往往不代表原始的特征,而是多个原始特征的组合和缩放。“”

    作者回复: 很高兴对你有帮助

    2019-11-29
  • Paul Shan
    我个人的理解,基于分类标签的选择主要选择那些和预测结果相关度高的特征,这类似于从结果出发反向选择那些有紧密联系的特征。这种方法精度较高,而且特征是原始的,容易理解。但是需要大量有标记的数据。
    而PCA主成分分析法是从特征出发,分析特征之间的相关性和特征本身的信息量,最终重新合成特征,这些新的特征最大程度包含原特征的信息量。这种方法的好处是不需要标记数据。缺点是只是对特征分析,现实世界预测列和特征列的关系可能并不是特征列之间的相关性就能表达,而且新的特征是合成的,不好理解。

    作者回复: 很好的总结👍

    2019-10-10
  • 动摇的小指南针
    老师,PCA的原理实际上就想使目标矩阵X的列向量组x1,x2,x3..方差最大,同时协方差为0。而协方差矩阵刚好满足这样的特征,只需要找到可以让协方差矩阵对角化的矩阵P,就可以使x1,x2,x3的彼此协方差化为0(即正交),而保留方差的特征,而对角化的矩阵P也就是X矩阵的特征向量集合。不知道我说的对不对

    作者回复: 是的,主要的思想就是如此

    2019-07-15
  • 余泽锋
    关于选择协方差作为PCA分析的对象,有些困惑。
    本质上,皮尔森系数和数据标准化的协方差是一致的,那么皮尔森系数是不是跟协方差一样可以拿来衡量信息量的大小和不同维度之间的相关性。
    那么选择协方差或者皮尔森系数作为PCA分析的对象岂不是差不多?

    作者回复: 理论上来说确实如此,我们可以通过代码来比较一下结果。

    2019-04-11
  • 余泽锋

    思考题:
    分类的特征选择
    基于人工主观意识

     PCA 的特征降维:
    基于统计学
    2019-04-11
  • qinggeouye
    「可对角化的矩阵,对角化后对角线上的元素就是特征值」
    https://blog.csdn.net/danieljianfeng/article/details/22171581
    2019-03-31
  • 小美
    老师你好,问一下离散型的纬度是不是不适合参与这种方式降纬啊?如果有纬度是离散的,那应该怎么处理呢?

    作者回复: 只要是数值型,如果是离散的也是可以的。如果不是数值型,要看看能否转换成数值型,以及转成数值型之后大小变化是否还有意义。

    2019-03-25
收起评论
10
返回
顶部