42 | PCA主成分分析（上）：如何利用协方差矩阵来降维？

一直有个问题为什么协方差是除以m-1，而不是m。方差，均方根等公式也是除m-1。好奇怪。

是不是只有方阵才能求特征值和特征向量？特征值和特征向量的个数与矩阵的维度有关系吗？特征向量的维度和矩阵的维度有关系吗？

所以上只是讲解pca的步骤吗？非常赞同要明白他是为什么被提出的，怎么来的观点，但是pca如果只是记步骤很容易忘记，觉得还是从如何建模，然后推导而来更有印象。

请问，在解释协方差公式的时候，xbar是不是应该表示的是“m个样本x这个属性的平均值”?还有一个问题就是，关于这句“协方差是用于衡量两个变量的总体误差”，对于协方差的意义我只能理解到，协方差表示的是两个变量之间的相关性，为什么是两个变量的总体误差呢？

这里Xn,1+...... 后面的括号是不是写错了？还是写掉了一部分？黄老师 (x1,1​−λ)(x2,2​−λ)…(xn,n​−λ)+x1,2​x2,3​…xn−1,n​xn,1​+…)−(xn,1​xn−1,2​…x2,n−1​x1,n​)=0 谢谢 因为有点没看懂😂

|(X-λI)| 那个竖线是什么意思？行列式是什么意思？怎么算的

markdown 语法支持不是很好 (1) 标准化原始数据 $$ x' = \frac{x-μ}{σ} $$ 第一列 均值 $μ_1 = 0$ , 方差 ${σ_1}^2 = [(1-0)^2 + (2-0)^2 + (-3-0)^2]/3 = 14/3$ 第二列 均值 $μ_2 =1/3 $ , 方差 ${σ_2}^2 = [(3-1/3)^2 + (5-1/3)^2 + (-7-1/3)^2]/3 = 248/9$ 第三列 均值 $μ_3 =-19/3 $ , 方差 ${σ_3}^2 = [(-7+19/3)^2 + (-14+19/3)^2 + (2+19/3)^2]/3 = 386/9$ 则， $$ \mathbf{X'} = \begin{vmatrix} 0.46291005&0.50800051&-0.10179732\\0.9258201&0.88900089&-1.17066918\\-1.38873015&-1.3970014&1.2724665\\\end{vmatrix} $$ (2)协方差矩阵 $$ \mathbf{cov(X_{,i}, X_{,j})} = \frac{\sum_{k=1}^m(x_{k,i} - \bar{X_{,i}})(x_{k,j} - \bar{X_{,j}})}{m-1} $$ $$ \mathbf{X'}.mean(asix=0) = [0,0, -7.401486830834377e-17] $$ $$ \mathbf{cov(X_{,i}, X_{,j})} = \frac{(\mathbf{X'[:,i-1]} - \mathbf{X'[:,i-1]}.mean()).transpose().dot(\mathbf{X'[:,j-1]} - \mathbf{X'[:,j-1]}.mean())} {m-1} $$ 协方差矩阵(对角线上是各维特征的方差)： $$ \mathbf{COV} = \begin{vmatrix} \mathbf{cov(X_{,1}, X_{,1})} & \mathbf{cov(X_{,1}, X_{,2})} & \mathbf{cov(X_{,1}, X_{,3})} \\ \mathbf{cov(X_{,2}, X_{,1})} & \mathbf{cov(X_{,2}, X_{,2})} & \mathbf{cov(X_{,2}, X_{,3})} \\ \mathbf{cov(X_{,3}, X_{,1})} &\mathbf{cov(X_{,3}, X_{,2})} &\mathbf{cov(X_{,3}, X_{,3})}\\\end{vmatrix} = \begin{vmatrix} 1.5 & 1.4991357 & -1.44903232 \\ 1.4991357 & 1.5 & -1.43503825 \\ -1.44903232 & -1.43503825 & 1.5 \\\end{vmatrix} $$

import numpy as np import pandas as pd from sklearn.preprocessing import scale array = np.array([[1, 3, -7], [2, 5, -14], [-3, -7, 2]]) array = scale(array) df = pd.DataFrame(array) df.corr()

1.标准化 第一步：计算每列平均值： E(X1) = 0, E(X2) = 1/3, E(X3) = -19/3 第二步：计算每列方差： D(X1) = 14/3, D(X2) = 248/9, D(X3) = 386/9 第三步：根据标准化公式：[X - E(X)] / SQRT[D(X)]做标准化处理，结果： X11 = 0.4628, X12 = 0.508, X13 = -0.1018 X21 = 0.9258, X22 = 0.889, X23 = -1.1707 X31 = -1.389, X32 = -1,397, X33 = 1.2725 2.协方差矩阵 [[ 7. , 17. , -20.5 ], [ 17. , 41.33333333, -49.33333333], [-20.5 , -49.33333333, 64.33333333]]

最重要的数学推导没有啊