极客时间
21天打卡行动 51/21
<<机器学习40讲/13>> 线性降维：主成分的使用
回答老师问题
在机器学习中，还有一种和主成分分析名字相似的方法，叫作独立成分分析（independent component analysis）。那么这两者之间到底有什么区别和联系呢？
1. 主成分分析假设源信号间彼此非相关，独立成分分析假设源信号间彼此独立。
2. 主成分分析认为主元之间彼此正交，样本呈高斯分布；独立成分分析则不要求样本呈高斯分布。
来源:[https://blog.csdn.net/shenziheng1/article/details/53547401]
今日所学:
1,维数灾难深层次的原因在于数据样本的有限。
2,特征选择（feature selection）;
3,岭回归收缩系数的对象并非每个单独的属性，而是由属性的线性组合计算出来的互不相关的主成分，主成分上数据的方差越小，其系数收缩地就越明显。
4,主成分回归;
5,主成分分析是典型的特征提取方法，它和收缩方法的本质区别在于将原始的共线性特征转化为人为生成的正交特征，从而带来了数据维度的约简和数据压缩的可能性;
6,主成分分析可以看成对高斯隐变量的概率描述,
7,隐变量（latent variable）是不能直接观测但可以间接推断的变量;
8,概率主成分分析（probabilistic principal component analysis）体现的就是高斯型观测结果和高斯隐变量之间线性的相关关系，它是因子分析（factor analysis）的一个特例;
重点:
降维方法和特征提取技术要点:
 在有限的数据集下，数据维度过高会导致维数灾难；
降维的方法包括特征选择和特征提取；
主成分分析将原始的共线性特征转化为新的正交特征，从而实现特征提取；
概率主成分分析是因子分析的一种，是数据的生成模型。