人工智能基础课
王天一
工学博士,副教授
立即订阅
12221 人已学习
课程目录
已完结 58 讲
0/4登录后,你可以任选4讲全文学习。
开篇词 (1讲)
开篇词 | 人工智能:新时代的必修课
免费
数学基础 (7讲)
01 数学基础 | 九层之台,起于累土:线性代数
02 数学基础 | 月有阴晴圆缺,此事古难全:概率论
03 数学基础 | 窥一斑而知全豹:数理统计
04 数学基础 | 不畏浮云遮望眼:最优化方法
05 数学基础 | 万物皆数,信息亦然:信息论
06 数学基础 | 明日黄花迹难寻:形式逻辑
(课外辅导)数学基础 | 拓展阅读参考书
机器学习 (10讲)
07 机器学习 | 数山有路,学海无涯:机器学习概论
08 机器学习 | 简约而不简单:线性回归
09 机器学习 | 大道至简:朴素贝叶斯方法
10 机器学习 | 衍化至繁:逻辑回归
11 机器学习 | 步步为营,有章可循:决策树
12 机器学习 | 穷则变,变则通:支持向量机
13 机器学习 | 三个臭皮匠,赛过诸葛亮:集成学习
14 机器学习 | 物以类聚,人以群分:聚类分析
15 机器学习 | 好钢用在刀刃上:降维学习
(课外辅导)机器学习 | 拓展阅读参考书
人工神经网络 (7讲)
16 人工神经网络 | 道法自然,久藏玄冥:神经网络的生理学背景
17 人工神经网络 | 一个青年才俊的意外死亡:神经元与感知器
18 人工神经网络 | 左手信号,右手误差:多层感知器
19 人工神经网络 | 各人自扫门前雪:径向基函数神经网络
20 人工神经网络 | 看不见的手:自组织特征映射
21 人工神经网络 | 水无至清,人莫至察:模糊神经网络
(课外辅导)人工神经网络 | 拓展阅读参考书
深度学习 (7讲)
22 深度学习 | 空山鸣响,静水流深:深度学习概述
23 深度学习 | 前方有路,未来可期:深度前馈网络
24 深度学习 | 小树不修不直溜:深度学习中的正则化
25 深度学习 | 玉不琢不成器:深度学习中的优化
26 深度学习 | 空竹里的秘密:自编码器
27 深度学习 | 困知勉行者勇:深度强化学习
(课外辅导)深度学习 | 拓展阅读参考书
深度学习框架下的神经网络 (5讲)
28 深度学习框架下的神经网络 | 枯木逢春:深度信念网络
29 深度学习框架下的神经网络 | 见微知著:卷积神经网络
30 深度学习框架下的神经网络 | 昨日重现:循环神经网络
31 深度学习框架下的神经网络 | 左右互搏:生成式对抗网络
32 深度学习框架下的神经网络 | 三重门:长短期记忆网络
深度学习之外的人工智能 (4讲)
33 深度学习之外的人工智能 | 一图胜千言:概率图模型
34 深度学习之外的人工智能 | 乌合之众的逆袭:集群智能
35 深度学习之外的人工智能 | 授人以鱼不如授人以渔:迁移学习
36 深度学习之外的人工智能 | 滴水藏海:知识图谱
应用场景 (4讲)
37 应用场景 | 你是我的眼:计算机视觉
38 应用场景 | 嘿, Siri:语音处理
39 应用场景 | 心有灵犀一点通:对话系统
40 应用场景 | 数字巴别塔:机器翻译
加餐 (5讲)
课外谈 | “人工智能基础课”之二三闲话
推荐阅读 | 我与人工智能的故事
直播回顾 | 机器学习必备的数学基础
第2季回归 | 这次我们来聊聊机器学习
新书 | 《裂变:秒懂人工智能的基础课》
复习课 (7讲)
一键到达 | 数学基础复习课
一键到达 | 机器学习复习课
一键到达 | 人工神经网络复习课
一键到达 | 深度学习复习课
一键到达 | 深度学习框架下的神经网络复习课
一键到达 | 深度学习之外的人工智能复习课
一键到达 | 应用场景复习课
结束语 (1讲)
结课 | 溯洄从之,道阻且长
人工智能基础课
登录|注册

15 机器学习 | 好钢用在刀刃上:降维学习

王天一 2018-01-11
毛主席在《矛盾论》中提出了主要矛盾和次要矛盾的概念:“研究任何过程,如果是存在着两个以上矛盾的复杂过程的话,就要用全力找出它的主要矛盾。”这种哲学观点也可以用来指导机器学习。
一个学习任务通常会涉及样本的多个属性,但并非每个属性在问题的解决中都具有同等重要的地位,有些属性可能举足轻重,另一些则可能无关紧要。根据凡事抓主要矛盾的原则,对举足轻重的属性要给予足够的重视,无关紧要的属性则可以忽略不计,这在机器学习中就体现为降维的操作
主成分分析是一种主要的降维方法,它利用正交变换将一组可能存在相关性的变量转换成一组线性无关的变量,这些线性无关的变量就是主成分。多属性的大样本无疑能够提供更加丰富的信息,但也不可避免地增加了数据处理的工作量。更重要的是,多数情况下不同属性之间会存在相互依赖的关系,如果能够充分挖掘属性之间的相关性,属性空间的维度就可以降低。
在现实生活中少不了统计个人信息的场合,而在个人信息的表格里通常会包括“学历”和“学位”两个表项。因为学位和学历代表着两个独立的过程,因此单独列出是没有问题的。但在我国现行的惯例下,这两者通常会一并取得。两者之间的相关性足以让我们根据一个属性的取值去推测另一个属性的取值,因此只要保留其中一个就够了。
但这样的推测是不是永远准确呢?也不是。如果毕业论文的答辩没有通过,就会出现只有学历而没有学位的情形;对于在职研究生来说,只有学位没有学历的情形也不稀奇。这说明如果将学历和学位完全等同,就会在这些特例上出现错误,也就意味着信息的损失。这是降维操作不可避免的代价。
以上的例子只是简单的定性描述,说明了降维的出发点和可行性。在实际的数据操作中,主成分分析解决的就是确定以何种标准确定属性的保留还是丢弃,以及度量降维之后的信息损失
从几何意义来看,主成分分析是要将原始数据拟合成新的 维椭球体,这个椭球体的每个轴代表着一个主成分。如果椭球体的某个轴线较短,那么该轴线所代表的主成分的方差也很小。在数据集的表示中省略掉该轴线以及其相应的主成分,只会丢失相当小的信息量。具体说来,主成分分析遵循如下的步骤:
数据规范化:对 个样本的相同属性值求出算术平均数,再用原始数据减去平均数,得到规范化后的数据;
协方差矩阵计算:对规范化后的新样本计算不同属性之间的协方差矩阵,如果每个样本有 个属性,得到的协方差矩阵就是 维方阵;
特征值分解:求解协方差矩阵的特征值和特征向量,并将特征向量归一化为单位向量;
降维处理:将特征值按照降序排序,保留其中最大的 个,再将其对应的 个特征向量分别作为列向量组成特征向量矩阵;
数据投影:将减去均值后的 维数据矩阵和由 个特征向量组成的 维特征向量矩阵相乘,得到的 维矩阵就是原始数据的投影。
经过这几步简单的数学运算后,原始的 维特征就被映射到新的 维特征之上。这些相互正交的新特征就是主成分。需要注意的是,主成分分析中降维的实现并不是简单地在原始特征中选择一些保留,而是利用原始特征之间的相关性重新构造出新的特征
为什么简单的数学运算能够带来良好的效果呢?
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《人工智能基础课》,如需阅读全部文章,
请订阅文章所属专栏。
立即订阅
登录 后留言

精选留言(6)

  • 刘祯
    这一方面很容易想到人生中最重要的就是,寻找每个时期最重要的时期,不断拆分,继而聚焦注意力,实现最大的价值产出,对于学生而言,高考或是考研必然成为同时期最重要的事情,花再多的努力也不为过,前提是自愿去这么做。日常工作更是如此,面对繁杂的任务,按照优先级去进行排序和划分才能够最大程度上优化我们的人生选择。

    作者回复: 没错,先有规划再有行动

    2018-03-10
    4
  • 张煌
    以经济建设为中心,大力发展生产力。。。
    2018-12-04
    1
  • 黄振宇
    有个问题,王老师能否帮忙解答下。
    降维后的特征集合是之前所有特征的子集合吗,是相当于是先对数据的特征向量做了筛选吗?只不过我们把筛选的工作交给了特征值?因为您后面也提到了特征选择,如果我们在特征选择时候做的足够好,这二者是不是等价的?

    或者是说降维后,乘以新的特征向量,原始数据的意义是否变了呢?
    2019-11-29
  • 全全
    天一老师,我看挺多论文研究bounds的,什么Cramer-rao bounds 还有generalize spectral bounds for sparse lda,您能给我说说bounds到底做什么用的
    老师,您回答我吧
    线性回归那一节的留言,您一起回答我一下吧!谢谢

    作者回复: 所有的bound给出的都是一个界,也就是要么最好要么最差的情况。CR界说的是确定参数估计的方差下界,也就是估计值围绕真实值最小的波动幅度。多次独立重复估计的统计特性不可能比CR界再好了。别的各种各样的界也是一样,在某个问题中,某种条件下能达到的最好或者最差性能,这是发论文一个重要的主题。
    但界给出的只是一种极限的情况,没有给出达到这个极限的方法,相当于只是证明了存在性。

    2019-03-22
  • haiker
    80/20原则
    2018-11-06
  • zhoujie
    PCA在求解的过程中只用到了样本均值和方差,那是不是可以认为PCA默认做了假设,它认为数据本身是服从高斯分布的?

    作者回复: 并没有,但PCA针对高斯分布的效果最好,因为不相关的高斯分布实际就是独立的。

    2018-09-30
收起评论
6
返回
顶部