机器学习40讲
王天一
工学博士,副教授
立即订阅
8040 人已学习
课程目录
已完结 44 讲
0/4登录后,你可以任选4讲全文学习。
开篇词 (1讲)
开篇词 | 打通修炼机器学习的任督二脉
免费
机器学习概观 (10讲)
01 | 频率视角下的机器学习
02 | 贝叶斯视角下的机器学习
03 | 学什么与怎么学
04 | 计算学习理论
05 | 模型的分类方式
06 | 模型的设计准则
07 | 模型的验证方法
08 | 模型的评估指标
09 | 实验设计
10 | 特征预处理
统计机器学习模型 (18讲)
11 | 基础线性回归:一元与多元
12 | 正则化处理:收缩方法与边际化
13 | 线性降维:主成分的使用
14 | 非线性降维:流形学习
15 | 从回归到分类:联系函数与降维
16 | 建模非正态分布:广义线性模型
17 | 几何角度看分类:支持向量机
18 | 从全局到局部:核技巧
19 | 非参数化的局部模型:K近邻
20 | 基于距离的学习:聚类与度量学习
21 | 基函数扩展:属性的非线性化
22 | 自适应的基函数:神经网络
23 | 层次化的神经网络:深度学习
24 | 深度编解码:表示学习
25 | 基于特征的区域划分:树模型
26 | 集成化处理:Boosting与Bagging
27 | 万能模型:梯度提升与随机森林
总结课 | 机器学习的模型体系
概率图模型 (14讲)
28 | 最简单的概率图:朴素贝叶斯
29 | 有向图模型:贝叶斯网络
30 | 无向图模型:马尔可夫随机场
31 | 建模连续分布:高斯网络
32 | 从有限到无限:高斯过程
33 | 序列化建模:隐马尔可夫模型
34 | 连续序列化模型:线性动态系统
35 | 精确推断:变量消除及其拓展
36 | 确定近似推断:变分贝叶斯
37 | 随机近似推断:MCMC
38 | 完备数据下的参数学习:有向图与无向图
39 | 隐变量下的参数学习:EM方法与混合模型
40 | 结构学习:基于约束与基于评分
总结课 | 贝叶斯学习的模型体系
结束语 (1讲)
结课 | 终有一天,你将为今天的付出骄傲
机器学习40讲
登录|注册

25 | 基于特征的区域划分:树模型

王天一 2018-07-31
不知道你是否留意过非洲的地图?和其他大洲按照地理边界划分国界的方式不同,很多非洲国家的国境线都是规则的直线条组合。这种非自然的划分背后隐藏着一段屈辱的历史:19 世纪起,欧洲的资本主义新贵们开始了对非洲的掠夺。而在巧取豪夺资源之外,他们也没有忘记抢占地盘,这些横平竖直的国境线就是对当年殖民主义者瓜分非洲无声的控诉。
下图是主要殖民国家在非洲的势力范围划分图,图片里的非洲如俎上的鱼肉般被肆意切割,切下的每一块都像黑奴一样,被烫上宗主国的烙印。
瓜分非洲(Scramble for Africa)(图片来自维基百科)
当然,我的目的不是探讨历史,举这个例子的原因是从非洲地图容易直观地联想到机器学习中基于树方法的分类结果。树模型(tree-based model)遵循“分而治之”的思路,以递推方式将特征空间划分为若干个矩形的区间,再在每个区间上拟合出一个简单的模型。在分类问题中,这个简单模型就是类别的标签选择。在“人工智能基础课”中,我曾以用于分类的决策树为例,对树模型做了介绍,你可以回忆一下。下图就是分类决策树对特征空间进行划分的一个实例。
决策树的生成与对特征空间的划分(图片来自 Pattern Recognition and Machine Learning, 图 14.5 & 14.6)
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《机器学习40讲》,如需阅读全部文章,
请订阅文章所属专栏。
立即订阅
登录 后留言

精选留言(5)

  • Yukiii🐋
    老师,如果想自己从头开始写一棵树,有必要自己尝试重写Scikit-learn 库中 tree 模块的 DecisionTreeRegressor 类吗

    作者回复: 可以尝试,自己亲自动手写一遍的效果胜过看代码千百遍。

    2019-06-21
  • 林彦
    决策树我的理解过去可以用来搜索知识库和标签基于逻辑做问答。没有机器学习训练大量数据就是一个专家系统,比如哈利波特里面分学院用的帽子,依赖知识和经验。现在有机器学习,网上搜索不用机器学习的决策树案例不那么容易找到。

    作者回复: 决策树还可以用作概念学习和基于规则的归纳推理,但都是早期的应用,随着符号主义的衰落式微了。

    2018-08-14
  • 林彦
    看到文中提到决策树和回归样条的关系。有下面的这些延伸思考和问题想请王老师确认。

    1. 回归树的特征选择(用来分枝的特征)是基于当前步骤取值区间使得所有决策树分枝的方差下降之和最大化?在每个分枝区间内是一个线性回归模型,计算方差的方式和线性回归模型一样?

    2. 三次样条回归是让所有分段的线性回归模型的均方误差之和最小化?三次样条回归每个分段的边界点选择是基于什么指标或什么原则呢?

    作者回复: 1. 方差下降是要让划分之后每个区域内的方差尽可能小,这使得每个区域内的数据相似度较高,所以可以用单个常数,通常是分枝区间内的数据均值来拟合这个区域。
    想象一下这样的例子:平面左侧和右侧各有一个圆,每个圆里都均匀分布着数据。如果两个圆距离较远,那么数据整体的方差就会比较大。理想的回归树应该把边界画在两个圆中间,这样划分之后每一边的数据各自接近,两边的方差都比较小,和原来相比方差整体的下降就会较大。如果把边界画在其中一个圆的中间,这个圆的半边数据就被归到另一个圆里,计算出来的方差依然会很大,自然就不是最优的边界了。
    2. 样条回归拟合的思路和普通线性回归的思路一样,都是让训练集上的均方误差最小化,但没法求解析解。结点位置和数目一般是靠试的,不成文的规则是根据自由度确定结点数目,再让结点在定义域上均匀分布,也就是取定义域的分位点。

    2018-08-14
  • Ophui
    天一老师,扩充了样本维度形成的高维小样本集即便训练效果很好,是不是因为维度很高,就会有问题?

    作者回复: 为什么要扩充维度呢?原则上说,小样本维度过高会造成维数灾难,样本容量撑不起过多的特征。最好对高维特征做个预处理,保留真正有意义的特征。

    2018-08-02
  • never_giveup
    老师,我又来了😊,据我所知,决策树在游戏AI和项目管理方面有所应用。另外我突然想到想一个问题,回归问题能从概率角度解释吗?好像不行,没有贝叶斯回归这个东西

    作者回复: 贝叶斯回归是有的哦,你可以查一查Bayesian regression,和11讲中的贝叶斯方法做个比较。

    2018-08-01
收起评论
5
返回
顶部