17 丨决策树（上）：要不要去打篮球？决策树来告诉你

决策树学习通常包括三个步骤： 1. 特征选择。选取最优特征来划分特征空间，用信息增益或者信息增益比来选择 2. 决策树的生成。ID3、C4.5、CART 3. 剪枝 总结优缺点： ID3: 优点：算法简单，通俗易懂 缺陷：1. 无法处理缺失值 2. 只能处理离散值，无法处理连续值 3. 用信息增益作为划分规则，存在偏向于选择取值较多的特征。因为特征取值越多，说明划分的 越细，不确定性越低，信息增益则越高 4. 容易出现过拟合 C4.5: 优点：1. 能够处理缺省值 2. 能对连续值做离散处理 3. 使用信息增益比，能够避免偏向于选择取值较多的特征。因为信息增益比=信息增益/属性 熵，属性熵是根据属性的取值来计算的，一相除就会抵消掉 4. 在构造树的过程中，会剪枝，减少过拟合 缺点：构造决策树，需要对数据进行多次扫描和排序，效率低 学习的时候发现了这两点错误： 1. Gain(D , 天气)=0 ---> 1 Gain(D , 湿度)=0 ----> 1 Gain(D , 刮风)=0.0615 2. 针对将属性选择为温度的信息增益率为： Gain(D′, 温度)=Ent(D′)-0.792=1.0-0.792=-0.208 这里算出来的还是信息增益，不是信息增益率，没有除以属性熵 属性熵=-3/6log3/6 - 1/6log1/6 - 2/6log2/6 作业： 经验熵 H(D) = -1/2log1/2 - 1/2log1/2 = 1 属性 红的信息增益： g(D, A1) = H(D) - H(D|A1) = 1 - 1/2*0 - 1/2 * 0 = 1 属性 大的信息增益： g(D,A2) = 1 - 1/2*(-1/2log1/2-1/2log1/2)*2 = 0 属性熵都是1，所以信息增益比跟信息增益一样 特征选择 红作为最优特征，红的就是好苹果，不红的就是坏苹果

今天去面试一个金融分析师职位 问：算法知道吗？ 我答：还在学习中，但我会python 爬虫，Numpy/Pandas~还有标准化(心想为嘛早上不认真看看今天的课程，起码说的出来C4.5是啥)😂😂 以后要好好做作业~及时看课程

根集合D = {2个好苹果，2个不是号苹果}，求得Ent(D) = 1。 按红作为属性划分可得$D_1、D_2$两个子集 $D_1$ (红 = 是) = {2个好苹果} $D_2$ (红= 否) = {2个不是好苹果} 可得Ent( $D_1$ ) = 0 、Ent( $D_2$ ) = 0 可得归一化信息熵为$\dfrac{1}{2} \times 0 + \dfrac{1}{2} \times 0 $ = 0 则G(D,红) = 1-0 = 1 按大作为属性，同样可得 $D_1、D_2$两个子集 $D_1$ (大 = 是) = {1个好苹果，1个不是好苹果} $D_2$ (大 = 否) = {1个好苹果，1个不是好苹果} 可得Ent( $D_1$ ) = 1 、Ent( $D_2$ ) = 1 归一化信息熵 = $\dfrac{2}{4}\times1 + \dfrac{2}{4}\times1$ = 0.5 则G（D，大）= 1- 0.5 = 0.5 由此可得按红作为属性的信息增益大于按大作为属性的信息增益，所以选择红作为根节点。 接着在红为是的基础上，分析按大作为属性的信息增益。在红为是的集合里共有两个苹果集合D = {2个好苹果} Ent(D) = 0 $D_1$ (大 = 否) = {1个好苹果} $D_2$ (大 = 是) = {1个好苹果} Ent( $D_1$ ) = 0 、Ent( $D_2$ ) = 0 G(D，大) = 0 因为大是与否在红决定的前提下对好苹果的决定没有影响，所以剪去该分支。

算法一点听不懂咋整

脑瓜疼

老师你好，根据信息增益公式的构造，不应该是信息增益越小，纯度越高么？还有假设按照编号进行划分，那么他的信息增益算出来应该是最小的才对，因为子节点的归一化信息熵之和是1！您看可以解释一下不？

一个小建议：对于这种信息密度极度不对等的培训材料，区别于小说类科普类的材料，我认为以同样的语速从头到尾把内容念出来，没有太大的意义，增加语音反而是起到反效果。如果该停顿的地方没有细致的超出文本材料的讲解，真的没必要加这个语音，会让人把精力分摊到非重点内容上。

1.根结点的信息熵是 -（1/2*log（1/2）+1/2*log（1/2） = 1 2.假如以红来作为根结点，那么有两个叶子 红和不红， 红的信息熵是 -（1*log（1））= 0 不红的信息熵是 -(1*log(1)) = 0 所以 以红作为根结点的信息增益是 1-0 = 1 3.假如以大来作为根结点，那么有两个叶子节点： 大和不大 大的信息熵是 -(1/2*log(1/2)+1/2*log(1/2)) = 1 不大的信息熵是 -(1/2*log(1/2)+1/2*log(1/2)) = 1 以大作为根结点的信息增益是 1- (1/2*1 +1/2*1) = 0; 因为 以红作为根结点的信息增益大于以 大来作为根结点的信息增益，所以选择红来作为根结点。 4.第一个叶子节点 的节点是大 ，第二个叶子节点的节点也是大。

苹果-大的信息熵：5/3 苹果-红的信息熵：1 归一化的信息熵：1 苹果-大信息增益更大，作为根节点，红作为子节点。 决策树： 大（是）-红(是）-好苹果（是） 大（是）-红(否）-好苹果（否） 大（否）-红(是）-好苹果（是） 大（否）-红（否）-好苹果（否）

看了四五遍看不懂，拿笔和计算器算了一波，才懂了一点点。