34丨AdaBoost（上）：如何使用AdaBoost提升分类器性能？

作业 1.假设分类正确就是吃鸡成功。 1）训练多个弱分类器，并不断迭代弱分类器，选择最优弱分类器 枪法，一个弱分类器，你可以通过玩的越来越多，练习越来越好 身法，一个弱分类器，同理 意识，一个弱分类器。同理 ··· 2）将弱分类器组合起来，形成一个强分类器 枪法，身法，眼神，你只有一个的话，实际上，你的吃鸡概率并不高。但是三个都好的人，吃鸡概率就是高。这就是强分类器。 2.把分类正确理解成功的的话， 1）训练多个弱分类器，并不断迭代弱分类器，选择最优弱分类器 努力获取了一个领域的知识和道理，就是一个弱分类器，不断地学习和精进，在一个知识领域变得更强 3）将弱分类器组合起来，形成一个强分类器 合理跨界，将两个领域的知识组合起来，产生新收益。比如软硬件结合的苹果，仅一家公司就占据了整个手机市场利润的50%以上。 两个领域的组合，就是一个强分类器。 理解 1.通过修改样本的数据分布来实现算法的。 正确分类的，就少分点 错误分类的，就多分点。 像做题， 做正确的题，下次就少做点，反正会了。 做错的题，下次多做点，集中在错题上 每次这个题都在变化，随着你学习的深入，你做错的题会越来越少。 2.样本的权重时根据之前的k论权重以及k个分类器的准确率而定的。 你决定做什么样题。 1.取决于你上次做对了什么题，做错了什么题 2.做正确了，你就少做点。 3.做错了，你就多做点。 提问：Zk是啥意思？，yi是啥意思？ 流程 1.获取基础权重 2.获取基础分类器 3.计算错误率，选择错误率最低的为最优分类器 4.通过计算分类器权重公式，达到减少正确样本数据分布，增加错误样本数据分布 5.代入W k+1,i和D k+1 的公式，得到新的权重矩阵 7.在新的权重矩阵上，计算错误率，选择错误最低的为最优分类器 剩下的就是迭代，重复 直到迭代完成，获得强分类器

多个弱分类器训练成为一个强分类器。 类比为： 全班同学都做一张正常的高中试卷，但是每道题无论大小都是一样的分数。 1. 给得分最高的同学赋予一个比他人更高的权重，并且他做错的题目分数都提高一些。 2. 重新计分，选择此时分数最高的人赋予一定权重，提高他做错题目的分数。 3. 不断重复以上步骤。 4. 每个同学都重新有了权重之后，一个强分类器就诞生了。

如何理解 AdaBoost 中弱分类器，强分类器概念的？另外，AdaBoost 算法是如何训练弱分类器从而得到一个强分类器的？ 1、弱分类器，是指基础分类器，正确率略高于50%的那种。 强分类器是通过训练出多个弱分类器，并赋值权重，最后形成弱分类器+权重的模型。 2、得到强分类器的方法： 参考链接：https://www.cnblogs.com/hlongch/p/5734293.html adaboost算法的核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器(强分类器)。 1.一开始，给训练数据中的每一个样本，赋予其一个权重，权重都初始化成相等值。如（1/样本数量） 2.首先在训练数据中训练出一个弱分类器并计算改分类器的错误率，选取错误率最小的分类器，并基于分类器错误率计算其权重值alpha。 3.在分类器的第二次训练当中，将会重新调整每个样本的权重，其中第一次分对的样本的权重将会降低，而第一次分错的样本权重将会提高。然后在同一数据集上再次训练弱分类器。得出第二个错误率小的分类器，并基于错误率计算权重。 4.重复“重新分配样本权重——计算分类器错误率——选取分类器——计算分类器权重” 5.最后将每次训练得到的分类器最后融合起来，作为最后的决策分类器。

补充：这里的Zk是归一化因子。

弱分类器：分类准确率比较低，可能在(50%~70%)之间 强分类器：在AdaBoost算法中，将一系列的弱分类器以不同的权重比组合作为最终分类选择 在筛选每一轮的最优分类器后，调整样本的权重，以获得一个更优的弱分类器。

1、假设AdaBoost算法是球队 弱分类器：在众多球队里，踢得不好的队伍 强分类器：通过在弱分类不断地寻找出弱分类里面踢得好的，最后组成一个强的球队 2、如何训练成强分类器： 1、首先初始化一个相同权重。 2、然后在训练数据中计算弱分类·的错误率，选择错误率最低的去计算该权重 3、接着再次训练，重新调整每个样本的权重，其中第一次分对的样本的权重将会降低，而第一次分错的样本权重将会提高。然后在同一数据集上再次训练弱分类器。得出第二个错误率小的分类器，并基于错误率计算权重。 4、重复此步骤 5、最后将每次训练得到的分类器最后融合起来，作为最后的决策分类器。

根据我的反推，首先这里的所有涉及到对数和指数的都是以e为底的，然后就是Dk+1这一步，需要先计算Zk，这个就是把 wk*e^(-ak*y*Gk(x))把全部的加起来就是了，然后再去算Wk+1，然后就进一步可以算出Dk+1。 个人理解就是AdaBoost就是先把数据通过权重的方式分割成不同的部分，然后每个部分再去交给在这些里较为专业的分类器去分类，通过迭代，再把计算的结果带上权重后，就是结果了。

log没有底数怎么计算啊

弱分类器分类正确率比随机稍微高一点，每次选择相对最优的分类器，然后对分类错误的部分加强训练，最后得到一个强分类器。 1.一开始，给训练数据中的每一个样本，赋予其一个权重，权重都初始化成相等值。如（1/样本数量） 2.首先在训练数据中训练出一个弱分类器并计算改分类器的错误率，选取错误率最小的分类器，并基于分类器错误率计算其权重值alpha。 3.在分类器的第二次训练当中，将会重新调整每个样本的权重，其中第一次分对的样本的权重将会降低，而第一次分错的样本权重将会提高。然后在同一数据集上再次训练弱分类器。得出第二个错误率小的分类器，并基于错误率计算权重。 4.重复“重新分配样本权重——计算分类器错误率——选取分类器——计算分类器权重” 5.最后将每次训练得到的分类器最后融合起来，作为最后的决策分类器。

通过训练多个弱分类器，集成一个强分类器。