2019-03-01
作业
1.假设分类正确就是吃鸡成功。
1）训练多个弱分类器，并不断迭代弱分类器，选择最优弱分类器
枪法，一个弱分类器，你可以通过玩的越来越多，练习越来越好
身法，一个弱分类器，同理
意识，一个弱分类器。同理
···
2）将弱分类器组合起来，形成一个强分类器
枪法，身法，眼神，你只有一个的话，实际上，你的吃鸡概率并不高。但是三个都好的人，吃鸡概率就是高。这就是强分类器。
2.把分类正确理解成功的的话，
1）训练多个弱分类器，并不断迭代弱分类器，选择最优弱分类器
努力获取了一个领域的知识和道理，就是一个弱分类器，不断地学习和精进，在一个知识领域变得更强
3）将弱分类器组合起来，形成一个强分类器
合理跨界，将两个领域的知识组合起来，产生新收益。比如软硬件结合的苹果，仅一家公司就占据了整个手机市场利润的50%以上。
两个领域的组合，就是一个强分类器。
理解
1.通过修改样本的数据分布来实现算法的。
正确分类的，就少分点
错误分类的，就多分点。
像做题，
做正确的题，下次就少做点，反正会了。
做错的题，下次多做点，集中在错题上
每次这个题都在变化，随着你学习的深入，你做错的题会越来越少。
2.样本的权重时根据之前的k论权重以及k个分类器的准确率而定的。
你决定做什么样题。
1.取决于你上次做对了什么题，做错了什么题
2.做正确了，你就少做点。
3.做错了，你就多做点。
提问：Zk是啥意思？，yi是啥意思？
流程
1.获取基础权重
2.获取基础分类器
3.计算错误率，选择错误率最低的为最优分类器
4.通过计算分类器权重公式，达到减少正确样本数据分布，增加错误样本数据分布
5.代入W k+1,i和D k+1 的公式，得到新的权重矩阵
7.在新的权重矩阵上，计算错误率，选择错误最低的为最优分类器
剩下的就是迭代，重复
直到迭代完成，获得强分类器展开编辑回复: 总结笔记做的很完善。这里Zk是归一化因子，使得Dk+1成为一个概率分布。yi属于标记集合{-1,+1}，1代表分类正确，-1代表分类错误。
1 7
2019-03-01如何理解 AdaBoost 中弱分类器，强分类器概念的？另外，AdaBoost 算法是如何训练弱分类器从而得到一个强分类器的？
1、弱分类器，是指基础分类器，正确率略高于50%的那种。
强分类器是通过训练出多个弱分类器，并赋值权重，最后形成弱分类器+权重的模型。
2、得到强分类器的方法：
参考链接：https://www.cnblogs.com/hlongch/p/5734293.html
adaboost算法的核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器(强分类器)。
1.一开始，给训练数据中的每一个样本，赋予其一个权重，权重都初始化成相等值。如（1/样本数量）
2.首先在训练数据中训练出一个弱分类器并计算改分类器的错误率，选取错误率最小的分类器，并基于分类器错误率计算其权重值alpha。
3.在分类器的第二次训练当中，将会重新调整每个样本的权重，其中第一次分对的样本的权重将会降低，而第一次分错的样本权重将会提高。然后在同一数据集上再次训练弱分类器。得出第二个错误率小的分类器，并基于错误率计算权重。
4.重复“重新分配样本权重——计算分类器错误率——选取分类器——计算分类器权重”
5.最后将每次训练得到的分类器最后融合起来，作为最后的决策分类器。展开编辑回复: 对弱分类器，强分类器，以及如何训练AdaBoost分类器总结的很好。
4
2019-03-03补充：这里的Zk是归一化因子。作者回复: 对的
3
2019-10-30多个弱分类器训练成为一个强分类器。
类比为：
全班同学都做一张正常的高中试卷，但是每道题无论大小都是一样的分数。
1. 给得分最高的同学赋予一个比他人更高的权重，并且他做错的题目分数都提高一些。
2. 重新计分，选择此时分数最高的人赋予一定权重，提高他做错题目的分数。
3. 不断重复以上步骤。
4. 每个同学都重新有了权重之后，一个强分类器就诞生了。展开作者回复: 哈哈 这个解释很赞
1
2019-03-01老师，你好。请问样本权重的计算公式是个指数函数exp，为啥是指数函数？不用指数的话，有啥不同么？ 1
2019-11-24弱分类器：分类准确率比较低，可能在(50%~70%)之间
强分类器：在AdaBoost算法中，将一系列的弱分类器以不同的权重比组合作为最终分类选择
在筛选每一轮的最优分类器后，调整样本的权重，以获得一个更优的弱分类器。作者回复: 对的
- 2019-08-18log没有底数怎么计算啊
作者回复: 可以理解是ln，也就是以e为底数
2 
2019-04-21弱分类器分类正确率比随机稍微高一点，每次选择相对最优的分类器，然后对分类错误的部分加强训练，最后得到一个强分类器。
1.一开始，给训练数据中的每一个样本，赋予其一个权重，权重都初始化成相等值。如（1/样本数量）
2.首先在训练数据中训练出一个弱分类器并计算改分类器的错误率，选取错误率最小的分类器，并基于分类器错误率计算其权重值alpha。
3.在分类器的第二次训练当中，将会重新调整每个样本的权重，其中第一次分对的样本的权重将会降低，而第一次分错的样本权重将会提高。然后在同一数据集上再次训练弱分类器。得出第二个错误率小的分类器，并基于错误率计算权重。
4.重复“重新分配样本权重——计算分类器错误率——选取分类器——计算分类器权重”
5.最后将每次训练得到的分类器最后融合起来，作为最后的决策分类器。展开作者回复: 总结的不错
2019-03-23根据我的反推，首先这里的所有涉及到对数和指数的都是以e为底的，然后就是Dk+1这一步，需要先计算Zk，这个就是把 wk*e^(-ak*y*Gk(x))把全部的加起来就是了，然后再去算Wk+1，然后就进一步可以算出Dk+1。
个人理解就是AdaBoost就是先把数据通过权重的方式分割成不同的部分，然后每个部分再去交给在这些里较为专业的分类器去分类，通过迭代，再把计算的结果带上权重后，就是结果了。作者回复: Good Sharing
2019-03-16通过训练多个弱分类器，集成一个强分类器。作者回复: 对的 三个臭皮匠顶个诸葛亮
2019-03-02弱分类器是决策层，强分类器是决策汇总后的结果作者回复: 对的 集成学习
2019-03-01您好。我有两个地方不明白，请老师答疑。为什么每次迭代的权重的计算方式是那么设置？另外，每次迭代得到的分类器前面的权重之和也不为1？还有，错误率等于权重乘以分类错误的个数，这个也不太理解。
2019-03-01请问每次迭代之后，错误率是如何进行计算的呢？- 2019-03-01我的显示界面中，很多数学符号变成了[Math Processing Error]