• 我心飞扬
    2018-08-02
    MultiBoosting由于集合了Bagging,Wagging,AdaBoost,可以有效的降低误差和方差,特别是误差。但是训练成本和预测成本都会显著增加。 
    Iterative Bagging相比Bagging会降低误差,但是方差上升。由于Bagging本身就是一种降低方差的算法,所以Iterative Bagging相当于Bagging与单分类器的折中。

    作者回复: 总结得很到位👍

    
     2
  • wsstony
    2020-01-16
    有没有实际的实战例子,这样结合例子和理论,加深理解。
    
    
  • InsomniaTony
    2018-10-20
    如果对基于决策树的方法感兴趣的话,可以看Gilles Louppe的博士毕业论文Understanding Random Forest。个人觉得很有帮助

    作者回复: 感谢推荐!

    
    
  • 林彦
    2018-08-18
    MultiBoosting如果不引入有泊松分布的权重来对样本作wagging,不知道在性能和效果上是否能比Adaboost达到更好的平衡。

    Iterative Boosting方法的文章不好找,有没有更具体的称呼。

    从实践中看,这几年GBDT,XGBoost,Random Forest太好用了。除了它们和基本的几类集成学习方法外,介绍其他的延伸集成学习方法通俗易懂,正确,且不只是概述的中文文章在学术领域之外很少。
    展开

    作者回复: Multiboosting相当于AdaBoost和wagging的结合,wagging的作用主要在于通过随机的样本权重扰动降低方差。去掉wagging也就是普通的AdaBoost了。
    你说的是iterative bagging吗?可以参考2001年Leo Breiman的论文Using iterated bagging to debias regressions。这种方法也叫adaptive bagging,诞生快20年一直不温不火,没受到多少关注。

    
    
  • 周平
    2018-08-03
    没看太懂,需要多次学习
    
    
我们在线,来聊聊吧