“除了要学习出偏差和方差都较小的模型，还需要能够给工程上留出很很多余地，具体来说就是两点，一个是希望越多权重为 0 越好，权重为 0 称之为稀疏，可以减小很多计算复杂度，并且模型更简单，方差那部分会可控。”

请问，如果很多的权重都是0，其实意味着这个特征对于结果是没有什么影响的，也就是这个特征其实是没啥意义的，特征工程的目的是生成很多特征，模型训练又希望大多数的特征权重为0，那这两个步骤似乎有些矛盾？

还是说特征工程是尽可能多地寻找特征，而训练是把其中海量特征里最有用的特征（训练前未知）找出来？

谢谢陈老师的无私和专业的分享。学到了好多。

1. 第二棵树用是否喜欢打游戏来作根节点，累积的误差平方和是1764.57，用是否喜欢戴帽子来作根节点，累积的误差平方和是1986.706。因此第二棵树选择用是否喜欢打游戏。49，71，73岁的人的预测值是-7.13，13、14、15、25、35、68岁的人的预测值是3.57。所有样本按原始顺序的残差(保留小数点后2位）是-2.68,-1.68,-0.68,-28.63,19.32,-15.33,14.37,6.67,8.67。

2. 请问损失函数−ylog(p)−(1−y)log(1−p)中y是预测值，这个预测值是0或1对应点或不点，还是一个点击的概率值。这里的p对应什么值，如何计算？这个损失函数的公式看着和某些文章中逻辑回归的一类损失函数的计算公式有些接近。其中里面的p的位置对应的是文中提到的sigmoid 函数σ(w×x)。

3. N 棵 GBDT 树对应N个特征组合我的理解是每一个样本只会被分配到一棵树的某个叶子节点上，相应这棵树从树根到这个叶子的所有问题回答的是否组合就是这个样本的特征组合。“到了叶子节点后，就是 1 或者 0，点或者不变。”这句话我有点不太明白，是不是应该是“点或者不点”？

4. 文中有2个数值可能有点小的错误。(1)文中选择第一棵树时是否喜欢戴帽子的累积的误差平方和我算出来的是5125.55；(2)第2个数据表格里35岁样本的残差应该是-15.75。