21 | 基函数扩展：属性的非线性化
王天一
该思维导图由 AI 生成，仅供参考
虽然线性回归是机器学习中最基础的模型，但它的表达能力会天然地受到线性函数的限制，用它来模拟多项式函数或者指数函数等非线性的关系时，不可避免地会出现误差。要获得更强的表达能力，必须要把非线性的元素纳入到学习模型之中。
以核技巧为代表的局部化模型就是一种有效的非线性的尝试。但它的非线性来源于非参数的处理方式，也就是将很多个规则的局部组合成一个不规则的整体。那么有没有可能在全局层面上添加非线性元素呢？
还记得线性回归的表达式吗？在这里我把它重写一遍
其中的 可以看成是和属性相关的基函数（basis function）。在最原始的线性回归中，基函数的形式是恒等函数，因此这样的模型无论对属性 还是对系数 都是线性的。
但在统计学中，线性模型名称中的“线性”描述的对象是未知的回归系数 ，也就是回归结果和回归系数之间存在着线性关系。这说明回归式中的和属性相关的每一项对输出的贡献程度都是固定的，但这些贡献到底以什么样的形式来输出，是属性取值本身还是它的平方抑或开根号，线性模型并没有做出指定。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
基函数扩展是机器学习中的重要技术，通过引入非线性函数，将线性回归模型推广为非线性参数模型，从而增强了模型的表达能力。本文介绍了基函数扩展的应用，包括多项式回归、MARS方法、回归样条和平滑样条等。这些方法为实现非线性模型提供了重要的技术支持，有助于提高模型的表达能力和拟合精度。此外，文章还介绍了广义可加模型，将标准线性回归中的自变量替换为非线性的平滑函数，从而实现了对多元线性回归的基扩展。文章还提到了平滑系数的作用以及利用Python语言实现回归样条模型的方法。总的来说，本文通过介绍基函数扩展的方法和应用，为读者提供了对非线性模型实现的重要技术支持，并展示了这些方法在实际应用中的效果和局限性。
仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《机器学习 40 讲》，新⼈⾸单¥59
《机器学习 40 讲》，新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(4)
- 最新
- 精选
我心飞扬对于单变量可以用平滑样条。多变量中有类似的概念吗？广义可加模型有成熟的包可以用吗？作者回复: 多变量也有平滑样条，把一元函数的二阶导换成多元函数的二阶导就可以了，方法的名字叫thin plate spline。相关的包可能在专攻统计的R语言中存在。
2018-07-21
ifelse
学习打卡2023-06-06归属地：浙江
建强对基函数扩展的一点肤浅理解： 基函数扩展在机器学习中，可以用来研究样本之间的关系，如样本之间存在线性关系还是非线性关系，利用样条方法，可以观察哪些样本数据集符合线性关性；对于非线性模型，利用基函数扩展也可以简化模型的计算。2021-05-30
你不是我自由落体的二阶导是g？还是g/2?2019-01-281
收起评论