机器学习 40 讲
王天一
工学博士,副教授
34688 人已学习
新⼈⾸单¥59
登录后,你可以任选4讲全文学习
课程目录
已完结/共 46 讲
机器学习 40 讲
15
15
1.0x
00:00/00:00
登录|注册

21 | 基函数扩展:属性的非线性化

虽然线性回归是机器学习中最基础的模型,但它的表达能力会天然地受到线性函数的限制,用它来模拟多项式函数或者指数函数等非线性的关系时,不可避免地会出现误差。要获得更强的表达能力,必须要把非线性的元素纳入到学习模型之中。
以核技巧为代表的局部化模型就是一种有效的非线性的尝试。但它的非线性来源于非参数的处理方式,也就是将很多个规则的局部组合成一个不规则的整体。那么有没有可能在全局层面上添加非线性元素呢?
还记得线性回归的表达式吗?在这里我把它重写一遍
其中的 可以看成是和属性相关的基函数(basis function)。在最原始的线性回归中,基函数的形式是恒等函数,因此这样的模型无论对属性 还是对系数 都是线性的。
但在统计学中,线性模型名称中的“线性”描述的对象是未知的回归系数 ,也就是回归结果和回归系数之间存在着线性关系。这说明回归式中的和属性相关的每一项对输出的贡献程度都是固定的,但这些贡献到底以什么样的形式来输出,是属性取值本身还是它的平方抑或开根号,线性模型并没有做出指定。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结
仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《机器学习 40 讲》
新⼈⾸单¥59
立即购买
登录 后留言

全部留言(4)

  • 最新
  • 精选
  • 我心飞扬
    对于单变量可以用平滑样条。多变量中有类似的概念吗?广义可加模型有成熟的包可以用吗?

    作者回复: 多变量也有平滑样条,把一元函数的二阶导换成多元函数的二阶导就可以了,方法的名字叫thin plate spline。相关的包可能在专攻统计的R语言中存在。

  • ifelse
    学习打卡
    归属地:浙江
  • 建强
    对基函数扩展的一点肤浅理解: 基函数扩展在机器学习中,可以用来研究样本之间的关系,如样本之间存在线性关系还是非线性关系,利用样条方法,可以观察哪些样本数据集符合线性关性;对于非线性模型,利用基函数扩展也可以简化模型的计算。
  • 你不是我
    自由落体的二阶导是g?还是g/2?
    1
收起评论
显示
设置
留言
4
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部