机器学习 40 讲
王天一
工学博士,副教授
35375 人已学习
新⼈⾸单¥59
登录后,你可以任选4讲全文学习
课程目录
已完结/共 46 讲
机器学习 40 讲
15
15
1.0x
00:00/00:00
登录|注册

16 | 建模非正态分布:广义线性模型

将指数分布的自然参数表示为自变量的线性组合
代表了模型中的系统成分
代表了模型中的随机成分
联系函数建立系统成分和随机成分的关系
自变量和因变量由线性系数决定
假定因变量服从指数分布族中的概率分布
拓展了线性模型的应用范围
克服了狭义线性模型的限制
与广义线性模型的区别
要点
概念与原理
一般线性模型(general linear model)
广义线性模型

该思维导图由 AI 生成,仅供参考

直观来看,上一篇文章介绍的逻辑回归只是对普通线性回归的输出加以变换,以满足问题的需要。但在这简单的现象背后,以逻辑回归为代表的这类线性模型的推广具有更加深刻的数学内涵,因而被称为广义线性模型(generalized linear model)。
线性模型的意义是建立了自变量和因变量的关联,当自变量变化时,因变量也会出现依照比例同等程度的变化。可是现实世界不是数学模型,如果硬要将线性模型套用在实际问题中,很可能会闹出笑话。
如果线性回归告诉你气温每下降 1 度,海滩上的游客就会减少 100 人,那么这条规律适用于科帕卡巴纳或者芭堤雅的问题不大,因为这些著名的度假胜地的游客基数数以万计。可是对于一个最多只能接待 80 名游客的不知名小海滩来说,气温下降 1 度意味着游客数目变成了 -20,难不成工作人员也被冻跑了吗?这和不能听相声是一个道理:“笑一笑十年少”也是个线性模型,要是这个模型属实的话,哪怕只听一分钟相声我都要回到娘胎里去了。
物理学中有个概念叫半衰期,不严格地说,它指的是放射性元素的原子核半数发生衰变所需要的时间。元素的半衰期和原子的总量无关,100 个原子中衰变 50 个的时间和剩下的 50 个原子中衰变 25 个的时间是一致的。和线性模型相比,以半衰期为代表的建模方式似乎更加符合真实世界的规律:因变量变化的绝对尺度通常是非线性的,但其变化比率却会和自变量呈现线性关系。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结

广义线性模型是一种灵活的数学工具,用于建立自变量和因变量之间的关联。它克服了普通线性模型的局限性,能够更好地适应实际问题的需求,拓展了线性模型的应用范围。该模型基于指数分布族,通过联系函数将自变量的线性组合映射到因变量的条件期望。逻辑回归是广义线性模型的一个实例,适用于二进制输出的情况。从贝叶斯的角度来看,广义线性模型可以假设参数满足多维正态分布,并将其结合到最大似然估计中。此外,广义线性模型还可以应用于泊松回归,适用于描述单位时间或空间内随机事件发生的次数。通过实例分析曼城队在英超赛季的进球数,我们可以看到泊松回归的结果,并解释其中的线性系数。总的来说,广义线性模型在增强表达能力的同时,可能会牺牲一定的可解释性。文章还强调了广义线性模型与一般线性模型的区别,为读者提供了深入了解的机会。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《机器学习 40 讲》
新⼈⾸单¥59
立即购买
登录 后留言

全部留言(8)

  • 最新
  • 精选
  • 我心飞扬
    请问85.7是怎么来的?

    作者回复: 原始的0.75相当于两个概率之比,也就是几率是0.75:0.25=3:1。将几率提高一倍到6:1,对应的概率就是6/7=0.8571。

    2018-07-20
    5
  • TomZ,张锐
    我来帮老师回答一下: 如果想做多项式,是支持的,在preprocess有polynomial。就是把自变量(向量)中某一项变成高次。 但如果我们把x平方视为X代入式子,其实这还是线性回归。并没有实质性变化。 想想房子的例子,房子面积和体积。

    作者回复: 谢谢你的回答,这样的模型仍然是线性模型,只是对基函数做了处理。

    2018-07-12
    5
  • 林彦
    一般线性模型中的因变量必须是连续分布的,回归结果的误差服从正态分布,联系函数是因变量本身。而广义线性模型中的因变量可以是非连续分布,回归结果的误差如文中所述可以是非正态分布,联系函数可以是自变量线性组合的函数。 我的理解是一般线性模型除了上面的限制外,一般线性模型的目的是描述两个或更多预测变量与连续响应变量之间的统计关系,预测变量可以为因子和协变量,从统计软件的角度看,可以用到各种方差分析和线性回归分析来发现变量之间的关系。对于统计学还不熟悉,一般线性模型具体是如何使用不是太明白。

    作者回复: 你说的没错,一般线性模型实际上就是多元回归,可以和各种方差分析一起来使用。如果要建模离散变量或者非高斯噪声的话,还是得借助广义模型。

    2018-07-15
    2
  • never_giveup
    老师你好,问个问题,线性模型只能学习线性关系吗?对于非线性相关的自变量和因变量,能通过多项式来拟合吗?如果能,多项式该怎么构造?对于回归问题除了常见的线性回归模型之外,还有其他模型能用吗?学习当中想到这些问题,希望老师能解答下我的疑惑,感激不尽。

    作者回复: 线性回归只能学习线性关系,引入非线性元素就可以学习非线性了,我们这个专栏的整体思路就是围绕线性回归不同方式的推广展开。 引入非线性的方式既可以是联系函数,也可以是基扩展,你说的多项式回归就是基扩展的具体实现,构造时最主要的任务就是确定多项式阶数,这个超参数一般要通过交叉验证确定最优值。 其他回归模型有一些,但专栏里不能面面俱到全部介绍,你可以根据专栏的思路去查阅不同的回归方法,以及衍生出的分类方法。

    2018-07-10
    2
  • 我心飞扬
    为什么误差是整正态,因变量也是正态

    作者回复: 因为因变量是自变量线性组合和误差的叠加,一旦线性系数确定,线性组合的结果就是个常数,因变量的概率也就取决于噪声的概率。

    2018-07-20
  • ifelse
    学习打卡
    2023-06-02归属地:浙江
  • 建强
    我个人对两种模型比较肤浅的理解: (1)普通线性模型的输出是一种数值结果,即因变量随自变量变化的结果,是线性代数的范畴,对其输出结果的应用必须符合特定的场景,比如笑一笑十年少,这个线性输出结果无法应用于日常生活。 (2)广义线性模型是因变量的概率分布函数,它的线性体现在由联系函数通过自变量的线性组合而得到自然参数上,广义线性模型输出是某种分类结果的可能性,更符合自然规律,其解释性也更好。
    2021-03-21
  • 杨家荣
    极客时间 21天打卡行动 54/21 <<机器学习40讲/16>> 建模非正态分布:广义线性模型 今日所学 1,以半衰期为代表的建模方式似乎更加符合真实世界的规律:因变量变化的绝对尺度通常是非线性的,但其变化比率却会和自变量呈现线性关系。 2,。在广义线性模型中,因变量可以满足任意形式的概率分布,它与自变量的线性组合之间的关系由联系函数定义。逻辑回归就是广义线性模型的一个实例,它的因变量是二进制的输出,联系函数则是对数几率函数。这个实例体现出了在一般意义上,广义线性模型要满足一些共性的条件。 3,利用联系函数定义代表自变量的数据和因变量的条件期望值之间的关系; 4,指数分布族、联系函数和线性关系共同构成了广义线性模型的三大要素; 5,自变量和因变量之间的系统性关联在广义线性模型中体现为系统成分(systematic component); 6,联系函数将因变量的数学期望表示成自变量线性组合的函数; 7,在普通线性模型中,联系函数就是因变量本身;而在逻辑回归等比较简单的广义线性模型里,联系函数将指数分布中的自然参数表示成自变量的线性组合,这样的联系函数就是正则联系函数(canonical link)。 重点: 广义线性模型从模型解释性和变量分布特性上对普通线性模型做了推广; 广义线性模型假定因变量服从指数分布族中的概率分布,这代表了模型中的随机成分; 广义线性模型中的自变量和因变量依然由线性系数决定,这代表了模型中的系统成分; 联系函数建立系统成分和随机成分的关系,将指数分布的自然参数表示为自变量的线性组合。
    2020-02-10
收起评论
显示
设置
留言
8
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部