16 | 建模非正态分布:广义线性模型
该思维导图由 AI 生成,仅供参考
- 深入了解
- 翻译
- 解释
- 总结
广义线性模型是一种灵活的数学工具,用于建立自变量和因变量之间的关联。它克服了普通线性模型的局限性,能够更好地适应实际问题的需求,拓展了线性模型的应用范围。该模型基于指数分布族,通过联系函数将自变量的线性组合映射到因变量的条件期望。逻辑回归是广义线性模型的一个实例,适用于二进制输出的情况。从贝叶斯的角度来看,广义线性模型可以假设参数满足多维正态分布,并将其结合到最大似然估计中。此外,广义线性模型还可以应用于泊松回归,适用于描述单位时间或空间内随机事件发生的次数。通过实例分析曼城队在英超赛季的进球数,我们可以看到泊松回归的结果,并解释其中的线性系数。总的来说,广义线性模型在增强表达能力的同时,可能会牺牲一定的可解释性。文章还强调了广义线性模型与一般线性模型的区别,为读者提供了深入了解的机会。
《机器学习 40 讲》,新⼈⾸单¥59
全部留言(8)
- 最新
- 精选
- 我心飞扬请问85.7是怎么来的?
作者回复: 原始的0.75相当于两个概率之比,也就是几率是0.75:0.25=3:1。将几率提高一倍到6:1,对应的概率就是6/7=0.8571。
2018-07-205 - TomZ,张锐我来帮老师回答一下: 如果想做多项式,是支持的,在preprocess有polynomial。就是把自变量(向量)中某一项变成高次。 但如果我们把x平方视为X代入式子,其实这还是线性回归。并没有实质性变化。 想想房子的例子,房子面积和体积。
作者回复: 谢谢你的回答,这样的模型仍然是线性模型,只是对基函数做了处理。
2018-07-125 - 林彦一般线性模型中的因变量必须是连续分布的,回归结果的误差服从正态分布,联系函数是因变量本身。而广义线性模型中的因变量可以是非连续分布,回归结果的误差如文中所述可以是非正态分布,联系函数可以是自变量线性组合的函数。 我的理解是一般线性模型除了上面的限制外,一般线性模型的目的是描述两个或更多预测变量与连续响应变量之间的统计关系,预测变量可以为因子和协变量,从统计软件的角度看,可以用到各种方差分析和线性回归分析来发现变量之间的关系。对于统计学还不熟悉,一般线性模型具体是如何使用不是太明白。
作者回复: 你说的没错,一般线性模型实际上就是多元回归,可以和各种方差分析一起来使用。如果要建模离散变量或者非高斯噪声的话,还是得借助广义模型。
2018-07-152 - never_giveup老师你好,问个问题,线性模型只能学习线性关系吗?对于非线性相关的自变量和因变量,能通过多项式来拟合吗?如果能,多项式该怎么构造?对于回归问题除了常见的线性回归模型之外,还有其他模型能用吗?学习当中想到这些问题,希望老师能解答下我的疑惑,感激不尽。
作者回复: 线性回归只能学习线性关系,引入非线性元素就可以学习非线性了,我们这个专栏的整体思路就是围绕线性回归不同方式的推广展开。 引入非线性的方式既可以是联系函数,也可以是基扩展,你说的多项式回归就是基扩展的具体实现,构造时最主要的任务就是确定多项式阶数,这个超参数一般要通过交叉验证确定最优值。 其他回归模型有一些,但专栏里不能面面俱到全部介绍,你可以根据专栏的思路去查阅不同的回归方法,以及衍生出的分类方法。
2018-07-102 - 我心飞扬为什么误差是整正态,因变量也是正态
作者回复: 因为因变量是自变量线性组合和误差的叠加,一旦线性系数确定,线性组合的结果就是个常数,因变量的概率也就取决于噪声的概率。
2018-07-20 - ifelse学习打卡2023-06-02归属地:浙江
- 建强我个人对两种模型比较肤浅的理解: (1)普通线性模型的输出是一种数值结果,即因变量随自变量变化的结果,是线性代数的范畴,对其输出结果的应用必须符合特定的场景,比如笑一笑十年少,这个线性输出结果无法应用于日常生活。 (2)广义线性模型是因变量的概率分布函数,它的线性体现在由联系函数通过自变量的线性组合而得到自然参数上,广义线性模型输出是某种分类结果的可能性,更符合自然规律,其解释性也更好。2021-03-21
- 杨家荣极客时间 21天打卡行动 54/21 <<机器学习40讲/16>> 建模非正态分布:广义线性模型 今日所学 1,以半衰期为代表的建模方式似乎更加符合真实世界的规律:因变量变化的绝对尺度通常是非线性的,但其变化比率却会和自变量呈现线性关系。 2,。在广义线性模型中,因变量可以满足任意形式的概率分布,它与自变量的线性组合之间的关系由联系函数定义。逻辑回归就是广义线性模型的一个实例,它的因变量是二进制的输出,联系函数则是对数几率函数。这个实例体现出了在一般意义上,广义线性模型要满足一些共性的条件。 3,利用联系函数定义代表自变量的数据和因变量的条件期望值之间的关系; 4,指数分布族、联系函数和线性关系共同构成了广义线性模型的三大要素; 5,自变量和因变量之间的系统性关联在广义线性模型中体现为系统成分(systematic component); 6,联系函数将因变量的数学期望表示成自变量线性组合的函数; 7,在普通线性模型中,联系函数就是因变量本身;而在逻辑回归等比较简单的广义线性模型里,联系函数将指数分布中的自然参数表示成自变量的线性组合,这样的联系函数就是正则联系函数(canonical link)。 重点: 广义线性模型从模型解释性和变量分布特性上对普通线性模型做了推广; 广义线性模型假定因变量服从指数分布族中的概率分布,这代表了模型中的随机成分; 广义线性模型中的自变量和因变量依然由线性系数决定,这代表了模型中的系统成分; 联系函数建立系统成分和随机成分的关系,将指数分布的自然参数表示为自变量的线性组合。2020-02-10