39 | 线性回归（上）：如何使用高斯消元求解线性方程组？
黄申
该思维导图由 AI 生成，仅供参考
你好，我是黄申。
之前我使用 Boston Housing 的数据，阐述了如何使用多元线性回归。可是，计算机系统究竟是如何根据观测到的数据，来拟合线性回归模型呢？这两节，我就从最简单的线性方程组出发，来说说如何求解线性回归的问题。
在第 29 讲中，我讲过机器学习中两类很重要的方法：回归分析以及线性回归。回归分析属于监督式学习算法，主要研究一个或多个随机变量 ，，…， 与另一些变量 ，，…， 之间的关系。其中，我们将 称为因变量， 称为自变量。按照不同的维度，我们可以把回归分为三种。
按照自变量数量，当自变量 的个数大于 1 时就是多元回归。
按照因变量数量，当因变量 个数大于 1 时就是多重回归。
按照模型种类，如果因变量和自变量为线性关系时，就是线性回归模型；如果因变量和自变量为非线性关系时，就是非线性回归分析模型。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
高斯消元法是解决线性方程组的重要方法，本文通过深入浅出的讲解，使读者能够快速了解高斯消元法的原理和应用。文章首先介绍了线性回归的基本概念，然后详细讲解了一元线性回归和多元线性回归的模型形式。接着，文章深入探讨了高斯消元法的原理和步骤，包括消元和回代两个关键步骤。通过一个具体的线性方程组示例，生动地演示了如何通过高斯消元法逐步求解方程组，展现了该方法的实际应用过程。文章通过矩阵操作来解释消元和回代的过程，强调了消元是将系数矩阵变为上三角矩阵，而回代则是将上三角矩阵变为单位矩阵。此外，文章还指出了线性回归分析与普通方程组求解的区别，以及消元法无法直接应用于线性回归的原因。总体而言，本文为读者提供了清晰的技术指导，为进一步学习线性代数和数值计算提供了良好的基础。
仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《程序员的数学基础课》，新⼈⾸单¥68
《程序员的数学基础课》，新⼈⾸单¥68
立即购买
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(17)
- 最新
- 精选
郭俊杰老师不会放开我上一条评论了，我知道自己哪儿算错了，我算成E2dotE1了，应该是E1dotE2.作者回复: 👍
2020-06-102
磊吐槽高斯消元有哪些应用呢？作者回复: 最基本的应用是解方程，扩展到矩阵的操作，例如最小二乘法
2020-04-161
jayget，强烈建议自己手推一遍，然后你就懂了。作者回复: 没错
2020-01-091
冯子凯比考研资料都讲的要清楚！！！作者回复: 谢谢支持，我们的主旨就是交付清楚每个知识点
2019-03-171- 201201904关于回归的分类说法（分为三种）有误，应该是通常有三种分类方法，根据自变量数量分为多元回归和一元回归，根据因变量的数量分为多重回归和单重回归（？），根据是否线性分为线性回归和非线性回归。
作者回复: 对，应该是三个不同的分类维度，感谢指正
2021-07-17 
不熬夜爱益力多的小松其实最难理解的是这一段： “对于第一个方程式，如果要保持它不变，我们可以让向量 [1,0,0] 左乘 A。对于第二个方程，具体操作是让第二个方程式减去第一个方程式的两倍，达到消除 x1 的目的。我们可以让向量 [−2,1,0] 左乘 A。对于第三个方程式，具体操作是让第三个方程式减去第一个方程式，达到消除 x1 的目的。我们可以让向量 [−1,0,1] 左乘 A。我们使用这三个行向量组成一个矩阵 E1。” 为何是乘以这个矩阵？可以达到效果，不知道是推导的还是经验？作者回复: 可以参考文中提到的逆矩阵求解
2020-08-10
Eleven黄老师,下面这段我没看明白，是怎么推到出来的？ 而回代呢，我们最终得到的结果是：x1=71， x2=−86，x3=−56我们可以把这几个结果看作：1⋅x1+0⋅x2+0⋅x3=71， 0⋅x1+1⋅x2+0⋅x3=−86， 0⋅x1+0⋅x2+1⋅x3=−56作者回复: 基本思路是将目前求到的结果代入方程，求得其他的解
2020-07-15- 郭俊杰看了2遍，第2遍，终于看懂了，我一点基础没有，只能边猜边理解，花了2个多小时才看懂，我太难了，哈哈。
作者回复: 加油，坚持就会有收获👍
2020-06-10 
禹豪解决了以前学习时的很多疑惑，理清了矩阵计算的依据，讲解清晰！！！作者回复: 很高兴对你有帮助！
2019-05-09
宋晓明蒙圈了2019-03-259
收起评论
