41 | 线性回归（下）：如何使用最小二乘法进行效果验证？

回答与疑问： 1. 非线性关系的数据拟合，可以先将自变量转为非线性。如转化为多项式（sklearn的PolynomialFeatures）。再用线性回归的方法去拟合。 2. 请问老师对于求解逆矩阵有没有什么高效的方法？ 附上以前写的polyfit方法，请老师指点。谢谢 def oneDPolynomiaTransform(self, x_origin): ''' @description: generate polynomial for 1D input data. rule: [x0, x0^2, x0^3,...,x0^degreee] @param {type} x_origin- data before transformed[nX1] @return: x_transformed- data after transformed[nXdegree] ''' len_features = len(x_origin) # polynomial feature data after transformed. x_transformed = np.array([]) for i in range(len_features): for j in range(self.degree+1): x_transformed = np.append( x_transformed, [(x_origin[i])**(j)]) x_transformed = x_transformed.reshape(-1, self.degree+1) return x_transformed

感谢黄老师 之前一直只知道建模，拟合，预测，但是背后的数学原理一直没有很理解！！！现在有种恍然大悟的感觉！原来是这样，当因变量和自变量呈现线性关系，建模这一系列动作都是基于上面线代的原理！😁终于get到了它在求什么了！！ PS：刚刚评论有个朋友也提问了如何判断一个数据集可以用线性模型？可以用R2，也就是regression.score这个方法， 所以请问黄老师：是只有先去用线性模型拟合数据集，再来判断模型是否合适吗？ 还是我可以从拿到数据集一开始，直接查看每个自变量和因变量的关系是否呈线性再来决定线性模型是否合适？谢谢

文中有提到，如何判断一个数据集是否可以用线性模型来表示，可以使用决定系数R2，随着自变量个数不断增加，R2将不断增大，这时需要用Rc2，而其中R2就是regression.score，那请问Rc2是库里面的什么呢？

老师好! 后面可以来一节PLS偏最小二乘的原理讲解和应用么

茶艺师学编程 因为还不会编程，我只能用手算了…… B=[1.463916 -0.403059 -0.616992] 然后再算了误差，23.907，嗯，我有98％的信心相信我这次算错了。 而且我还不知道在哪里找错。 我想到如果是我在编写程序时出现这状况，很有可能会比这更惨……

import numpy as np X = np.mat([[1, 3, -7], [2, 5, 4], [-3, -7, -2], [1, 4, -12]]) Y = np.mat([[-7.5], [5.2], [-7.5], [-15]]) B1 = X.transpose().dot(X).I B2 = B1.dot(X.transpose()) B = B2.dot(Y) ''' matrix([[12.01208791], [-4.35934066], [ 0.82527473]]) '''

高斯消元求得是精确解。 线性回归求得是最好近似解，覆盖高斯消元能处理的情况，也能在没有精确解的时候找到近似解，还提供测量近似参数，是处理线性关系的利器。

""" 思考题同理 """ x = np.mat([[1, 3, -7], [2, 5, 4], [-3, -7, -2], [1, 4, -12]]) y = np.mat([[-7.5], [5.2], [-7.5], [-15]]) print("\n 系数矩阵 B: \n", (x.transpose().dot(x)).I.dot(x.transpose()).dot(y)) 系数矩阵 B: [[12.01208791] [-4.35934066] [ 0.82527473]]

学习了！

根据最小二乘法系数计算模型，用了一个简单的Python程序计算系数矩阵，程序代码： import numpy as np # 矩阵X X = np.array([[1, 3, -7] ,[2, 5, 4] ,[-3, -7, -2] ,[1, 4, -12] ] ) # X的转置X' TRANS_X = X.T # 目标值向量Y Y = np.array([[-7.5, 5.2, -7.5, -15]]).T # X'X B = TRANS_X.dot(X) # (X'X)^-1 B = np.matrix(B).I # [(X'X)^-1]X' B = B.dot(TRANS_X) # [(XX')^-1]X'Y B = B.dot(Y) print('系数矩阵：') print(B) print('验证：') print(X.dot(B)) ================程序输出结果================== 系数矩阵： [[12.01208791] [-4.35934066] [ 0.82527473]] 验证： [[ -6.84285714] [ 5.52857143] [ -7.17142857] [-15.32857143]]