程序员的数学基础课
黄申
LinkedIn资深数据科学家
立即订阅
23331 人已学习
课程目录
已完结 57 讲
0/4登录后,你可以任选4讲全文学习。
开篇词 (1讲)
开篇词 | 作为程序员,为什么你应该学好数学?
免费
导读 (1讲)
导读:程序员应该怎么学数学?
基础思想篇 (18讲)
01 | 二进制:不了解计算机的源头,你学什么编程
02 | 余数:原来取余操作本身就是个哈希函数
03 | 迭代法:不用编程语言的自带函数,你会如何计算平方根?
04 | 数学归纳法:如何用数学归纳提升代码的运行效率?
05 | 递归(上):泛化数学归纳,如何将复杂问题简单化?
06 | 递归(下):分而治之,从归并排序到MapReduce
07 | 排列:如何让计算机学会“田忌赛马”?
08 | 组合:如何让计算机安排世界杯的赛程?
09 | 动态规划(上):如何实现基于编辑距离的查询推荐?
10 | 动态规划(下):如何求得状态转移方程并进行编程实现?
11 | 树的深度优先搜索(上):如何才能高效率地查字典?
12 | 树的深度优先搜索(下):如何才能高效率地查字典?
13 | 树的广度优先搜索(上):人际关系的六度理论是真的吗?
14 | 树的广度优先搜索(下):为什么双向广度优先搜索的效率更高?
15 | 从树到图:如何让计算机学会看地图?
16 | 时间和空间复杂度(上):优化性能是否只是“纸上谈兵”?
17 | 时间和空间复杂度(下):如何使用六个法则进行复杂度分析?
18 | 总结课:数据结构、编程语句和基础算法体现了哪些数学思想?
概率统计篇 (14讲)
19 | 概率和统计:编程为什么需要概率和统计?
20 | 概率基础(上):一篇文章帮你理解随机变量、概率分布和期望值
21 | 概率基础(下):联合概率、条件概率和贝叶斯法则,这些概率公式究竟能做什么?
22 | 朴素贝叶斯:如何让计算机学会自动分类?
23 | 文本分类:如何区分特定类型的新闻?
24 | 语言模型:如何使用链式法则和马尔科夫假设简化概率模型?
25 | 马尔科夫模型:从PageRank到语音识别,背后是什么模型在支撑?
26 | 信息熵:如何通过几个问题,测出你对应的武侠人物?
27 | 决策树:信息增益、增益比率和基尼指数的运用
28 | 熵、信息增益和卡方:如何寻找关键特征?
29 | 归一化和标准化:各种特征如何综合才是最合理的?
30 | 统计意义(上):如何通过显著性检验,判断你的A/B测试结果是不是巧合?
31 | 统计意义(下):如何通过显著性检验,判断你的A/B测试结果是不是巧合?
32 | 概率统计篇答疑和总结:为什么会有欠拟合和过拟合?
线性代数篇 (13讲)
33 | 线性代数:线性代数到底都讲了些什么?
34 | 向量空间模型:如何让计算机理解现实事物之间的关系?
35 | 文本检索:如何让计算机处理自然语言?
36 | 文本聚类:如何过滤冗余的新闻?
37 | 矩阵(上):如何使用矩阵操作进行PageRank计算?
38 | 矩阵(下):如何使用矩阵操作进行协同过滤推荐?
39 | 线性回归(上):如何使用高斯消元求解线性方程组?
40 | 线性回归(中):如何使用最小二乘法进行直线拟合?
41 | 线性回归(下):如何使用最小二乘法进行效果验证?
42 | PCA主成分分析(上):如何利用协方差矩阵来降维?
43 | PCA主成分分析(下):为什么要计算协方差矩阵的特征值和特征向量?
44 | 奇异值分解:如何挖掘潜在的语义关系?
45 | 线性代数篇答疑和总结:矩阵乘法的几何意义是什么?
综合应用篇 (6讲)
46 | 缓存系统:如何通过哈希表和队列实现高效访问?
47 | 搜索引擎(上):如何通过倒排索引和向量空间模型,打造一个简单的搜索引擎?
48 | 搜索引擎(下):如何通过查询的分类,让电商平台的搜索结果更相关?
49 | 推荐系统(上):如何实现基于相似度的协同过滤?
50 | 推荐系统(下):如何通过SVD分析用户和物品的矩阵?
51 | 综合应用篇答疑和总结:如何进行个性化用户画像的设计?
加餐 (3讲)
数学专栏课外加餐(一) | 我们为什么需要反码和补码?
数学专栏课外加餐(二) | 位操作的三个应用实例
数学专栏课外加餐(三):程序员需要读哪些数学书?
结束语 (1讲)
结束语 | 从数学到编程,本身就是一个很长的链条
程序员的数学基础课
登录|注册

41 | 线性回归(下):如何使用最小二乘法进行效果验证?

黄申 2019-03-20
你好,我是黄申。
上一节我们已经解释了最小二乘法的核心思想和具体推导过程。今天我们就用实际的数据操练一下,这样你的印象就会更加深刻。我会使用几个具体的例子,演示一下如何使用最小二乘法的结论,通过观测到的自变量和因变量值,来推算系数,并使用这个系数来进行新的预测。

基于最小二乘法的求解

假想我们手头上有一个数据集,里面有 3 条数据记录。每条数据记录有 2 维特征,也就是 2 个自变量,和 1 个因变量。
如果我们假设这些自变量和因变量都是线性的关系,那么我们就可以使用如下这种线性方程,来表示数据集中的样本:
也就是说,我们通过观察数据已知了自变量 和因变量 的值,而要求解的是 这两个系数。如果我们能求出 ,那么在处理新数据的时候,就能根据新的自变量 的取值,来预测 的值。
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《程序员的数学基础课》,如需阅读全部文章,
请订阅文章所属专栏。
立即订阅
登录 后留言

精选留言(7)

  • 余泽锋
    import numpy as np
    X = np.mat([[1, 3, -7], [2, 5, 4], [-3, -7, -2], [1, 4, -12]])
    Y = np.mat([[-7.5], [5.2], [-7.5], [-15]])
    B1 = X.transpose().dot(X).I
    B2 = B1.dot(X.transpose())
    B = B2.dot(Y)
    '''
    matrix([[12.01208791],
            [-4.35934066],
            [ 0.82527473]])
    '''
    2019-04-24
    1
  • Ronnyz
    from numpy import *

    x=mat([[1,3,-7],[2,5,4],[-3,-7,-2],[1,4,-12]])

    y=mat([[-7.5],[5.2],[-7.5],[-15]])

    print("\n系数矩阵B:\n",(x.transpose().dot(x)).I.dot(x.transpose()).dot(y))

    系数矩阵B:

     [[12.01208791]

     [-4.35934066]

     [ 0.82527473]]
    2019-10-22
  • Paul Shan
    高斯消元求得是精确解。
    线性回归求得是最好近似解,覆盖高斯消元能处理的情况,也能在没有精确解的时候找到近似解,还提供测量近似参数,是处理线性关系的利器。
    2019-10-04
  • 叮当猫
    文中有提到,如何判断一个数据集是否可以用线性模型来表示,可以使用决定系数R2,随着自变量个数不断增加,R2将不断增大,这时需要用Rc2,而其中R2就是regression.score,那请问Rc2是库里面的什么呢?

    作者回复: 这是个好问题,我查了sklearn.linear_mode好像不提供这个数据。

    你可以尝试一下statsmodels.api.OLS这个包,里面应该可以返回rsquared_adj

    2019-04-17
  • qinggeouye
    """
    思考题同理
    """
    x = np.mat([[1, 3, -7], [2, 5, 4], [-3, -7, -2], [1, 4, -12]])
    y = np.mat([[-7.5], [5.2], [-7.5], [-15]])
    print("\n 系数矩阵 B: \n", (x.transpose().dot(x)).I.dot(x.transpose()).dot(y))

     系数矩阵 B:
     [[12.01208791]
     [-4.35934066]
     [ 0.82527473]]
    2019-03-30
  • Cest la vie
    老师好! 后面可以来一节PLS偏最小二乘的原理讲解和应用么

    作者回复: 可以考虑到后面加餐的时候来一篇

    2019-03-25
  • Joe
    回答与疑问:
    1. 非线性关系的数据拟合,可以先将自变量转为非线性。如转化为多项式(sklearn的PolynomialFeatures)。再用线性回归的方法去拟合。
    2. 请问老师对于求解逆矩阵有没有什么高效的方法?
    附上以前写的polyfit方法,请老师指点。谢谢
        def oneDPolynomiaTransform(self, x_origin):
            '''
            @description: generate polynomial for 1D input data. rule: [x0, x0^2, x0^3,...,x0^degreee]
            @param {type} x_origin- data before transformed[nX1]
            @return: x_transformed- data after transformed[nXdegree]
            '''
            len_features = len(x_origin)
            # polynomial feature data after transformed.
            x_transformed = np.array([])
            for i in range(len_features):
                for j in range(self.degree+1):
                    x_transformed = np.append(
                        x_transformed, [(x_origin[i])**(j)])
            x_transformed = x_transformed.reshape(-1, self.degree+1)
            return x_transformed

    作者回复: 写得很好,至于逆矩阵更好的求法,我要查一下资料看看有无更优的解。

    2019-03-21
收起评论
7
返回
顶部