程序员的数学基础课
黄申
LinkedIn资深数据科学家
立即订阅
23478 人已学习
课程目录
已完结 57 讲
0/4登录后,你可以任选4讲全文学习。
开篇词 (1讲)
开篇词 | 作为程序员,为什么你应该学好数学?
免费
导读 (1讲)
导读:程序员应该怎么学数学?
基础思想篇 (18讲)
01 | 二进制:不了解计算机的源头,你学什么编程
02 | 余数:原来取余操作本身就是个哈希函数
03 | 迭代法:不用编程语言的自带函数,你会如何计算平方根?
04 | 数学归纳法:如何用数学归纳提升代码的运行效率?
05 | 递归(上):泛化数学归纳,如何将复杂问题简单化?
06 | 递归(下):分而治之,从归并排序到MapReduce
07 | 排列:如何让计算机学会“田忌赛马”?
08 | 组合:如何让计算机安排世界杯的赛程?
09 | 动态规划(上):如何实现基于编辑距离的查询推荐?
10 | 动态规划(下):如何求得状态转移方程并进行编程实现?
11 | 树的深度优先搜索(上):如何才能高效率地查字典?
12 | 树的深度优先搜索(下):如何才能高效率地查字典?
13 | 树的广度优先搜索(上):人际关系的六度理论是真的吗?
14 | 树的广度优先搜索(下):为什么双向广度优先搜索的效率更高?
15 | 从树到图:如何让计算机学会看地图?
16 | 时间和空间复杂度(上):优化性能是否只是“纸上谈兵”?
17 | 时间和空间复杂度(下):如何使用六个法则进行复杂度分析?
18 | 总结课:数据结构、编程语句和基础算法体现了哪些数学思想?
概率统计篇 (14讲)
19 | 概率和统计:编程为什么需要概率和统计?
20 | 概率基础(上):一篇文章帮你理解随机变量、概率分布和期望值
21 | 概率基础(下):联合概率、条件概率和贝叶斯法则,这些概率公式究竟能做什么?
22 | 朴素贝叶斯:如何让计算机学会自动分类?
23 | 文本分类:如何区分特定类型的新闻?
24 | 语言模型:如何使用链式法则和马尔科夫假设简化概率模型?
25 | 马尔科夫模型:从PageRank到语音识别,背后是什么模型在支撑?
26 | 信息熵:如何通过几个问题,测出你对应的武侠人物?
27 | 决策树:信息增益、增益比率和基尼指数的运用
28 | 熵、信息增益和卡方:如何寻找关键特征?
29 | 归一化和标准化:各种特征如何综合才是最合理的?
30 | 统计意义(上):如何通过显著性检验,判断你的A/B测试结果是不是巧合?
31 | 统计意义(下):如何通过显著性检验,判断你的A/B测试结果是不是巧合?
32 | 概率统计篇答疑和总结:为什么会有欠拟合和过拟合?
线性代数篇 (13讲)
33 | 线性代数:线性代数到底都讲了些什么?
34 | 向量空间模型:如何让计算机理解现实事物之间的关系?
35 | 文本检索:如何让计算机处理自然语言?
36 | 文本聚类:如何过滤冗余的新闻?
37 | 矩阵(上):如何使用矩阵操作进行PageRank计算?
38 | 矩阵(下):如何使用矩阵操作进行协同过滤推荐?
39 | 线性回归(上):如何使用高斯消元求解线性方程组?
40 | 线性回归(中):如何使用最小二乘法进行直线拟合?
41 | 线性回归(下):如何使用最小二乘法进行效果验证?
42 | PCA主成分分析(上):如何利用协方差矩阵来降维?
43 | PCA主成分分析(下):为什么要计算协方差矩阵的特征值和特征向量?
44 | 奇异值分解:如何挖掘潜在的语义关系?
45 | 线性代数篇答疑和总结:矩阵乘法的几何意义是什么?
综合应用篇 (6讲)
46 | 缓存系统:如何通过哈希表和队列实现高效访问?
47 | 搜索引擎(上):如何通过倒排索引和向量空间模型,打造一个简单的搜索引擎?
48 | 搜索引擎(下):如何通过查询的分类,让电商平台的搜索结果更相关?
49 | 推荐系统(上):如何实现基于相似度的协同过滤?
50 | 推荐系统(下):如何通过SVD分析用户和物品的矩阵?
51 | 综合应用篇答疑和总结:如何进行个性化用户画像的设计?
加餐 (3讲)
数学专栏课外加餐(一) | 我们为什么需要反码和补码?
数学专栏课外加餐(二) | 位操作的三个应用实例
数学专栏课外加餐(三):程序员需要读哪些数学书?
结束语 (1讲)
结束语 | 从数学到编程,本身就是一个很长的链条
程序员的数学基础课
登录|注册

33 | 线性代数:线性代数到底都讲了些什么?

黄申 2019-03-01
你好,我是黄申。
通过第二模块的学习,我想你对概率统计在编程领域,特别是机器学习算法中的应用,已经有了一定理解。概率统计关注的是随机变量及其概率分布,以及如何通过观测数据来推断这些分布。可是,在解决很多问题的时候,我们不仅要关心单个变量之间的关系,还要进一步研究多个变量之间的关系,最典型的例子就是基于多个特征的信息检索和机器学习。
在信息检索中,我们需要考虑多个关键词特征对最终相关性的影响,而在机器学习中,无论是监督式还是非监督式学习,我们都需要考虑多个特征对模型拟合的影响。在研究多个变量之间关系的时候,线性代数成为了解决这类问题的有力工具。
另一方面,在我们日常生活和工作中,很多问题都可以线性化,小到计算两个地点之间的距离,大到计算互联网中全部网页的 PageRank。所以,为了使用编程来解决相应的问题,我们也必须掌握一些必要的线性代数基础知识。因此,我会从线性代数的基本概念出发,结合信息检索和机器学习领域的知识,详细讲解线性代数的运用。
关于线性代数,究竟都需要掌握哪些方面的知识呢?我们今天就来看一看,让你对之后一段时间所要学习的知识有个大体的了解。

向量和向量空间

我们之前所谈到的变量都属于标量(Scalar)。它只是一个单独的数字,而且不能表示方向。从计算机数据结构的角度来看,标量就是编程中最基本的变量。这个很好理解,你可以回想一下刚开始学习编程时接触到的标量类型的变量。
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《程序员的数学基础课》,如需阅读全部文章,
请订阅文章所属专栏。
立即订阅
登录 后留言

精选留言(11)

  • 李跃爱学习
    1. 在研究多个变量之间关系的时候,线性代数成为了解决这类问题的有力工具
    2. 向量和向量空间
        1. 标量(Scalar),它只是一个单独的数字,而且不能表示方向
        2. 向量(Vector),也叫做矢量,它代表一组数字,并且这些数字时有序排列的
        3. 向量和标量最大的区别在于,向量除了拥有数值的大小,还拥有方向
            1. 为什么这么一串数字能表示方向?
            2. 这是因为,如果我们把向量中的元素看成坐标轴上的坐标,那么这个向量就可以看作空间中的一个点,以原点为起点,以向量代表的点为重点,就能形成一条有向的直线。
            3. 以上处理就给向量赋予了代数的含义,使得计算的过程中更加直观。
                1. 向量空间
                2. 向量夹角
                3. 矩阵特征值
        4. 自然界物体的属性转换为用数字表达,向量的每个元素代表一维特征,而元素的值代表相应特征的值,我们称这类向量为特征向量(Feature Vector)
            1. 这个和矩阵的特征向量(Eigenvector)是两码事
    3. 向量的运算
        1. 标量和向量之间可以进行运算,把标量和向量中的每个元素进行运算
        2. 向量和向量之间运算需要先定义向量空间
        3. 向量空间
            1. 空间由无穷多个的位置点组成
            2. 这些点之间存在相对的关系
            3. 可以在空间中定义任意两点之间的长度,以及任意两点之间的角度
            4. 这个空间的点可以进行移动
            5. 定义运算
                1. 加法:首先两个向量需要维度相同,然后是对应的元素相加
                2. 乘法(点乘):向量之间的乘法默认是点乘,点乘的作用是把相乘的两个向量转换成了标量。它有具体的几何含义。我们会用点乘来计算向量的长度以及两个向量的夹角。向量之间的夹角和距离又在向量空间模型(Vector Space Model)中发挥了重要作用。信息检索和机器学习等领域利用了向量空间模型来计算不同对象之间的相似程度
                1. 距离
                2. 夹角
    4. 矩阵(Matrix)
        1. 矩阵由多个长度相等的向量组成
            1. 向量其实也是一个特殊的矩阵
            2. 从数据结构角度看,向量是一维数组,那矩阵就是二维数组
            3. 如果二维数组里面大多数元素都是0,我们称这个矩阵很稀疏(Sparse)
                1. 我们可以使用哈希表的链地址法表示稀疏矩阵
            4. 单位矩阵(identity Matrix):所有沿主对角线的元素都是1,其他位置的元素都是0,通常我们只考虑单位矩阵为方阵的情况(即行数和列数相等)
        2. 矩阵的几何意义是坐标变换
            1. 特征向量
            2. 特征值
            3. 如果一个矩阵存在特征向量和特征值,那么这个矩阵的特征向量就表示了它在空间中最主要的运动方向
        3. 矩阵的运算
            1. 标量和矩阵之间的运算,把标量和矩阵中的每个元素进行运算
            2. 矩阵和矩阵之间
                1. 加法:首先保证参与运算的两个矩阵具有相同的行维度和列维度,我们就可以把对应的元素两两相加
                2. 乘法:假设X为i*k的矩阵,Y为k*j的矩阵,首先X的列数必须要和Y的行数相等,计算X的行向量与Y的列向量的点乘
                3. 转置(transposition):将矩阵内的元素行索引和纵索隐呼唤,转置N*M的矩阵得到M*N的矩阵
                4. 求逆矩阵:逆矩阵*原始矩阵,结果是单位矩阵
                5. 求特征值
                6. 求奇异值
    2019-07-25
    5
  • 之前对线代的认识,熟记各种性质和概念,细心保证计算不出错。模糊的知道三维几何变换。
    我觉得从算题来说,求特征值比较难。
    大量高阶幂矩阵乘法,会带来计算量大的问题。

    作者回复: 我们可能不一定要精通线代的每个部分,主要从常用的机器学习算法出发,理解一些常见的概念和操作

    2019-03-01
    4
  • yaya
    对线代的基础特征向量,矩阵分解有一定了解,我觉得矩阵就是为了便于书写这样排列的,本质还是运算,不过便于观看和书写,后来计算机中便于存储,后来便于并行,不过矩阵有其特质,这是和它展开的运算式不同的地方

    作者回复: 总结的很好。

    2019-03-04
    2
  • escray
    大学本科的时候学过线性代数,但是当时是比较懵懂的。读研的时候旁听了几节课,到后来稍微复杂一点的时候就放弃了,因为当时以为只有做图形学的或者是图像的才需要学习线性代数,没想到后来机器学习也需要这个,当然现在也没有从事相关的工作。

    之前看到有国外大学的线性代数公开课,据说讲的很好,但是一直没有看。

    我觉的线性代数最难的部分还是在于后面的向量空间、矩形变化和奇异值分解,我感觉这一部分似乎需要一些空间想象力,一旦超过二维,我的想象力就不够了。另外一方面,线性代数中的计算一般不会太难,但是比较复杂,需要细致和耐心,这对我来说也算一个难点。

    希望这次能再探线性代数。

    作者回复: 可以慢慢来,通常可以在二维空间中研究,然后扩展到多维空间

    2019-10-22
  • Paul Shan
    向量是一组长度(维度)固定的有序数值序列。长度固定和有序两个特点让向量和特定维度空间中的点一一对应。任意两个点的差值就可以定义一个从减数到被减数的方向。这些空间都有一个特殊的点,就是在所有维度的分量是零的点,也就是原点。任意点减去原点就是他自己,每个点也一一对应于一个方向。这样向量既可以定义n维空间的点,又可以定义n维空间的一个方向。向量的加减法用的是平行四边形法则。点乘放映了两个向量大小和夹角余弦的关系。把现实世界物体的特征值向量化,就是建立特征值的过程。叉乘是构建一个和两个已知向量都垂直的向量。

    矩阵是描述坐标轴(一组向量)变换的过程。矩阵的特征值,如果没记错的话,描述的是坐标伸缩的比例。矩阵的加减法和向量类似。矩阵的乘法,把左边的矩阵看成行向量的集合,把右边矩阵看成列向量的集合,然后求出笛卡尔积得出向量对,然后对这个向量对求点乘,得出标量,行列组合这些标量,得到结果矩阵。
    矩阵的转置,就是把矩阵行列交换得到的新矩阵。
    单位阵相当于1的作用,逆矩阵相当于倒数的概念。
    矩阵有稀疏和不稀疏之风,为了充分利用存储空间,前者一般用索引的方法处理(哈希表或者链表),后者一般用数组存储。
    2019-09-20
  • 🐾
    重新复习了一下大学的数学~
    2019-09-13
  • 予悠悠
    之前一直不理解向量为什么叫向量,不理解一个数组(我之前对向量的理解)为什么会有方向。听了老师这堂课,终于明白是在空间中理解向量。但感觉还是理解的很有限,要赶紧学习之后的课程。

    作者回复: 很高兴对你有价值

    2019-04-24
  • 行者
    线代对于我来说,是一片森林,进去了就不知道怎么出来.....跟着老师好好学习!加油!

    作者回复: 我们结合实例,一步步来

    2019-03-11
  • 一路向北
    大学学完线代后,就没有碰过这门课,当时学的也是一头雾水,只是感觉很有用,但是到底干嘛用,不知道。

    作者回复: 我会结合案例来说,通过案例你能看到其强大的地方。

    2019-03-09
  • 李皮皮皮皮皮
    线代概念很多,而且定义复杂。特别是到空间那一块。更重要的是不明白实际含义,空记公式和理论,考完试就还给老师了👨‍🏫

    作者回复: 我会结合实际案例来讲,帮助你加深理解和记忆。

    2019-03-03
  • mickey
    之前对线代的认识,是在二维空间对点的操作。
    觉得最难的是,各种概念、计算、变换、图形的实际意义。

    作者回复: 对,几何和线代的对应是很重要的,可以帮助我们理解

    2019-03-01
收起评论
11
返回
顶部