程序员的数学基础课
黄申
LinkedIn资深数据科学家
立即订阅
23478 人已学习
课程目录
已完结 57 讲
0/4登录后,你可以任选4讲全文学习。
开篇词 (1讲)
开篇词 | 作为程序员,为什么你应该学好数学?
免费
导读 (1讲)
导读:程序员应该怎么学数学?
基础思想篇 (18讲)
01 | 二进制:不了解计算机的源头,你学什么编程
02 | 余数:原来取余操作本身就是个哈希函数
03 | 迭代法:不用编程语言的自带函数,你会如何计算平方根?
04 | 数学归纳法:如何用数学归纳提升代码的运行效率?
05 | 递归(上):泛化数学归纳,如何将复杂问题简单化?
06 | 递归(下):分而治之,从归并排序到MapReduce
07 | 排列:如何让计算机学会“田忌赛马”?
08 | 组合:如何让计算机安排世界杯的赛程?
09 | 动态规划(上):如何实现基于编辑距离的查询推荐?
10 | 动态规划(下):如何求得状态转移方程并进行编程实现?
11 | 树的深度优先搜索(上):如何才能高效率地查字典?
12 | 树的深度优先搜索(下):如何才能高效率地查字典?
13 | 树的广度优先搜索(上):人际关系的六度理论是真的吗?
14 | 树的广度优先搜索(下):为什么双向广度优先搜索的效率更高?
15 | 从树到图:如何让计算机学会看地图?
16 | 时间和空间复杂度(上):优化性能是否只是“纸上谈兵”?
17 | 时间和空间复杂度(下):如何使用六个法则进行复杂度分析?
18 | 总结课:数据结构、编程语句和基础算法体现了哪些数学思想?
概率统计篇 (14讲)
19 | 概率和统计:编程为什么需要概率和统计?
20 | 概率基础(上):一篇文章帮你理解随机变量、概率分布和期望值
21 | 概率基础(下):联合概率、条件概率和贝叶斯法则,这些概率公式究竟能做什么?
22 | 朴素贝叶斯:如何让计算机学会自动分类?
23 | 文本分类:如何区分特定类型的新闻?
24 | 语言模型:如何使用链式法则和马尔科夫假设简化概率模型?
25 | 马尔科夫模型:从PageRank到语音识别,背后是什么模型在支撑?
26 | 信息熵:如何通过几个问题,测出你对应的武侠人物?
27 | 决策树:信息增益、增益比率和基尼指数的运用
28 | 熵、信息增益和卡方:如何寻找关键特征?
29 | 归一化和标准化:各种特征如何综合才是最合理的?
30 | 统计意义(上):如何通过显著性检验,判断你的A/B测试结果是不是巧合?
31 | 统计意义(下):如何通过显著性检验,判断你的A/B测试结果是不是巧合?
32 | 概率统计篇答疑和总结:为什么会有欠拟合和过拟合?
线性代数篇 (13讲)
33 | 线性代数:线性代数到底都讲了些什么?
34 | 向量空间模型:如何让计算机理解现实事物之间的关系?
35 | 文本检索:如何让计算机处理自然语言?
36 | 文本聚类:如何过滤冗余的新闻?
37 | 矩阵(上):如何使用矩阵操作进行PageRank计算?
38 | 矩阵(下):如何使用矩阵操作进行协同过滤推荐?
39 | 线性回归(上):如何使用高斯消元求解线性方程组?
40 | 线性回归(中):如何使用最小二乘法进行直线拟合?
41 | 线性回归(下):如何使用最小二乘法进行效果验证?
42 | PCA主成分分析(上):如何利用协方差矩阵来降维?
43 | PCA主成分分析(下):为什么要计算协方差矩阵的特征值和特征向量?
44 | 奇异值分解:如何挖掘潜在的语义关系?
45 | 线性代数篇答疑和总结:矩阵乘法的几何意义是什么?
综合应用篇 (6讲)
46 | 缓存系统:如何通过哈希表和队列实现高效访问?
47 | 搜索引擎(上):如何通过倒排索引和向量空间模型,打造一个简单的搜索引擎?
48 | 搜索引擎(下):如何通过查询的分类,让电商平台的搜索结果更相关?
49 | 推荐系统(上):如何实现基于相似度的协同过滤?
50 | 推荐系统(下):如何通过SVD分析用户和物品的矩阵?
51 | 综合应用篇答疑和总结:如何进行个性化用户画像的设计?
加餐 (3讲)
数学专栏课外加餐(一) | 我们为什么需要反码和补码?
数学专栏课外加餐(二) | 位操作的三个应用实例
数学专栏课外加餐(三):程序员需要读哪些数学书?
结束语 (1讲)
结束语 | 从数学到编程,本身就是一个很长的链条
程序员的数学基础课
登录|注册

34 | 向量空间模型:如何让计算机理解现实事物之间的关系?

黄申 2019-03-04
你好,我是黄申。
之前我们讲过如何让计算机理解现实世界中的事物,方法是把事物的各种特性转为机器所能理解的数据字段。而这些数据字段,在机器学习里通常被称为特征。有了特征,我们不仅可以刻画事物本身,还能刻画不同事物之间的关系。
上一个模块我们只是了解了监督式学习,重点考察了特征和分类标签之间的关系。但是在信息检索和非监督式学习中,我们更关注的是不同事物之间的相似程度。这就需要用到线性代数中的向量空间模型了。
提到向量空间模型,你可能对其中的概念有点陌生,所以我会从向量空间的基本概念开始说起,讲到向量空间模型的相关知识,最后再讲讲它是如何应用在不同的编程中的。

什么是向量空间?

上一节,我讲到了向量和向量空间的一些基本概念。为了帮助你更好地理解向量空间模型,我这里给出向量和向量空间的严格定义。
首先假设有一个数的集合 ,它满足“ 中任意两个数的加减乘除法(除数不为零)的结果仍然在这个 中”,我们就可以称 为一个“域”。我们处理的数据通常都是实数,所以这里我只考虑实数域。而如果域 里的元素都为实数,那么 就是实数域。
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《程序员的数学基础课》,如需阅读全部文章,
请订阅文章所属专栏。
立即订阅
登录 后留言

精选留言(13)

  • 杨超
    在总结前有个公式 1/(1-ED),当ED从 0-正无穷 变化时,公式的值域是负无穷到正无穷除去0。这个归一化公式不对吧?会出现负无穷大呀,除非实现已经讲ED限制在0-1之间了

    作者回复: 对,应该是1/(ED+1)

    2019-06-19
    2
  • Wing·三金
    欧式距离的平方=25+16+196=237
    欧式距离为根号 237≈15.4

    cos=(-6-3-48)/ (√(9+1+64)*√(4+9+36))=(-57)/ (7*√74)≈-0.95

    另外似乎有个小错误:在总结前有个公式 1/(1-ED),当ED从 0-正无穷 变化时,公式的值域是负无穷到正无穷除去0。可以考虑换成 MinMax 等方法归一化。

    作者回复: 对 MinMax 也是可以的。不过这里是1除以(1-ED),所以不会出现负无穷大。而最大的值也不会超过1。

    2019-03-04
    2
  • 七月有风
    二维三维空间很好理解,也可以借助图形理解,四维五维也有这种图形吗?还是只是我们假象出来的,在这儿有点转不过来

    作者回复: 3维以上的空间,人脑想象是有困难的,通常借助2维和3维进行推导

    2019-07-23
    1
  • Monica
    欧式距离=√(x1-y1)²+(x2-y2)²+(x3-y3)²=√(3+2)²+(-1-3)²+(8+6)²=√237
    夹角余弦 = 向量点积/ (向量长度的叉积) = ( x1x2 + y1y2 + z1z2) / ( √(x1²+y1²+z1² ) x √(x2²+y2²+z2² ) )=(-6-3-48)/(√(9+1+64)*√(4+9+36))=(-57)/ (7*√74)
    2019-04-17
    1
  • mickey
    欧氏距离:√237
    夹角余弦:-57/√(74*49)

    作者回复: 正确👌

    2019-03-05
    1
  • Ronnyz
    欧式距离:√257
    夹角余弦:-57/(√74*√49)

    作者回复: 是的

    2019-10-17
  • Paul Shan
    请问老师 1/(1-ED)的变换,在ED大于1的时候就会变成负值,例如ED=1.1,这个值就是-10,这里计算就会超过范围,不知哪里有问题,多谢

    作者回复: 这里有笔误,我之后会统一修改

    2019-09-23
  • Paul Shan
    向量空间满足加法和标量乘法的封闭性
    两个向量空间中点的距离有曼哈顿距离,欧式距离,切比雪夫距离,闵可夫斯基距离。这些距离都可以用向量差的某个函数表示。曼哈顿距离就是向量差的各个分量绝对值之和。欧式距离是各个分量平方和的开方。切比雪夫距离是分量绝对值的最大值,闵可夫斯基距离分量绝对值的p次方之和再开p次方。其中闵可夫斯基距离最为通用,p取1就是曼哈顿距离,p取2就是欧式距离,p取正无穷就是切比雪夫距离,p取零0(这里定义0的0次方为0),就是非零分量的个数。
    范数可以用闵可夫斯基的p值来定义。
    向量的夹角用两个向量单位化以后的点积来定义。放映了两个向量在空间中角度的关系,可以看作两个向量在单位向量球面的投影和原点组成的三角形,在原点这个角的余弦。这个量和矢量的长度无关(为零和不为零还是有关的),只和矢量的角度有关。
    欧式距离也可以表示两个向量的差异。

    2019-09-23
  • cugphoenix
    欧式距离1/(1-ED)是如何归一到0-1区间的?ED<=1怎么办?
    2019-05-01
  • qinggeouye
    向量 a = [3, -1, 8] ,b = [-2, 3, -6]
    欧氏距离 ED(a, b) = 开根号(25+16+196)
    夹角余弦 Cosine(a, b) = (-6 -3 -48)/开根号(74*49)

    作者回复: 对👌

    2019-03-18
  • YiFān.W
    那这个向量应当包括字典中所有的词条吧?实际情况中岂不是非常非常大

    作者回复: 是的,这个向量维数很多,在实际应用中,我们可以使用降维、倒排索引等措施来提高效率。后面也会介绍

    2019-03-13
  • Joe
    切比雪夫的公式写错了吧,不是x y之间相减,应该是x和x,y和y之间差的最大值。

    作者回复: 这里x和y分别表示两个向量,例如[x1, x2, x3, x4...xn], [y1, y2, y3, y4..yn],和二维坐标的表示(x1,y1) (x2,y2)有所不同。

    2019-03-12
  • 李皮皮皮皮皮
    V是Fn的子集,Fn是F中的n维向量。那怎么会有标量属于V呢?不太明白😢

    作者回复: 好问题,V是针对向量,标量不受限

    2019-03-04
收起评论
13
返回
顶部