程序员的数学基础课
黄申
LinkedIn资深数据科学家
立即订阅
23478 人已学习
课程目录
已完结 57 讲
0/4登录后,你可以任选4讲全文学习。
开篇词 (1讲)
开篇词 | 作为程序员,为什么你应该学好数学?
免费
导读 (1讲)
导读:程序员应该怎么学数学?
基础思想篇 (18讲)
01 | 二进制:不了解计算机的源头,你学什么编程
02 | 余数:原来取余操作本身就是个哈希函数
03 | 迭代法:不用编程语言的自带函数,你会如何计算平方根?
04 | 数学归纳法:如何用数学归纳提升代码的运行效率?
05 | 递归(上):泛化数学归纳,如何将复杂问题简单化?
06 | 递归(下):分而治之,从归并排序到MapReduce
07 | 排列:如何让计算机学会“田忌赛马”?
08 | 组合:如何让计算机安排世界杯的赛程?
09 | 动态规划(上):如何实现基于编辑距离的查询推荐?
10 | 动态规划(下):如何求得状态转移方程并进行编程实现?
11 | 树的深度优先搜索(上):如何才能高效率地查字典?
12 | 树的深度优先搜索(下):如何才能高效率地查字典?
13 | 树的广度优先搜索(上):人际关系的六度理论是真的吗?
14 | 树的广度优先搜索(下):为什么双向广度优先搜索的效率更高?
15 | 从树到图:如何让计算机学会看地图?
16 | 时间和空间复杂度(上):优化性能是否只是“纸上谈兵”?
17 | 时间和空间复杂度(下):如何使用六个法则进行复杂度分析?
18 | 总结课:数据结构、编程语句和基础算法体现了哪些数学思想?
概率统计篇 (14讲)
19 | 概率和统计:编程为什么需要概率和统计?
20 | 概率基础(上):一篇文章帮你理解随机变量、概率分布和期望值
21 | 概率基础(下):联合概率、条件概率和贝叶斯法则,这些概率公式究竟能做什么?
22 | 朴素贝叶斯:如何让计算机学会自动分类?
23 | 文本分类:如何区分特定类型的新闻?
24 | 语言模型:如何使用链式法则和马尔科夫假设简化概率模型?
25 | 马尔科夫模型:从PageRank到语音识别,背后是什么模型在支撑?
26 | 信息熵:如何通过几个问题,测出你对应的武侠人物?
27 | 决策树:信息增益、增益比率和基尼指数的运用
28 | 熵、信息增益和卡方:如何寻找关键特征?
29 | 归一化和标准化:各种特征如何综合才是最合理的?
30 | 统计意义(上):如何通过显著性检验,判断你的A/B测试结果是不是巧合?
31 | 统计意义(下):如何通过显著性检验,判断你的A/B测试结果是不是巧合?
32 | 概率统计篇答疑和总结:为什么会有欠拟合和过拟合?
线性代数篇 (13讲)
33 | 线性代数:线性代数到底都讲了些什么?
34 | 向量空间模型:如何让计算机理解现实事物之间的关系?
35 | 文本检索:如何让计算机处理自然语言?
36 | 文本聚类:如何过滤冗余的新闻?
37 | 矩阵(上):如何使用矩阵操作进行PageRank计算?
38 | 矩阵(下):如何使用矩阵操作进行协同过滤推荐?
39 | 线性回归(上):如何使用高斯消元求解线性方程组?
40 | 线性回归(中):如何使用最小二乘法进行直线拟合?
41 | 线性回归(下):如何使用最小二乘法进行效果验证?
42 | PCA主成分分析(上):如何利用协方差矩阵来降维?
43 | PCA主成分分析(下):为什么要计算协方差矩阵的特征值和特征向量?
44 | 奇异值分解:如何挖掘潜在的语义关系?
45 | 线性代数篇答疑和总结:矩阵乘法的几何意义是什么?
综合应用篇 (6讲)
46 | 缓存系统:如何通过哈希表和队列实现高效访问?
47 | 搜索引擎(上):如何通过倒排索引和向量空间模型,打造一个简单的搜索引擎?
48 | 搜索引擎(下):如何通过查询的分类,让电商平台的搜索结果更相关?
49 | 推荐系统(上):如何实现基于相似度的协同过滤?
50 | 推荐系统(下):如何通过SVD分析用户和物品的矩阵?
51 | 综合应用篇答疑和总结:如何进行个性化用户画像的设计?
加餐 (3讲)
数学专栏课外加餐(一) | 我们为什么需要反码和补码?
数学专栏课外加餐(二) | 位操作的三个应用实例
数学专栏课外加餐(三):程序员需要读哪些数学书?
结束语 (1讲)
结束语 | 从数学到编程,本身就是一个很长的链条
程序员的数学基础课
登录|注册

38 | 矩阵(下):如何使用矩阵操作进行协同过滤推荐?

黄申 2019-03-13
你好,我是黄申。今天我们来聊聊矩阵操作和推荐算法的关系。
我这里说的推荐,是指为用户提供可靠的建议、并协助用户挑选物品的一种技术。一个好的推荐系统需要建立在海量数据挖掘基础之上,并根据用户所处的情景和兴趣特点,向用户推荐可能感兴趣的信息和商品。
协同过滤(Collaborative Filtering)是经典的推荐算法之一,它充分利用了用户和物品之间已知的关系,为用户提供新的推荐内容。我会从这种二元关系出发,给你讲讲如何使用矩阵计算,来实现协同过滤推荐算法。

用矩阵实现推荐系统的核心思想

矩阵中的二维关系,除了可以表达图的邻接关系,还可以表达推荐系统中用户和物品的关系。如果你不懂推荐系统,不用急,我这里先给你简单讲讲它的核心思想。
简单地理解就是,推荐系统会根据用户所处的场景和个人喜好,推荐他们可能感兴趣的信息和商品。比如,你在阅读一部电影的影评时,系统给你推荐了其他“你可能也感兴趣的电影”。可以看出来,推荐系统中至少有 2 个重要的角色:用户和物品。用户是系统的使用者,物品就是将要被推荐的候选对象。
例如,亚马逊网站的顾客就是用户,网站所销售的商品就是物品。需要注意的是,除了用户角色都是现实中的自然人,某些场景下被推荐的物品可能也是现实中的自然人。例如,一个招聘网站会给企业雇主推荐合适的人才,这时候应聘者承担的是物品角色。
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《程序员的数学基础课》,如需阅读全部文章,
请订阅文章所属专栏。
立即订阅
登录 后留言

精选留言(6)

  • qinggeouye
    基于物品的协同过滤矩阵操作:

    Y = X'·X

    物品相似度:
    IS = [ [1.49655792, 0.04042765, 0. ],
            [0.04042765, 1.22789784, 1.10442966],
            [0. , 1.10442966, 1.49655792] ]

    用户对物品对喜好度 归一化矩阵:
    P = [[0.26833698, 0.38846963, 0.34319338],
           [0.97369679, 0.0263032 , 0. ],
           [0.00886581, 0.47294886, 0.51818533],
           [0. , 0.42461935, 0.57538065]]

    应该是这样。markdown 表示 https://github.com/qinggeouye/GeekTime/tree/master/MathematicProgrammer/38_Matrix2CollaborativeFiltering
    2019-03-24
    2
  • Feng.X
    老师,矩阵USR里的数字看着是对矩阵USP按行求和,为什么不是像文中所述的对矩阵US按行求和?

    作者回复: 这里USR的内容有笔误,应该是对US按行求和,我稍后改一下

    2019-03-13
    1
    2
  • 拉欧
    基于物品的相似度计算时,物品喜好度矩阵是用户喜好度矩阵的转置,是这样吗?
    是选择基于用户的协同过滤还是基于物品的协同过滤,要考虑用户和物品哪一个维度数量比较少,相乘后产生的矩阵小,可以这样理解么?

    作者回复: 第一个理解是对的。
    第二个观点从效率的角度出发是合理的,不过也要结合具体实践中推荐的效果好坏来选择具体的算法,效率只是一方面。

    2019-03-13
    1
  • Paul Shan
    先用夹角余弦计算两两用户之间的相似度,用这个相似度再重新计算用户i对某个物体j的喜好程度。即用所有用户对物品j的喜欢程度按照和用户i的相似度加权计算。今天的内容有点像马尔可夫过程,用户的喜好在原来的图中按照用户之间的相似度扩散了。

    作者回复: 是的,有些类似,不过CF强调两种角色,user和item

    2019-09-30
  • 阿信
    刚又翻了下《数学之美》,基于物品相似度推荐,感觉可以借用信息量中“互信息”这个概念来描述。
    “互信息”描述两个随机事件“相关性”的量化度量。这里用来描述物品的相关性。
    如果物品A、B,被同一个用户购买的次数,在总购买次数中占比较大,则认为二者相关性高,可以作为彼此的候选推荐商品。

    基于用户相似度推荐,计算用户对某个商品的喜好度,实践时选取哪些考量特征会是一个难点。如购买次数,针对快消品(如食品、饮料等),考量价值较大;但如果是家电之类的,可能需要考虑报障维修次数、回访调查满意度等信息。

    如果是百货类的电商平台,基于物的相似度推荐,通用性是否更好?

    作者回复: 这可能要看具体的推荐需求,比如是更想推荐同类商品、还是跨品类商品?

    2019-07-20
  • Min
    老师,USR为什是对USP按行求和呢,看公式里USR的表述,和US完全一样啊

    作者回复: 参照之前的留言,这里有个笔误

    2019-07-12
    1
收起评论
6
返回
顶部