程序员的数学基础课
黄申
LinkedIn资深数据科学家
立即订阅
22560 人已学习
课程目录
已完结 57 讲
0/4登录后,你可以任选4讲全文学习。
开篇词 (1讲)
开篇词 | 作为程序员,为什么你应该学好数学?
免费
导读 (1讲)
导读:程序员应该怎么学数学?
基础思想篇 (18讲)
01 | 二进制:不了解计算机的源头,你学什么编程
02 | 余数:原来取余操作本身就是个哈希函数
03 | 迭代法:不用编程语言的自带函数,你会如何计算平方根?
04 | 数学归纳法:如何用数学归纳提升代码的运行效率?
05 | 递归(上):泛化数学归纳,如何将复杂问题简单化?
06 | 递归(下):分而治之,从归并排序到MapReduce
07 | 排列:如何让计算机学会“田忌赛马”?
08 | 组合:如何让计算机安排世界杯的赛程?
09 | 动态规划(上):如何实现基于编辑距离的查询推荐?
10 | 动态规划(下):如何求得状态转移方程并进行编程实现?
11 | 树的深度优先搜索(上):如何才能高效率地查字典?
12 | 树的深度优先搜索(下):如何才能高效率地查字典?
13 | 树的广度优先搜索(上):人际关系的六度理论是真的吗?
14 | 树的广度优先搜索(下):为什么双向广度优先搜索的效率更高?
15 | 从树到图:如何让计算机学会看地图?
16 | 时间和空间复杂度(上):优化性能是否只是“纸上谈兵”?
17 | 时间和空间复杂度(下):如何使用六个法则进行复杂度分析?
18 | 总结课:数据结构、编程语句和基础算法体现了哪些数学思想?
概率统计篇 (14讲)
19 | 概率和统计:编程为什么需要概率和统计?
20 | 概率基础(上):一篇文章帮你理解随机变量、概率分布和期望值
21 | 概率基础(下):联合概率、条件概率和贝叶斯法则,这些概率公式究竟能做什么?
22 | 朴素贝叶斯:如何让计算机学会自动分类?
23 | 文本分类:如何区分特定类型的新闻?
24 | 语言模型:如何使用链式法则和马尔科夫假设简化概率模型?
25 | 马尔科夫模型:从PageRank到语音识别,背后是什么模型在支撑?
26 | 信息熵:如何通过几个问题,测出你对应的武侠人物?
27 | 决策树:信息增益、增益比率和基尼指数的运用
28 | 熵、信息增益和卡方:如何寻找关键特征?
29 | 归一化和标准化:各种特征如何综合才是最合理的?
30 | 统计意义(上):如何通过显著性检验,判断你的A/B测试结果是不是巧合?
31 | 统计意义(下):如何通过显著性检验,判断你的A/B测试结果是不是巧合?
32 | 概率统计篇答疑和总结:为什么会有欠拟合和过拟合?
线性代数篇 (13讲)
33 | 线性代数:线性代数到底都讲了些什么?
34 | 向量空间模型:如何让计算机理解现实事物之间的关系?
35 | 文本检索:如何让计算机处理自然语言?
36 | 文本聚类:如何过滤冗余的新闻?
37 | 矩阵(上):如何使用矩阵操作进行PageRank计算?
38 | 矩阵(下):如何使用矩阵操作进行协同过滤推荐?
39 | 线性回归(上):如何使用高斯消元求解线性方程组?
40 | 线性回归(中):如何使用最小二乘法进行直线拟合?
41 | 线性回归(下):如何使用最小二乘法进行效果验证?
42 | PCA主成分分析(上):如何利用协方差矩阵来降维?
43 | PCA主成分分析(下):为什么要计算协方差矩阵的特征值和特征向量?
44 | 奇异值分解:如何挖掘潜在的语义关系?
45 | 线性代数篇答疑和总结:矩阵乘法的几何意义是什么?
综合应用篇 (6讲)
46 | 缓存系统:如何通过哈希表和队列实现高效访问?
47 | 搜索引擎(上):如何通过倒排索引和向量空间模型,打造一个简单的搜索引擎?
48 | 搜索引擎(下):如何通过查询的分类,让电商平台的搜索结果更相关?
49 | 推荐系统(上):如何实现基于相似度的协同过滤?
50 | 推荐系统(下):如何通过SVD分析用户和物品的矩阵?
51 | 综合应用篇答疑和总结:如何进行个性化用户画像的设计?
加餐 (3讲)
数学专栏课外加餐(一) | 我们为什么需要反码和补码?
数学专栏课外加餐(二) | 位操作的三个应用实例
数学专栏课外加餐(三):程序员需要读哪些数学书?
结束语 (1讲)
结束语 | 从数学到编程,本身就是一个很长的链条
程序员的数学基础课
登录|注册

50 | 推荐系统(下):如何通过SVD分析用户和物品的矩阵?

黄申 2019-04-10

你好,我是黄申。

上一节,我们讲了如何使用矩阵操作,实现基于用户或者物品的协同过滤。实际上,推荐系统是个很大的课题,你可以尝试不同的想法。比如,对于用户给电影评分的案例,是不是可以使用 SVD 奇异值的分解,来分解用户评分的矩阵,并找到“潜在”的电影主题呢?如果在一定程度上实现这个目标,那么我们可以通过用户和主题,以及电影和主题之间的关系来进行推荐。今天,我们继续使用 MovieLens 中的一个数据集,尝试 Python 代码中的 SVD 分解,并分析一些结果所代表的含义。

SVD 回顾以及在推荐中的应用

在实现 SVD 分解之前,我们先来回顾一下 SVD 的主要概念和步骤。如果矩阵 $X$ 是对称的方阵,那么我们可以求得这个矩阵的特征值和特征向量,并把矩阵 $X$ 分解为特征值和特征向量的乘积。

假设我们求出了矩阵 $X$ 的 $n$ 个特征值 $λ_1,λ_2,…,λ_n$,以及这 $n$ 个特征值所对应的特征向量 $v_1,v_2,…,v_n$,那么矩阵 $X$ 可以表示为:

© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《程序员的数学基础课》,如需阅读全部文章,
请订阅文章所属专栏。
立即订阅
登录 后留言

精选留言(3)

  • 愤怒的虾干
    黄老师,你好,假设X'乘X结果是矩阵A,则V是A的特征向量矩阵,根据几何意义A(i,j)表示的是列向量X,i乘X,j,即电影i和电影j的用户评分乘积;由特征向量的几何意义可知,特征值最大对应的特征向量v表示受众广且评分高(即点评的人多且分数高)的电影,次之是受众广且评分一般或受众窄且评分高的电影,最后特征值最小的表示受众窄且评分低的电影。
    同理XX'的特征矩阵U,当特征值最大时表示的是用户有相同审美理念(都对同一类型感兴趣且评分相近),特征值低表示用户间观影理念有较大差异。
    综合上述结论,我觉得V并不能区分电影类型。比如特征值最大取出的一组电影大多是评分5且评分人数多,即受众广,第五组大多是评分是4且评分人数不如上面的,即较为受人欢迎。之所以这些数据里电影类型较为雷同,我觉得应该是受众广的电影恰好是这一类的题材导致。请老师看下我说的对吗?

    作者回复: 很细致的分析,确实这里的奇异向量是一个很抽象的概念,在实际中由很多因素决定,不仅仅包括电影的类型、也包括用户的口味、电影的导演、演员、制作的精良程度等等。
    这里我们假设电影类型对用户的评分影响是最大的,所以最极致的情况是,用户评分时只看电影类型,不考虑其他任何因素。如果是这样,噪音是最小的,分解出来的向量也能很好的区分不同类型的电影。当然,实际情况并非如此,所你会看到结果并不是完全理想的。所以,在实际项目中,对SVD分解结果的解释,要结合具体的应用场景,你这样的分析就很好👍。
    对于多个决定因素,另一种可行的处理方法是,结合行业经验,发现可能影响结果的主要因素,然后按照不同的维度分割数据,再来进行SVD分解。比如,我们发现除了电影类型之外,电影导演也很大程度上影响了评分,那么我们就可以抽取同一种电影类型,假设电影类型对评分没有影响,然后进行SVD分解,那么分解的结果可解释为不同水平导演的分组。不过,这样处理可能会导致数据量比较稀疏。

    2019-06-06
    1
  • qinggeouye
    # 优化下 减少运行时间
    #https://github.com/qinggeouye/GeekTime/blob/master/MathematicProgrammer/50_recomendSystem_SVD/lesson50_2.py
    import pandas as pd
    import numpy as np
    from sklearn.preprocessing import scale


    # 加载用户对电影对评分数据
    df_ratings = pd.read_csv("ml-latest-small/ratings.csv")

    # 获取用户对数量和电影对数量 这里只取前 1/10 , 减少数据规模
    user_num = int(df_ratings["userId"].max() / 10)
    movie_num = int(df_ratings["movieId"].max() / 10)
    print(user_num, movie_num)
    df_ratings = df_ratings[df_ratings["userId"] <= user_num]
    df_ratings = df_ratings[df_ratings["movieId"] <= movie_num]

    # 构造用户对电影对二元关系矩阵
    user_rating = np.zeros((user_num, movie_num))

    # 由于用户和电影对 ID 都是从 1 开始,为了和 Python 的索引一致,减去 1
    df_ratings["userId"] = df_ratings["userId"] - 1
    df_ratings["movieId"] = df_ratings["movieId"] - 1
    # 设置用户对电影对评分
    for userId in range(user_num):
        user_rating[userId][df_ratings[df_ratings["userId"] == userId]["movieId"]] = \
            df_ratings[df_ratings["userId"] == userId]["rating"]

    # 二维数组转化为矩阵
    x = np.mat(user_rating)

    # 标准化每位用户的评分数据 每一行
    x_s = scale(x, with_mean=True, with_std=True, axis=1)

    # 进行 SVD 奇异值分解
    u, sigma, vt = np.linalg.svd(x_s, full_matrices=False, compute_uv=True)
    print("U 矩阵:", u)
    print("Sigma 奇异值:", sigma)
    print("V 矩阵:", vt)

    # 加载电影元信息
    df_movies = pd.read_csv("ml-latest-small/movies.csv")
    dict_movies = dict(zip(df_movies["movieId"], df_movies["title"] + ", " + df_movies["genres"]))
    print(dict_movies)

    # 输出和某个奇异值高度相关的电影 这些电影代表了一个主题
    # (注意:向量中电影的 ID 和原始的电影的 ID 相差 1,所以在读取 dict_movies 需要使用 i+1)
    print(np.max(vt[1, :]))
    print(list(zip(np.where(vt[1] > 0.1)[0] + 1, vt[1][np.where(vt[1] > 0.1)],
                   [dict_movies[i] for i in (np.where(vt[1] > 0.1)[0] + 1)])))
    2019-04-22
    1
  • zzz
    为什么SVD对电影分解出来的奇异值是“主题“(科幻类,剧情类……),而不是电影其他的概念,毕竟SVD的输入只是用户与电影的评分数据,没有别的信息。
    不过想想电影除了主题好像也没什么别的。

    作者回复: 这是个很好的问题,实际上影响用户评分确实有很多,除了电影类型,还有导演、演员什么的,不过通常电影类型还是占了主要地位,这里假设主要是电影类型决定了喜好程度。如果还有很多其他主要因素,就不能简单认为SVD找出的潜在因素是电影主题

    2019-04-21
    1
收起评论
3
返回
顶部