程序员的数学基础课
黄申
LinkedIn资深数据科学家
立即订阅
23478 人已学习
课程目录
已完结 57 讲
0/4登录后,你可以任选4讲全文学习。
开篇词 (1讲)
开篇词 | 作为程序员,为什么你应该学好数学?
免费
导读 (1讲)
导读:程序员应该怎么学数学?
基础思想篇 (18讲)
01 | 二进制:不了解计算机的源头,你学什么编程
02 | 余数:原来取余操作本身就是个哈希函数
03 | 迭代法:不用编程语言的自带函数,你会如何计算平方根?
04 | 数学归纳法:如何用数学归纳提升代码的运行效率?
05 | 递归(上):泛化数学归纳,如何将复杂问题简单化?
06 | 递归(下):分而治之,从归并排序到MapReduce
07 | 排列:如何让计算机学会“田忌赛马”?
08 | 组合:如何让计算机安排世界杯的赛程?
09 | 动态规划(上):如何实现基于编辑距离的查询推荐?
10 | 动态规划(下):如何求得状态转移方程并进行编程实现?
11 | 树的深度优先搜索(上):如何才能高效率地查字典?
12 | 树的深度优先搜索(下):如何才能高效率地查字典?
13 | 树的广度优先搜索(上):人际关系的六度理论是真的吗?
14 | 树的广度优先搜索(下):为什么双向广度优先搜索的效率更高?
15 | 从树到图:如何让计算机学会看地图?
16 | 时间和空间复杂度(上):优化性能是否只是“纸上谈兵”?
17 | 时间和空间复杂度(下):如何使用六个法则进行复杂度分析?
18 | 总结课:数据结构、编程语句和基础算法体现了哪些数学思想?
概率统计篇 (14讲)
19 | 概率和统计:编程为什么需要概率和统计?
20 | 概率基础(上):一篇文章帮你理解随机变量、概率分布和期望值
21 | 概率基础(下):联合概率、条件概率和贝叶斯法则,这些概率公式究竟能做什么?
22 | 朴素贝叶斯:如何让计算机学会自动分类?
23 | 文本分类:如何区分特定类型的新闻?
24 | 语言模型:如何使用链式法则和马尔科夫假设简化概率模型?
25 | 马尔科夫模型:从PageRank到语音识别,背后是什么模型在支撑?
26 | 信息熵:如何通过几个问题,测出你对应的武侠人物?
27 | 决策树:信息增益、增益比率和基尼指数的运用
28 | 熵、信息增益和卡方:如何寻找关键特征?
29 | 归一化和标准化:各种特征如何综合才是最合理的?
30 | 统计意义(上):如何通过显著性检验,判断你的A/B测试结果是不是巧合?
31 | 统计意义(下):如何通过显著性检验,判断你的A/B测试结果是不是巧合?
32 | 概率统计篇答疑和总结:为什么会有欠拟合和过拟合?
线性代数篇 (13讲)
33 | 线性代数:线性代数到底都讲了些什么?
34 | 向量空间模型:如何让计算机理解现实事物之间的关系?
35 | 文本检索:如何让计算机处理自然语言?
36 | 文本聚类:如何过滤冗余的新闻?
37 | 矩阵(上):如何使用矩阵操作进行PageRank计算?
38 | 矩阵(下):如何使用矩阵操作进行协同过滤推荐?
39 | 线性回归(上):如何使用高斯消元求解线性方程组?
40 | 线性回归(中):如何使用最小二乘法进行直线拟合?
41 | 线性回归(下):如何使用最小二乘法进行效果验证?
42 | PCA主成分分析(上):如何利用协方差矩阵来降维?
43 | PCA主成分分析(下):为什么要计算协方差矩阵的特征值和特征向量?
44 | 奇异值分解:如何挖掘潜在的语义关系?
45 | 线性代数篇答疑和总结:矩阵乘法的几何意义是什么?
综合应用篇 (6讲)
46 | 缓存系统:如何通过哈希表和队列实现高效访问?
47 | 搜索引擎(上):如何通过倒排索引和向量空间模型,打造一个简单的搜索引擎?
48 | 搜索引擎(下):如何通过查询的分类,让电商平台的搜索结果更相关?
49 | 推荐系统(上):如何实现基于相似度的协同过滤?
50 | 推荐系统(下):如何通过SVD分析用户和物品的矩阵?
51 | 综合应用篇答疑和总结:如何进行个性化用户画像的设计?
加餐 (3讲)
数学专栏课外加餐(一) | 我们为什么需要反码和补码?
数学专栏课外加餐(二) | 位操作的三个应用实例
数学专栏课外加餐(三):程序员需要读哪些数学书?
结束语 (1讲)
结束语 | 从数学到编程,本身就是一个很长的链条
程序员的数学基础课
登录|注册

49 | 推荐系统(上):如何实现基于相似度的协同过滤?

黄申 2019-04-08
你好,我是黄申。
个性化推荐这种技术在各大互联网站点已经普遍使用了,系统会根据用户的使用习惯,主动提出一些建议,帮助他们发现一些可能感兴趣的电影、书籍或者是商品等等。在这方面,最经典的案例应该是美国的亚马逊电子商务网站,它是全球最大的 B2C 电商网站之一。在公司创立之初,最为出名的就是其丰富的图书品类,以及相应的推荐技术。亚马逊的推荐销售占比可以达到整体销售的 30% 左右。可见,对于公司来说,推荐系统也是销售的绝好机会。因此,接下来的两节,我会使用一个经典的数据集,带你进行推荐系统核心模块的设计和实现。

MovieLens 数据集

在开始之前,我们先来认识一个知名的数据集,MovieLens。你可以在它的主页查看详细的信息。这个数据集最核心的内容是多位用户对不同电影的评分,此外,它也包括了一些电影和用户的属性信息,便于我们研究推荐结果是不是合理。因此,这个数据集经常用来做推荐系统、或者其他机器学习算法的测试集。
时至今日,这个数据集已经延伸出几个不同的版本,有不同的数据规模和更新日期。我这里使用的是一个最新的小规模数据集,包含了 600 位用户对于 9000 部电影的约 10 万条评分,最后更新于 2018 年 9 月。你可以在这里下载:http://files.grouplens.org/datasets/movielens/ml-latest-small.zip
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《程序员的数学基础课》,如需阅读全部文章,
请订阅文章所属专栏。
立即订阅
登录 后留言

精选留言(4)

  • qinggeouye
    # 优化了一下,运行时间减少一半以上
    # https://github.com/qinggeouye/GeekTime/blob/master/MathematicProgrammer/49_recommendSystem/lesson49_2.py

    import numpy as np
    import pandas as pd
    from sklearn.preprocessing import scale
    import time

    """
    对 lesson49_1.py 优化:矩阵操作
    """
    # 运行开始时间
    time_start = time.time()

    # 加载用户对电影对评分数据
    df = pd.read_csv("ml-latest-small/ratings.csv")

    # 获取用户对数量和电影对数量
    user_num = df["userId"].max()
    movie_num = df["movieId"].max()

    # 构造用户对电影的二元关系矩阵
    user_rating = np.zeros((user_num, movie_num))
    # 由于用户和电影的 ID 都是从 1 开始,为了和 Python 的索引一致,减去 1
    df["userId"] = df["userId"] - 1
    df["movieId"] = df["movieId"] - 1
    for index in range(user_num):
        user_rating[index][df[df["userId"] == index]["movieId"]] = df[df["userId"] == index]["rating"]

    # 把二维数组转化为矩阵
    x = np.mat(user_rating)
    # 对每一行对数据,进行标准化
    x_s = scale(x, with_mean=True, with_std=True, axis=1)

    # 获取 XX'
    y = x_s.dot(x_s.transpose())
    # 夹角余弦的分母
    v = np.zeros((np.shape(y)[0], np.shape(y)[1]))
    v[:] = np.diag(y)
    # 获用户相似度矩阵 US , 对应位置上元素相除
    us = y/v

    # 通过用户之间的相似度,计算 USP 矩阵
    usp = np.mat(us).dot(x_s)

    # 求用于归一化的分母 按行求和
    usr = np.sum(us, axis=1)

    # 进行元素对应的除法 归一化
    p = np.divide(usp, np.mat(usr).transpose())

    # 运行结束时间
    time_end = time.time()

    print(p)
    print(np.shape(p))

    print("程序运行耗时:", time_end - time_start)

    作者回复: 感谢代码的优化🙏

    2019-04-21
    4
  • CarreyWang
    您好,对于上面的代码有三个问题
    第一:
    # 设置用户对电影的评分
        i += 1
        if i % 10000 == 0:
            print(i)
    这里仅仅是为了打印出i吗??

    第二:
    计算矩阵时直接运行会有分母为0的情况导致报错。

    第三:
    最后一行代码是不是写错了??少个括号把。。。
    p = divide(usp, mat(usr).transpose()

    作者回复: 第1个只是为了显示加载进度,因为在我的机器上有点慢。
    第2个是很好的点,可以让分母加一个很小的值避免分母为0
    第3个确实漏了一个括号,回头补上

    感谢看得这么仔细,帮我找出了2个笔误 🤝

    2019-04-08
    3
  • Paul Shan
    原始推荐数据可以找出用户之间的相似度,再求出所有用户对任意电影的评价,进而补上那些原始推荐数据中没有的配对。
    2019-10-18
  • 冄~
    老师好,感觉按照公式来看,USR作为分母,第一行应该是US的第一行元素求和(1+0.482+0.671+0=2.153),而不是USP的第一行求和(0.500+0.790+0.496=1.786)。否则会像文中一样,p矩阵每行求和为1也是因为USR这样计算导致的。代码部分usr[userId] = sum(us[userId])应该是对的。不知我理解得对不对?

    作者回复: 我回头仔细看一下,可能是个笔误

    2019-04-28
    1
收起评论
4
返回
顶部