49 | 推荐系统（上）：如何实现基于相似度的协同过滤？

# 优化了一下，运行时间减少一半以上 # https://github.com/qinggeouye/GeekTime/blob/master/MathematicProgrammer/49_recommendSystem/lesson49_2.py import numpy as np import pandas as pd from sklearn.preprocessing import scale import time """ 对 lesson49_1.py 优化：矩阵操作 """ # 运行开始时间 time_start = time.time() # 加载用户对电影对评分数据 df = pd.read_csv("ml-latest-small/ratings.csv") # 获取用户对数量和电影对数量 user_num = df["userId"].max() movie_num = df["movieId"].max() # 构造用户对电影的二元关系矩阵 user_rating = np.zeros((user_num, movie_num)) # 由于用户和电影的 ID 都是从 1 开始，为了和 Python 的索引一致，减去 1 df["userId"] = df["userId"] - 1 df["movieId"] = df["movieId"] - 1 for index in range(user_num): user_rating[index][df[df["userId"] == index]["movieId"]] = df[df["userId"] == index]["rating"] # 把二维数组转化为矩阵 x = np.mat(user_rating) # 对每一行对数据，进行标准化 x_s = scale(x, with_mean=True, with_std=True, axis=1) # 获取 XX' y = x_s.dot(x_s.transpose()) # 夹角余弦的分母 v = np.zeros((np.shape(y)[0], np.shape(y)[1])) v[:] = np.diag(y) # 获用户相似度矩阵 US , 对应位置上元素相除 us = y/v # 通过用户之间的相似度，计算 USP 矩阵 usp = np.mat(us).dot(x_s) # 求用于归一化的分母 按行求和 usr = np.sum(us, axis=1) # 进行元素对应的除法 归一化 p = np.divide(usp, np.mat(usr).transpose()) # 运行结束时间 time_end = time.time() print(p) print(np.shape(p)) print("程序运行耗时：", time_end - time_start)

不太理解USP这个矩阵的具体意义是什么，黄老师能不能给解释一下

老师好，感觉按照公式来看，USR作为分母，第一行应该是US的第一行元素求和（1+0.482+0.671＋0＝2.153），而不是USP的第一行求和（0.500+0.790+0.496=1.786）。否则会像文中一样，p矩阵每行求和为1也是因为USR这样计算导致的。代码部分usr[userId] = sum(us[userId])应该是对的。不知我理解得对不对？

推荐系统1学习

思考题： 基于物品的协同过滤的代码实现： # 前面的初始化步骤和评分标准化步骤和老师写的基于用户的协同过滤一致，不再重复 # 第一步：计算表示物品之间相似度的矩阵 IS # 由于内存不够，这里取所有用户对前100部电影的评价信息 x2_s = x_s[:,0:100] x2_s # 获取X'X y = (x2_s.transpose()).dot(x2_s) print("X'X的结果是'：", y) # 获得物品相似度矩阵IS IS = [[0.0] * movie_num for i in range(movie_num)] for movieId1 in range(movie_num): for movieId2 in range(movie_num): # 通过矩阵Y中的元素，计算夹角余弦 IS[movieId1][movieId2] = y[movieId1][movieId2] / sqrt((y[movieId1][movieId1] * y[movieId2][movieId2])) # 第二步：基于物品的协同过滤推荐 # 通过物品之间的相似度，计算ISP矩阵 ISP = x2_s.dot(mat(IS)) # 求用于归一化的分母 ISR = [0.0] * movie_num for movieId in range(movie_num): ISR[movieId] = sum(IS[movieId]) # 进行元素对应的除法，完成归一化 p = divide(ISP, mat(ISR)) print(p)

原始推荐数据可以找出用户之间的相似度，再求出所有用户对任意电影的评价，进而补上那些原始推荐数据中没有的配对。