076 | 基于深度学习的推荐模型之一：受限波兹曼机
洪亮劼
该思维导图由 AI 生成，仅供参考
这几周我们进入专栏里一个比较大的模块，那就是推荐系统。
上周，我们谈了现代推荐系统的架构体系，帮助你在宏观上对推荐系统的构建有一个更加完整的认识。这周，我们主要来看在推荐系统研究领域里一个比较前沿的话题，那就是如何利用深度学习来提升推荐系统的精度。
今天，我们首先来看一篇经典的文章《受限波兹曼机进行协同过滤》（Restricted Boltzmann machines for collaborative filtering）[1]，这篇文章尝试使用受限波兹曼机（Restricted Boltzmann Machines），简称 RBM，来对推荐系统进行建模。这应该是最早把深度学习应用到推荐建模的典范。
受限波兹曼机（RBM）
从严格意义上讲，RBM 自身并不是深度模型，在早期对于 RBM 的使用上，也并没有将其“累加”到很多层从而形成“深度 RBM”（Deep RBM）。但是从建模思路上来说，由一层 RBM 到多层 RBM 的扩展其实是非常直接的，因此了解 RBM 的基本思路，对后面理解推荐系统中如何利用深度学习模型进行建模是很有帮助的。
今天我们要介绍的文章发表于 2007 年的 ICML（International Conference on Machine Learning，国际机器学习大会）上。作者群是鲁斯兰·萨拉胡特蒂诺夫（Ruslan Salakhutdinov）、安德烈·尼哈（ Andriy Mnih）以及杰弗里·辛顿（Geoffrey Hinton）。
辛顿在近日常常被称作深度学习之父。他不仅算是波兹曼机（Boltzmann Machines）的重要发明人和推动者之一，也和其学生一起把 RBM 应用到各类数据上，比如 RBM 在推荐领域的尝试。
2007 年的时候，Netflix 大赛如火如荼，很多学者都希望把各种模型和思路应用到这个比赛中。而在这个大赛中，有三个重要的思想脱颖而出，影响了后来推荐系统的研究发展。这三个思想分别是：
基于矩阵分解的模型；
基于 RBM 的模型；
利用集成学习（Ensemble Learning）把大量不同的模型整合起来。
由此可见，RBM 对于推荐系统的尝试在当时是非常有新意的。
第一作者鲁斯兰当时在多伦多大学攻读计算机博士，跟随辛顿研究深度学习模型。另外一篇他当时做的工作，是把贝叶斯矩阵分解利用到 Netflix 大赛中，和我们今天讨论的这篇论文一起，都是他在博士阶段对于推荐系统这个领域所做的重要贡献。目前鲁斯兰在卡内基梅隆大学任教，并兼任苹果公司的人工智能总监一职。
那什么是 RBM 呢？简单说来，RBM 就是由一层隐单元（Hidden Unit）和一层显单元（Visible Unit）组成的神经网络结构。通常情况下，显单元和隐单元这两层之间是完全连通的。也就是说，对于每一个显单元来说，它都和所有的隐单元联系到一起。
每个隐单元和显单元自身都有一个权重（Weight），并且在每对隐单元和显单元之间的连接上还有一个权重。所有这些权重都是需要通过训练学习的未知参数。举例来说，如果我们有 3 个显单元（用于描述 3 个数据点），5 个隐单元。那么我们就有 3 个权重对应 3 个显单元，有 5 个权重对应 5 个隐单元，然后有 15（3*5）个连接权重，这样算下来一共是 23 个权重。RBM 可以针对高斯信号，也就是实数信息，以及伯努利或者二项分布（Binomial Distribution）信号，也就是离散信息，进行建模。
受限波兹曼机在推荐上的应用
当我们对 RBM 有了一个基本的了解之后，我们来看 RBM 是怎么应用到推荐系统上的。为了讲解方便，我们这里使用 Netflix 的例子，也就是对“用户为电影打分”进行建模。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
深度学习在推荐系统中的应用备受关注，其中受限波兹曼机（RBM）作为一种经典的深度学习模型，被用于推荐系统的建模。RBM由一层隐单元和一层显单元组成，通过学习权重参数来对用户对电影的评分进行建模。在推荐系统中，每个用户都有一个独立的RBM来建模其对电影的偏好，而不同用户的RBM之间并不直接关联。然而，对于未知的电影评分预测仍然存在挑战，需要通过学习未知的权重参数来提高模型的准确性。 RBM在Netflix数据集上展现出了出色的效果，超越了传统的矩阵分解方法，成为推荐系统领域的重要研究方向。然而，RBM的学习过程并不直接使用传统的最大似然法或递归下降方法，而是采用了对比散度（Contrastive Divergence）方法进行参数学习。这种方法的成功应用为后续的深度学习模型在推荐系统中的应用奠定了基础。 总的来说，本文介绍了RBM在推荐系统中的基本原理和应用，展示了深度学习模型在推荐系统中的潜力。未来，可以探索如何在RBM中整合更多的用户信息或电影信息，以进一步提升推荐系统的性能。深度学习模型在推荐系统中的应用将会是一个备受关注的研究领域，为推荐系统的发展带来新的可能性。
仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《AI 技术内参》，新⼈⾸单¥98
《AI 技术内参》，新⼈⾸单¥98
立即购买
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(1)
- 最新
- 精选
林彦可以通过条件受限玻尔兹曼机引入一个表示用户特征，并把它与隐单元建立全连接。还有通过朴素贝叶斯引入用户和电影特征的。2018-04-09
收起评论