AI技术内参
洪亮劼
Etsy数据科学主管，前雅虎研究院资深科学家
立即订阅
8829 人已学习
课程目录
已完结 166 讲
0/6登录后，你可以任选6讲全文学习。
开篇词 (1讲)
开篇词 | 你的360度人工智能信息助理
免费
人工智能国际顶级会议 (31讲)
001 | 聊聊2017年KDD大会的时间检验奖
002 | 精读2017年KDD最佳研究论文
003 | 精读2017年KDD最佳应用数据科学论文
004 | 精读2017年EMNLP最佳长论文之一
005 | 精读2017年EMNLP最佳长论文之二
006 | 精读2017年EMNLP最佳短论文
007 | 精读2017年ICCV最佳研究论文
008 | 精读2017年ICCV最佳学生论文
009 | 如何将“深度强化学习”应用到视觉问答系统？
010 | 精读2017年NIPS最佳研究论文之一：如何解决非凸优化问题？
011 | 精读2017年NIPS最佳研究论文之二：KSD测试如何检验两个分布的异同？
012 | 精读2017年NIPS最佳研究论文之三：如何解决非完美信息博弈问题？
013 | WSDM 2018论文精读：看谷歌团队如何做位置偏差估计
014 | WSDM 2018论文精读：看京东团队如何挖掘商品的替代信息和互补信息
015 | WSDM 2018论文精读：深度学习模型中如何使用上下文信息？
016 | The Web 2018论文精读：如何对商品的图片美感进行建模？
017 | The Web 2018论文精读：如何改进经典的推荐算法BPR？
018 | The Web 2018论文精读：如何从文本中提取高元关系？
019 | SIGIR 2018论文精读：偏差和“流行度”之间的关系
020 | SIGIR 2018论文精读：如何利用对抗学习来增强排序模型的普适性？
021 | SIGIR 2018论文精读：如何对搜索页面上的点击行为进行序列建模？
022 | CVPR 2018论文精读：如何研究计算机视觉任务之间的关系？
023 | CVPR 2018论文精读：如何从整体上对人体进行三维建模？
024 | CVPR 2018论文精读：如何解决排序学习计算复杂度高这个问题？
025 | ICML 2018论文精读：模型经得起对抗样本的攻击？这或许只是个错觉
026 | ICML 2018论文精读：聊一聊机器学习算法的“公平性”问题
027 | ICML 2018论文精读：优化目标函数的时候，有可能放大了“不公平”？
028 | ACL 2018论文精读：问答系统场景下，如何提出好问题？
029 | ACL 2018论文精读：什么是对话中的前提触发？如何检测？
030 | ACL 2018论文精读：什么是“端到端”的语义哈希？
复盘 7 | 一起来读人工智能国际顶级会议论文
搜索核心技术 (28讲)
031 | 经典搜索核心算法：TF-IDF及其变种
032 | 经典搜索核心算法：BM25及其变种（内附全年目录）
033 | 经典搜索核心算法：语言模型及其变种
034 | 机器学习排序算法：单点法排序学习
035 | 机器学习排序算法：配对法排序学习
036 | 机器学习排序算法：列表法排序学习
037 | “查询关键字理解”三部曲之分类
038 | “查询关键字理解”三部曲之解析
039 | “查询关键字理解”三部曲之扩展
040 | 搜索系统评测，有哪些基础指标？
041 | 搜索系统评测，有哪些高级指标？
042 | 如何评测搜索系统的在线表现？
043 | 文档理解第一步：文档分类
044 | 文档理解的关键步骤：文档聚类
045 | 文档理解的重要特例：多模文档建模
046 | 大型搜索框架宏观视角：发展、特点及趋势
047 | 多轮打分系统概述
048 | 搜索索引及其相关技术概述
049 | PageRank算法的核心思想是什么？
050 | 经典图算法之HITS
051 | 社区检测算法之“模块最大化 ”
052 | 机器学习排序算法经典模型：RankSVM
053 | 机器学习排序算法经典模型：GBDT
054 | 机器学习排序算法经典模型：LambdaMART
055 | 基于深度学习的搜索算法：深度结构化语义模型
056 | 基于深度学习的搜索算法：卷积结构下的隐含语义模型
057 | 基于深度学习的搜索算法：局部和分布表征下的搜索模型
复盘 1 | 搜索核心技术模块
推荐系统核心技术 (22讲)
058 | 简单推荐模型之一：基于流行度的推荐模型
059 | 简单推荐模型之二：基于相似信息的推荐模型
060 | 简单推荐模型之三：基于内容信息的推荐模型
061 | 基于隐变量的模型之一：矩阵分解
062 | 基于隐变量的模型之二：基于回归的矩阵分解
063 | 基于隐变量的模型之三：分解机
064 | 高级推荐模型之一：张量分解模型
065 | 高级推荐模型之二：协同矩阵分解
066 | 高级推荐模型之三：优化复杂目标函数
067 | 推荐的Exploit和Explore算法之一：EE算法综述
068 | 推荐的Exploit和Explore算法之二：UCB算法
069 | 推荐的Exploit和Explore算法之三：汤普森采样算法
070 | 推荐系统评测之一：传统线下评测
071 | 推荐系统评测之二：线上评测
072 | 推荐系统评测之三：无偏差估计
073 | 现代推荐架构剖析之一：基于线下离线计算的推荐架构
074 | 现代推荐架构剖析之二：基于多层搜索架构的推荐系统
075 | 现代推荐架构剖析之三：复杂现代推荐架构漫谈
076 | 基于深度学习的推荐模型之一：受限波兹曼机
077 | 基于深度学习的推荐模型之二：基于RNN的推荐系统
078 | 基于深度学习的推荐模型之三：利用深度学习来扩展推荐系统
复盘 2 | 推荐系统核心技术模块
广告系统核心技术 (18讲)
079 | 广告系统概述
080 | 广告系统架构
081 | 广告回馈预估综述
082 | Google的点击率系统模型
083 | Facebook的广告点击率预估模型
084 | 雅虎的广告点击率预估模型
085 | LinkedIn的广告点击率预估模型
086 | Twitter的广告点击率预估模型
087 | 阿里巴巴的广告点击率预估模型
088 | 什么是“基于第二价位的广告竞拍”？
089 | 广告的竞价策略是怎样的？
090 | 如何优化广告的竞价策略？
091 | 如何控制广告预算？
092 | 如何设置广告竞价的底价？
093 | 聊一聊“程序化直接购买”和“广告期货”
094 | 归因模型：如何来衡量广告的有效性
095 | 广告投放如何选择受众？如何扩展受众群？
096 | 如何利用机器学习技术来检测广告欺诈？
自然语言处理及文本处理核心技术 (0讲)
该章节暂未更新内容，敬请期待
计算机视觉核心技术 (0讲)
该章节暂未更新内容，敬请期待
数据科学家与数据科学团队养成 (0讲)
该章节暂未更新内容，敬请期待
热点话题讨论 (0讲)
该章节暂未更新内容，敬请期待
结束语 (0讲)
该章节暂未更新内容，敬请期待
AI技术内参
登录|注册
076 | 基于深度学习的推荐模型之一：受限波兹曼机
洪亮劼 2018-04-09
这几周我们进入专栏里一个比较大的模块，那就是推荐系统。
上周，我们谈了现代推荐系统的架构体系，帮助你在宏观上对推荐系统的构建有一个更加完整的认识。这周，我们主要来看在推荐系统研究领域里一个比较前沿的话题，那就是如何利用深度学习来提升推荐系统的精度。
今天，我们首先来看一篇经典的文章《受限波兹曼机进行协同过滤》（Restricted Boltzmann machines for collaborative filtering）[1]，这篇文章尝试使用受限波兹曼机（Restricted Boltzmann Machines），简称 RBM，来对推荐系统进行建模。这应该是最早把深度学习应用到推荐建模的典范。
受限波兹曼机（RBM）
从严格意义上讲，RBM 自身并不是深度模型，在早期对于 RBM 的使用上，也并没有将其“累加”到很多层从而形成“深度 RBM”（Deep RBM）。但是从建模思路上来说，由一层 RBM 到多层 RBM 的扩展其实是非常直接的，因此了解 RBM 的基本思路，对后面理解推荐系统中如何利用深度学习模型进行建模是很有帮助的。
今天我们要介绍的文章发表于 2007 年的 ICML（International Conference on Machine Learning，国际机器学习大会）上。作者群是鲁斯兰·萨拉胡特蒂诺夫（Ruslan Salakhutdinov）、安德烈·尼哈（ Andriy Mnih）以及杰弗里·辛顿（Geoffrey Hinton）。
辛顿在近日常常被称作深度学习之父。他不仅算是波兹曼机（Boltzmann Machines）的重要发明人和推动者之一，也和其学生一起把 RBM 应用到各类数据上，比如 RBM 在推荐领域的尝试。
2007 年的时候，Netflix 大赛如火如荼，很多学者都希望把各种模型和思路应用到这个比赛中。而在这个大赛中，有三个重要的思想脱颖而出，影响了后来推荐系统的研究发展。这三个思想分别是：
基于矩阵分解的模型；
基于 RBM 的模型；
利用集成学习（Ensemble Learning）把大量不同的模型整合起来。
由此可见，RBM 对于推荐系统的尝试在当时是非常有新意的。
第一作者鲁斯兰当时在多伦多大学攻读计算机博士，跟随辛顿研究深度学习模型。另外一篇他当时做的工作，是把贝叶斯矩阵分解利用到 Netflix 大赛中，和我们今天讨论的这篇论文一起，都是他在博士阶段对于推荐系统这个领域所做的重要贡献。目前鲁斯兰在卡内基梅隆大学任教，并兼任苹果公司的人工智能总监一职。
那什么是 RBM 呢？简单说来，RBM 就是由一层隐单元（Hidden Unit）和一层显单元（Visible Unit）组成的神经网络结构。通常情况下，显单元和隐单元这两层之间是完全连通的。也就是说，对于每一个显单元来说，它都和所有的隐单元联系到一起。
每个隐单元和显单元自身都有一个权重（Weight），并且在每对隐单元和显单元之间的连接上还有一个权重。所有这些权重都是需要通过训练学习的未知参数。举例来说，如果我们有 3 个显单元（用于描述 3 个数据点），5 个隐单元。那么我们就有 3 个权重对应 3 个显单元，有 5 个权重对应 5 个隐单元，然后有 15（3*5）个连接权重，这样算下来一共是 23 个权重。RBM 可以针对高斯信号，也就是实数信息，以及伯努利或者二项分布（Binomial Distribution）信号，也就是离散信息，进行建模。
受限波兹曼机在推荐上的应用
当我们对 RBM 有了一个基本的了解之后，我们来看 RBM 是怎么应用到推荐系统上的。为了讲解方便，我们这里使用 Netflix 的例子，也就是对“用户为电影打分”进行建模。
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《AI技术内参》，如需阅读全部文章，
请订阅文章所属专栏。
请订阅文章所属专栏。
立即订阅
登录 后留言
精选留言(1)
林彦可以通过条件受限玻尔兹曼机引入一个表示用户特征，并把它与隐单元建立全连接。还有通过朴素贝叶斯引入用户和电影特征的。2018-04-09
收起评论