015 | WSDM 2018论文精读：深度学习模型中如何使用上下文信息？
洪亮劼
今天，我们继续来精读 WSDM 2018 的一篇论文《隐含交叉：在循环推荐系统中利用上下文信息》（Latent Cross: Making Use of Context in Recurrent Recommender Systems）。这篇文章同样出自谷歌团队，其核心思想是希望通过深度模型来模拟并实现在推荐系统中广泛使用的“交叉特征”（Cross Feature）的效果。
作者群信息介绍
这篇论文的所有作者都来自谷歌，我们这里对其中的主要作者做一个简单介绍。
文章的第一作者亚力克斯·布伦特（Alex Beutel）是谷歌的资深科学家，于 2016 年加入谷歌。布伦特毕业于卡内基梅隆大学，获得计算机科学博士学位，师从机器学习的权威亚力克斯·斯莫拉（Alex Smola）。
最后一位作者艾德·池（Ed H. Chi）是谷歌的主任科学家，他拥有 39 项专利，已经发表了 110 多篇论文。在加入谷歌之前，池是帕罗奥图（Palo Alto）研究中心的主任研究员。池毕业于明尼苏达大学，获得计算机科学博士学位。
论文的主要贡献
我们首先来看这篇文章的主要贡献，梳理文章主要解决了一个什么场景下的问题。
推荐系统经常需要对当下的场景进行建模，有时候，这些场景被称作“上下文”（Context）。在过去比较传统的方法中，已经有不少方法是探讨如何利用上下文信息进行推荐的，比如使用“张量”（Tensor）的形式进行建模；还有一些方法是利用对时间特性的把握，从而对上下文信息进行处理。
近些年，随着深度学习的发展，越来越多的深度学习模型被应用到推荐系统领域中，但还没有直接探究如何在深度学习模型中使用上下文。这篇文章就想在这一方面做一个尝试。
这里面有一个比较棘手的问题。过去，这样的上下文常常使用“交叉特性”，也就是两个特征的乘积成为一个新的特征。这样的方法在矩阵分解或者张量分解的模型中得到了非常广泛的使用。然而在深度学习中，过去的经验是不直接使用这样的特性。但是，在上下文非常重要的推荐系统中，不使用交叉特性的的结果，往往就是效果不尽如人意。
这篇文章提出了一个叫“隐含交叉”（Latent Cross）的概念，直接作用在嵌入（Embedding）这一层，从而能够在深度模型的架构上模拟出“交叉特性”的效果。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《AI 技术内参》，新⼈⾸单¥98
《AI 技术内参》，新⼈⾸单¥98
立即购买
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(3)
- 最新
- 精选
彭涛感觉交叉特性需要使用带有反馈的神经网络来实现，例如RNN或LSTM等，单纯的前馈神经网络估计效果会不好。
我在你的视线里建模和各类算法，就是寻找各个属性之间的联系，一个属性不可以完美呈现结果的时候，就和其他属性进行关联，寻找一个新的方向，从一维到二维，进行数据整理和统计，得到需要的目标，和目标检验。
无感觉简单的feedforward的dnn是较难很好捕捉类似笛卡尔积那种检查信息的，公式上和笛卡尔积的公司都不一样阿。不知是否正确，还请老师多多指教
收起评论