深度学习推荐系统实战
王喆
Roku 推荐系统架构负责人,前 hulu 高级研究员,《深度学习推荐系统》作者
33298 人已学习
新⼈⾸单¥68
登录后,你可以任选4讲全文学习
课程目录
已完结/共 44 讲
深度学习推荐系统实战
15
15
1.0x
00:00/00:00
登录|注册

31|模型迭代:阿里巴巴是如何迭代更新推荐模型的?

加入三层序列模型结构处理用户历史行为序列
从不同角度改进推荐模型
持续挖掘用户行为信息
DICM(Deep Image CTR Model)
加入多条平行的兴趣演化路径
重新分析问题,找到新的改进点
怀疑自我能力
DIEN模型
注意力机制计算历史行为和候选广告物品关系
SUM Pooling层处理用户历史购买商品Embedding
用户历史行为特征处理
进一步改进MIMN模型的可能性
深化演进和广度扩展的迭代思路
广度扩展思路
深化演进思路
多目标优化模型ESMM
针对商品图片信息进行建模
新模型改进思路:多通道兴趣记忆网络MIMN
模型迭代困难
进一步改进:引入购买时间信息
改进方向:引入注意力机制
Base Model
预测广告点击率的重要性
按照CPC付费的广告模型构建重点
广告推荐模型构建关键点
课后思考
小结
我们能学到什么?
阿里妈妈的其他创新点
阿里妈妈深度推荐模型的进化过程
阿里妈妈推荐系统的应用场景

该思维导图由 AI 生成,仅供参考

你好,我是王喆。
前两天,我问了我团队中推荐工程师们一个问题,“你们觉得在推荐系统领域工作,最大的挑战是什么?”。有的人说是模型调参,有的人说是工程落地,有的人说是找到下一步改进的思路。那现在听到这个问题的你,认为会是什么呢?
其实,刚才的这些回答都很好。不过,我的想法和大家稍有不同,我认为工作中最大的挑战就是,不断地优化整个推荐系统的架构,做到持续的效果提升和高质量的模型迭代。这是因为,从我们成为一名算法工程师的第一天开始就在不断面临挑战,不仅要跟别人赛跑,也要跟自己赛跑,而超越过去的自己往往是最难的。
那这节课,我就以阿里妈妈团队的经验为例,带你看一看业界一线的团队是如何实现模型的持续迭代创新,做到好上加好的。在学习这节课的时候,我再给你一点小建议,不要纠结于每个模型的细节,而是要多体会阿里的工程师是如何定位创新点的。

阿里妈妈推荐系统的应用场景

阿里妈妈是阿里巴巴集团的营销广告团队,他们负责了阿里大部分广告推荐系统的工作。下图 1 就是一个阿里妈妈典型的广告推荐场景。
这是我在手机淘宝上搜索了“篮球鞋”之后,App 给我推荐的一个商品列表。其中,第一个搜索结果的左上角带着 HOT 标识,左下角还有一个比较隐蔽的灰色“广告”标识。那带有这两个标志的,就是阿里妈妈广告推荐系统推荐的商品啦。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结

阿里妈妈团队在推荐系统领域持续优化模型的方法和效果展现了令人瞩目的成果。他们通过不断迭代和创新,实现了推荐模型的持续优化。文章首先介绍了阿里妈妈推荐系统的应用场景,重点在于准确预测广告商品的点击率,以提高广告系统的收益。随后详细阐述了阿里妈妈深度推荐模型的进化过程,从Base Model到DIEN模型再到MIMN模型,不断引入新的技术和模型结构来处理用户历史行为,提高模型的表达能力和数据挖掘能力。此外,阿里团队还在多个方向上进行了研究,如处理CTR预估和CVR预估问题的多目标优化模型ESMM。文章总结了阿里妈妈模型的发展过程,分为深化演进和广度扩展两个维度,展示了团队对用户行为信息的深入挖掘和多角度改进推荐模型的努力。这些经验不仅为推荐系统领域的从业者提供了宝贵的参考,也为技术工程师们提供了启发,鼓励他们跳出局限,从不同角度改进推荐模型,实现系统整体效果的提高。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《深度学习推荐系统实战》
新⼈⾸单¥68
立即购买
登录 后留言

全部留言(13)

  • 最新
  • 精选
  • 张弛 Conor
    思考题:我在想,当前模型在考虑用户历史行为信息时,只考虑了用户的点击行为,能否将特定的曝光行为也考虑进去呢?比如,历史曝光过得广告商品,或曝光时间较长的商品。这样做,不仅可以做更深层次的兴趣挖掘,还可以尝试去做兴趣培养。就像对于某音某手的平台,人们往往诟病的是推荐算法让人变得更极端,推荐算法能否挖掘出或识别出能够改变人兴趣或观点的item呢?

    作者回复: 这是一个非常好的点,其实有点类似于我们经常说的疲劳度,或者探索的思想。 我记得YouTube那个模型中我讲过,它放入了曝光item的次数这个feature,其实就是想让它发挥一个负相关的作用,尽量去推荐新的视频。 我想这类曝光ID类的feature就是要告诉模型说,我们这个item已经推荐的够多了,不用再继续推荐了。

    2020-12-25
    24
  • 顾小平
    多模态建模是啥意思呢?有没有比较通俗的例子呢?

    作者回复: 多模态指文字,图片,视频,行为数据等不同模态的数据形式。

    2021-01-23
    11
  • 那时刻
    课后思考题,感觉还可以利用用户的浏览记录,搜索记录,以及用户与朋友之间推荐分享记录。

    作者回复: 非常好,这是扩充特征的思路。其实阿里模型中用到的特征确实不能算多,可以考虑引入更多交互行为和相关特征。

    2020-12-25
    10
  • Geek_b86285
    老师您好,能否讲讲你的团队在Roku搭建推荐系统过程中的经验。如何从0到1不断迭代,其中遇到过哪些问题和挑战,又是怎么解决的呢?想听听您从事这行的经验

    作者回复: 经验都融合到每一讲的知识和方法论中了,不会具体介绍我们公司的经验。

    2020-12-25
    5
  • 你笑起来真好看
    使用了深度学习模型之后,比如历史点击特征,传统的机器模型需要我们手动提取特征。而深度模型值需要吧序列的itemid输入就好。是不是说 有了深度模型,传统机器学习特征工程就不需要做了呢?

    作者回复: 这是深度学习的优势之一。但其实做到最后还是要很深刻的特征处理的功力才能真正把模型做好,工作中慢慢积累慢慢体会吧。

    2021-02-07
    4
  • 小匚
    有一个问题,平时其实会推荐与购物车/收藏夹相似的商品,这部分推荐是否已经应用到实践中了?仔细看了一下文中确实是只用了历史购买信息。 个人体验会过一个月啊过半年的更新购物车内容。收藏夹的东西大部分是好友分享同时自己也感兴趣的。 还有喜欢节日购物的还是那种不敏感的。不知道这个是不是已经包含在历史特征里了。

    作者回复: 很好的观察。其实你不用管阿里到底有没有用这些信息。毫无疑问这些行为是有价值的,特别是添加到购物车这个信号。在自己的实践中完全可以去思考自己场景下有用的特征,有用的信号有哪些,然后尝试引入这些特征,观察效果。

    2020-12-25
    3
  • Geek_8a732a
    用户的点赞、收藏、分享行为,还有加入购物车的行为,是不是可以增加一些这类商品的权重?比如已加购物车的商品,想买还没买的,可能是品牌或者价格的因素导致用户没有下单,是不是可以推荐类似的商品。

    作者回复: 是的,类似的用户行为也可以反应用户兴趣,可以考虑在模型中增加相应结构。

    2021-08-23
    2
  • 硕
    2.还有什么方式能够进一步利用好用户行为信息?这里对于模型层面的积累比较浅薄所以没有什么思路,或许可以针对用户提前做一个分档,根据我们这儿的经验来说活跃用户和非活跃用户的行为表现存在很大差异,针对不同档位的用户分别训练不同的模型可能有更好的效果

    作者回复: 针对用户特征做聚类以及算法的分流,非常合理的思路。

    2021-07-28
    1
  • ALAN
    老师讲的非常好。这里有几个小问题,DIN网络训练时,N个商品的N是固定的吗?一般取多少?候选ID会放进去训练吗?输出的目标是什么?

    作者回复: 1、你觉得N取多少应该取决于什么? 2、候选集ID放进去训练这个问题不好,说明你没有理解DIN的原理 3、目标是预测点击这类正样本标签

    2020-12-25
    1
  • 硕
    1.可供挖掘的用户行为信息还是有不少的,比如用户点击浏览收藏搜索等行为,虽然不如购买这么强烈,但是胜在量大覆盖度广,比如用户近期的浏览行为可能会比1个月前的购买行为更有参考意义。同时还可以做一些用户和场景的交互,比如用户在服装类目下的活跃度购买力等特征,甚至可以单独构建模型来计算。

    作者回复: 非常好的思考

    2021-07-28
收起评论
显示
设置
留言
13
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部