16 | 深度学习革命：深度学习推荐模型发展的整体脉络是怎样的？
该思维导图由 AI 生成，仅供参考
荧光笔
直线
曲线- 深入了解
- 翻译
- 解释
- 总结
深度学习在推荐系统中的应用已成为互联网巨头推荐业务的主流。本文详细阐述了深度学习模型对推荐系统的影响，包括强拟合能力和灵活性两方面。深度学习模型通过增强拟合能力，如NeuralCF模型中的多层神经网络取代简单的点积方式，解决了模型欠拟合的问题。其结构的灵活性使其能够模拟用户行为，如阿里的DIN和DIEN模型引入了注意力机制和兴趣演化模拟，更好地预测用户兴趣变迁。这些特点使得深度学习推荐模型在业界得到广泛应用，并对算法工程师提出更高的要求。文章还介绍了深度学习模型的演化过程和改进方向，以及对推荐效果的影响因素。总的来说，深度学习推荐模型的发展快、思路广，但每种模型都有其发展脉络。建立深度学习模型的知识库对算法工程师来说是非常必要的。
《深度学习推荐系统实战》，新⼈⾸单¥68
全部留言(15)
- 最新
- 精选
Eio请问老师 深度模型中怎么没有xDeepFM模型呢 我看它在学术界的评价要比deepfm好 但是工业界综合各个方面的因素是不是效果并不理想呢作者回复: 没有特殊的原因，xDeepFM也非常好，我们没必要也没有空间把所有模型都覆盖到。因为xDeepFM也属于FM+DNN的一个衍生模型。 而且不要过度迷信这些paper里面的效果，外界的传言，自己在自己的数据上判断，用不同结构去做试验，得出最终solid的结论，做算法工程师有时候要自信一些，没有人比你自己更了解你要解决的问题。
2020-11-11438
Dikiwi算法选型一定是与业务相关的，按照老师的说法就是没有银弹。比如阿里的购买序列是具有一定的所谓演化的概念的，但不适合feed信息流，feed的兴趣相对会比较稳定。但在结合业务特点情况下选择以后的模型优化好了是大概率有不错的效果提升的。 个人觉得深度学习可以根据业务特点灵活定制模型结构的是其最具有魔力的地方。作者回复: 说的太好了，关于信息流和电商的思考也很好，推荐其他同学参考。
2020-11-11335- 傻老师，想请教下，一般深度学习线上serving的方式是怎么来做的呢，如果用原生的tf-serving的方式，耗时有点久（80-300ms不等）
作者回复: 之前我们有专门的一节课讲model serving，介绍了四五种方法，就是我们现在最主流的方式。 谈到tf serving，确实有这个问题，我们实践中同样有这个问题。就两种主流方案，一种是把模型拆了，复杂部分离线算，线上部分保持简单结构，用embedding连接两部分。 第二种是魔改tf serving，需要从源码入手，把其中一些复杂运算和没必要的操作去掉。
2020-11-2721 
Alan答：肯定不是这么理解的。我的理解：适合算法（选型、调参）+数据结构（数据准备）+业务场景（流程变动）=推荐系统优化。 首先从算法自身，在MLP层数是较多情况下，模型复杂度越高越精确，相对计算时间也越长久，但是实际的业务与数据，只需要2层的MLP，那么还不如Emmbedding+MLP简单层效果。 其次业务场景出发，不是所有的算法都是公司的业务，现有公司的业务数据就是这样，DIEN模型是因为阿里具有强大的大数据采集处理能力平台架构，用户行为变化的能力可以完全捕捉，才能实现Attention机制深度推荐系统，那么你公司现有架构能有这样超强能力吗？ 最后，算法千千万，业务效益为王！了解各个算法的特性原理是每个算法工程师必修道路！作者回复: 说的非常好，推荐所有其他同学参考。
2021-03-17218
Abigail深度模型结构和公司推荐系统的效果之间没有直接的因果关系。 归根结底，这个世界数据为王，优秀的数据源+基于业务的特征工程足可以抹平一些“高级”深度模型带来的优势。当然推荐系统算法工程师肯定是想不断的尝试新的技术，毕竟工作和产品是公司的，事业和技术是自己的。但是，产品经理和项目经理不是这么想的，提高利润，降低成本，这是他们的业绩指标也是公司的核心利益。 所以一定要和团队上下把产品的优化目标协商好，不然就是出力不讨好了，工作成果得不到认可，这种挫败感可不好受。 要反复确定系统的评价指标，这个对系统的运维很重要。然后设计模型落地部署，做AB测试，用实际的运行结果说话，这样大家可以相互理解，管理团队和研发团队也都顺心。作者回复: 说的非常好，推荐其他同学关注学习。
2021-05-02215
王继伟请问老师，DIN模型中的注意力激活单元（两个输入向量拼合两个输入向量的差，然后输入到全连阶层）的设计思路是基于什么呀？两个向量按元素相减代表什么，为什么要这样设计？作者回复: 其实只是创造一些两个embedding交互的操作，不要过多寻求可解释性的东西。强行解释的话，element wise minus也是一种表达相似度的操作。
2021-02-1328
小匚从数据输入看，对数据源的处理（特征选择）也是一个难点。尽管处理特征的能力在深度学习背景下变强，但依然需要将不同语义下的数据汇总到一起。 另外，从影响因素来说，用户购买行为依然有一部分随机因素难以捕捉到，或者说不同的人受影响的随机因素不同。有的人心情不好就喜欢买奇奇怪怪的东西，那机器有办法捕捉到心情的特征吗？有的人随着年龄见识的增长，频繁购买的东西类别也会发生变化。还有一种情况，我帮朋友代买了一次，但是系统认为是我本人的行为，所以后面如果给我推荐类似产品会效果变差（超出机器范围……不会考虑在模型里）作者回复: 确实存在这个问题，但我要说的是既然是做机器学习，我们只能从统计的角度理解问题，这些special case确实会损伤模型效果，但没办法，有时候我们不能钻牛角尖。 当然，对于特征的处理我完全赞同，即使在深度学习背景下，特征的挑选，预处理仍然重要，数据和特征是上限，模型结构只是逼近这个上限。
2020-11-118
超~~老师你好，关于阿里的EGES，怎么通过训练得到的item embedding ，得出user的embedding？可以直接avg么，谢谢老师作者回复: 这个我们之前应该介绍过，item emb通过item2vec预训练，user embedding可以通过avg得到。 第二种方法是放到EGES中，加入item emb layer和user emb layer，做end2end训练。
2020-11-117
范闲数据、业务和业务指标的特点决定选择什么样的模型，对模型结构做什么样的修改。因地制宜才符合工业界推荐系统的演化标准作者回复: 是这样
2020-12-022
那时刻老师提到深度学习模型可以大大增加模型的“非线性”拟合能力，对复杂数据模型进行更准确的分类，避免“欠拟合”现象的发生。请问对于过拟合，深度学习模型又怎么避免和处理呢？是通过处理超参数么？作者回复: 过拟合说明深度学习模型过于复杂了，可以通过减少模型层数，每层的神经元数量，采用dropout，增加L1正则化项等方式解决。具体的方法篇幅原因不展开讲，推荐去搜一下就清楚了。
2020-11-1222