深度学习推荐系统实战
王喆
Roku资深机器学习工程师,推荐系统架构负责人,前Hulu高级研究员,《深度学习推荐系统》作者
新⼈⾸单¥19.9
2602 人已学习
课程目录
已更新 10 讲 / 共 35 讲
0/4登录后,你可以任选4讲全文学习。
开篇词 (1讲)
开篇词|从0开始搭建一个深度学习推荐系统
免费
基础架构篇 (3讲)
01|深度学习推荐系统的经典技术架构长啥样?
02|Sparrow RecSys:我们要实现什么样的推荐系统?
03|深度学习基础:你打牢深度学习知识的地基了吗?
国庆策划 (2讲)
国庆策划 | 关于深度学习推荐系统,我有这些资料想推荐给你
国庆策划 | 深度学习推荐系统基础,你掌握了多少?
特征工程篇 (4讲)
04|特征工程:推荐系统有哪些可供利用的特征?
05|特征处理:如何利用Spark解决特征处理问题?
06|Embedding:所有人都在谈的Embedding技术到底是什么?
07|Embedding进阶:如何利用图结构数据生成Graph Embedding?
深度学习推荐系统实战
15
15
1.0x
00:00/00:00
登录|注册

07|Embedding进阶:如何利用图结构数据生成Graph Embedding?

王喆 2020-10-16
你好,我是王喆。
上一节课,我们一起学习了 Embedding 技术。我们知道,只要是能够被序列数据表示的物品,都可以通过 Item2vec 方法训练出 Embedding。但是,互联网的数据可不仅仅是序列数据那么简单,越来越多的数据被我们以图的形式展现出来。这个时候,基于序列数据的 Embedding 方法就显得“不够用”了。但在推荐系统中放弃图结构数据是非常可惜的,因为图数据中包含了大量非常有价值的结构信息。
那我们怎么样才能够基于图结构数据生成 Embedding 呢?这节课,我们就重点来讲讲基于图结构的 Embedding 方法,它也被称为 Graph Embedding。

互联网中有哪些图结构数据?

可能有的同学还不太清楚图结构中到底包含了哪些重要信息,为什么我们希望好好利用它们,并以它们为基础生成 Embedding?下面,我就先带你认识一下互联网中那些非常典型的图结构数据(如图 1)。
图1 互联网图结构数据
事实上,图结构数据在互联网中几乎无处不在,最典型的就是我们每天都在使用的社交网络(如图 1-a)。从社交网络中,我们可以发现意见领袖,可以发现社区,再根据这些“社交”特性进行社交化的推荐,如果我们可以对社交网络中的节点进行 Embedding 编码,社交化推荐的过程将会非常方便。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《深度学习推荐系统实战》,如需阅读全部文章,
请订阅文章所属专栏新⼈⾸单¥19.9
立即订阅
登录 后留言

精选留言(6)

  • 微波
    王老师,对于深度学习这块儿我是个新手,查找网上的东西真是太多了,好像说的都有道理,真是不知道该看些啥,能否推荐一些经典papers作为进一步学习的资料吗?十分感谢!

    作者回复: 推荐关注我的推荐系统paper list吧,经典的不能再经典了。https://github.com/wzhe06/Reco-papers

    2020-10-16
    4
  • 雪焰🐻🥑
    对于文中的:"“预训练应用”指的是在我们预先训练好物品和用户的 Embedding 之后,不直接应用,而是把这些 Embedding 向量作为特征向量的一部分,跟其余的特征向量拼接起来"
    请问老师,比如对文本的embedding x和图像的embedding y会是得到不同的维度,这种情况下怎么把x和y拼接起来输入DL 模型呢?直接concatenate么?不知道下节课会不会涉及到具体操作,谢谢老师!

    作者回复: 最直接的方式是直接concatenate 再交由后续多层神经网络处理。

    为了实现一些重点embedding之间的交叉,也可以进行多embedding之间的element wise交叉,或者一些乘积操作后输入后续mlp。

    基于emb的操作非常多,这里没有统一的答案,也是各种模型层出不穷的原因。

    2020-10-16
    1
  • 叫我小邬就好了
    王老师,请问有这些Embedding的代码实例吗,
    2020-10-18
  • 张弛 Conor
    Embedding预训练的优点:1.更快。因为对于End2End的方式,Embedding层的优化还受推荐算法的影响,这会增加计算量。2.难收敛。推荐算法是以Embedding为前提的,在端到端的方式中,在训练初期由于Embedding层的结果没有意义,所以推荐模块的优化也可能不太有意义,可能无法有效收敛。
    Embedding端到端的优点:可能收敛到更好的结果。端到端因为将Embedding和推荐算法连接起来训练,那么Embedding层可以学习到最有利于推荐目标的Embedding结果。
    2020-10-17
  • 远方蔚蓝
    老师后面会介绍一下GraphSAGE和GAT在推荐的应用与实践吗,业界现在用的挺多。

    作者回复: 会讲GraphSAGE的原理和细节。

    2020-10-16
  • Geek_63ee39
    “首先,为了使 Graph Embedding 的结果能够表达网络的“结构性”,在随机游走的过程中,我们需要让游走的过程更倾向于 BFS(Breadth First Search,宽度优先搜索)”
    这里应该是DFS吧?并且同质性是使用BFS

    作者回复: 这是非常常见的一个问题,也推荐其他有疑问的同学关注。

    推荐参考原文中的解释。

    We observe that BFS and DFS strategies play a key role in producing representations that reflect either of the above equivalences.

    In particular, the neighborhoods sampled by BFS lead to embeddings that correspond closely to structural equivalence.

    The opposite is true for DFS which can explore larger parts of the network as it can move further away from the source node u (with sample size k being fixed).

    In DFS, the sampled nodes more accurately reflect a macro-view of the neighborhood which is essential in inferring communities based on homophily.

    原文地址 https://github.com/wzhe06/Reco-papers/blob/master/Embedding/%5BNode2vec%5D%20Node2vec%20-%20Scalable%20Feature%20Learning%20for%20Networks%20%28Stanford%202016%29.pdf

    2020-10-16
    1
收起评论
6
返回
顶部