推荐系统三十六式
刑无刀
“贝壳找房”资深算法专家,8年推荐系统工程师
立即订阅
11436 人已学习
课程目录
已完结 39 讲
0/4登录后,你可以任选4讲全文学习。
开篇词 (1讲)
开篇词 | 用知识去对抗技术不平等
免费
第1章 概念篇 (3讲)
【概念篇】你真的需要个性化推荐系统吗?
【概念篇】个性化推荐系统那些绕不开的经典问题
【概念篇】这些你必须应该具备的思维模式
第2章 原理篇 (20讲)
【内容推荐】画鬼容易画人难:用户画像的“能”和“不能”
【内容推荐】从文本到用户画像有多远
【内容推荐】超越标签的内容推荐系统
【近邻推荐】人以群分,你是什么人就看到什么世界
【近邻推荐】解密“看了又看”和“买了又买”
【近邻推荐】协同过滤中的相似度计算方法有哪些
【矩阵分解】那些在Netflix Prize中大放异彩的推荐算法
【矩阵分解】Facebook是怎么为十亿人互相推荐好友的
【矩阵分解】如果关注排序效果,那么这个模型可以帮到你
【模型融合】经典模型融合办法:线性模型和树模型的组合拳
【模型融合】一网打尽协同过滤、矩阵分解和线性模型
【模型融合】深度和宽度兼具的融合模型 Wide and Deep
【MAB问题】简单却有效的Bandit算法
【MAB问题】结合上下文信息的Bandit算法
【MAB问题】如何将Bandit算法与协同过滤结合使用
【深度学习】深度学习在推荐系统中的应用有哪些?
【深度学习】用RNN构建个性化音乐播单
【其他应用算法】构建一个科学的排行榜体系
【其他应用算法】实用的加权采样算法
【其他应用算法】推荐候选池的去重策略
第3章 工程篇 (10讲)
【常见架构】典型的信息流架构是什么样的
【常见架构】Netflix个性化推荐架构
【常见架构】总览推荐架构和搜索、广告的关系
【关键模块】巧妇难为无米之炊:数据采集关键要素
【关键模块】让你的推荐系统反应更快:实时推荐
【关键模块】让数据驱动落地,你需要一个实验平台
【关键模块】 推荐系统服务化、存储选型及API设计
【效果保证】推荐系统的测试方法及常用指标介绍
【效果保证】道高一尺魔高一丈:推荐系统的攻防
【开源工具】和推荐系统有关的开源工具及框架介绍
第4章 产品篇 (3讲)
【产品篇】推荐系统在互联网产品商业链条中的地位
【产品篇】说说信息流的前世今生
【团队篇】组建推荐团队及工程师的学习路径
尾声与参考阅读 (2讲)
推荐系统的参考阅读
【尾声】遇“荐”之后,江湖再见
推荐系统三十六式
登录|注册

【产品篇】说说信息流的前世今生

刑无刀 2018-05-23
信息流,就是 Feed,包括社交动态信息流,也有图文资讯信息流,短视频信息流。
在前面说过,推荐系统是一种注意力存储器,注意力是信息经济时代的稀缺商品,广告商向平台方购买注意力,平台方把存储的注意力分一点给广告商,然后通过推荐系统收集更多注意力补充回来。
在今天,最厉害的注意力存储器就是信息流,尤其是个性化信息流,也叫做兴趣 Feed,这也是推荐系统的一种。

前世今生

说信息流,就不得不提到 NewsFeed。2004 年,Facebook 问世,2006 年,信息流鼻祖 NewsFeed 横空出世,经过十多年,NewsFeed 已经是日收入几千万美金的现金大牛。
在 NewsFeed 上线前,经历过两个抗议阶段,第一个是把新鲜事公布出来,原先的新鲜事被大家认为是隐私,在时间线中呈现出来被好友看见不妥,而事实是,每个人在意的除了自己的隐私被公布,更在意的是朋友的八卦,数据表明新鲜事被公布后,用户活跃度大幅上涨。
第二个就是 NewsFeed 上线,用户广泛抗议,原来按照时间先后顺序阅读新鲜事,现在却按照重要程度阅读,非常不习惯,然而数据表明,用户互动行为再一次大幅度提高。
这些年来,NewsFeed 有数不清的改进,甚至每天线上会同时部署很多算法版本进行 AB 测试。后来的故事大家都知道了,Facebook 上市,股价逐年上涨。
NewsFeed 的成功,验证了几个常识:
数据驱动比舆论驱动靠谱,别听人们嘴上是怎么说的,只看人们是如何行动的;
窥探隐私,向群体靠拢,害怕孤单是普遍人性,把新鲜事公开这件事验证了这一点;
注意力非常有限,用推荐系统的方法更好地储存注意力,基于兴趣的信息流验证了这一点。
后来,Twitter,微博,Instagram,老牌的时间线信息流方式如今都换成了按照兴趣筛选内容,原因都是信息泛滥,用户错过的信息量越来越多,注意力耗散很多,无法将耗散的注意力变现成了这些平台最大的痛。
今天,搜索公司 Google、百度,都已经押注了信息流,更不说那辆行驶在注意力收割航道里的短视频新兴巨轮。
这些公司,尤其是其中的上市公司,在财报里也会提及信息流,可以说,信息流在今天已经是红透了半边天。

配套设施

信息流是一个低衰减的注意力存储器,但是光有信息流是不完整的,最大的问题可能有两个:
内容源不足,无法形成信息过载,注意力就不会稀缺,注意力是无法待价而沽的商品;
在注意力变成稀缺的事物后,存储的注意力无法变现,反哺平台自身。
针对这两个问题,完整的信息流产品还需要配套设施。以 NewsFeed 为例,讲讲信息流的配套设施。

1. 内容源

内容源是注意力的重要间接影响因素。“内容哪里来”是信息流要不断思考的问题,对于 NewsFeed 来说,就是社交关系上的人发布新鲜事。
NewsFeed 存在的前提是要依赖用户建立大量的社交联系,这样才会出现信息过载,因此 NewsFeed 的一个重要的配套设施就是“你可能感兴趣的人”推荐系统。
这是一个我们在产品形式上比较熟悉的推荐系统,它是一套大规模矩阵分解算法,在前面的专栏已经专门讲过,这套推荐系统希望用户和用户,用户和 App、公共主页等都建立起大量的连接。
建立起连接,相当于变相地增加了内容源,这些用户发布的新鲜事,App 产生的内容,公共主页发布的帖子,都会通过这些连接流进用户的个人信息流。
社交信息流中,内容源依赖于社交关系的数量。而图文资讯信息流,则更多依赖爬虫技术,“不生产内容,只是内容的搬运工”。
依赖爬虫的信息流内容源,质量非常不可控,会有涉黄、涉政、涉暴力等敏感内容,甄别工作量非常巨大,而且一旦控制不好就是社会事件,代价惨重,这一点在 2018 年,你一定感受很深。
内容源是信息流的一种重要基础设施,要想尽办法建设好。内容源应该考虑下面几种。
质量:虽然群体喜欢消费低质量的内容,便宜商品,但是一旦出现敏感内容, 不合格的商品等,代价还是很高昂。
多样性:信息只有多样了才有信息量,有了多样性才能满足更多的用户,才能在存储海量注意力时不衰减。
数量:数量自不必说,推荐系统解决信息过载问题,没有信息过载问题怎么办呢?就是先制造信息过载问题,要制造信息过载,信息的数量就要有保障。
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《推荐系统三十六式》,如需阅读全部文章,
请订阅文章所属专栏。
立即订阅
登录 后留言

精选留言(12)

  • 大哥
    目前公开的信息流的技术资料可能要数曹欢欢的ppt了,邢老师能否给出一些技术的干货呢😊 ?
    2018-05-24
    2
  • shangqiu86
    讲feed流老师引入了注意力的定义,感觉很新颖也很贴切,老师能否在书里面介绍下今日头条的算法,据我所知,今日头条更多的是标签匹配,做了很多维度的标签匹配,同时时间段也划分的很细,形成网格式的多样化推荐,基于标签的推荐,老师好像没有涉及呢

    作者回复: 不会妄议未公开的做法。

    2019-05-09
    1
  • 田佳伟
    老师您好,我们公司做的就是类似于头条的资讯app,feed流就是简单的指数排序加过滤用户已读文章,现在面临一个问题:现在用的是联表查询来实现已读文章过滤,给数据库造成了很大压力,请问有没有好的过滤文章的方案呢?
    2019-12-09
  • neko
    老师,我不太理解这句话,请问能稍稍解释一下吗?谢谢!
    ”种草的商品突然提价,广告主就只能剁手买买买,这就是广告系统了。”
    2019-06-21
  • 帅帅
    突然意识到我们要做一个信息流,内容只有几百个几千个,远远没有信息过载;
    那好,我可以先放弃召回阶段,只做一个CTR排序好了;
    2018-09-25
  • @lala0124
    老师觉得信息流这种商业模式能够存在多久?

    作者回复: 不好乱说。

    2018-06-29
  • @lala0124
    老师觉得信息流这种商业模式能够存在多久呢?
    2018-06-29
  • 好球
    老师愿意过来一起做推荐不?
    2018-05-25
  • 惜心(伟祺)
    老师可以 分享一些推荐系统常用开源工具嘛
    2018-05-24
  • 大哥
    最成功的案例,不应该是电商如阿里亚马逊吗?
    2018-05-24
  • 张凯江
    到头了吗。不会吧
    2018-05-23
  • 张哲
    感谢老师!
    2018-05-23
收起评论
12
返回
顶部