19 | 协同过滤:你看到的短视频都是集体智慧的结晶
郭炜
该思维导图由 AI 生成,仅供参考
数据给你一双看透本质的眼睛,这里是《数据分析思维课》,我是郭炜。
学到这里,其实你已经了解了不少复合算法的使用,包括和时间相关的马尔可夫链,加速我们进行选择的蒙特卡洛和拉斯维加斯算法等等。
在实际算法的应用过程当中,还有一种通过集体智慧来构成的复合算法,它可以寻找大量人群当中的行为数据模型规律,达成普通算法从单体上无法达到的效果。这种算法当中,最著名的一个算法就是协同过滤算法。
协同过滤算法定义与场景
协同过滤算法顾名思义,就是指用户可以齐心协力,通过不断地和算法互动,在多如牛毛的选择当中,过滤掉自己不感兴趣的选择,保留自己感兴趣的选择。
协同过滤算法源于 1992 年,最早被施乐公司发明并用于个性化推送的邮件系统(施乐公司就是那个发明了 GUI 界面,被乔布斯发现并创造了 MAC OS 的公司)。最早这个算法是让用户从几十种主题里面去选 3~5 种自己感兴趣的主题,然后通过协同过滤算法,施乐就根据不同的主题来筛选人群发送邮件,最终达到个性化邮件的目的。
到 1994 年的时候,协同过滤算法开始引入集体智慧的概念,也就是用更多的人群和数据去获取相关的知识。它允许用户贡献自己的一些行为和反馈,从而创造一个比任何个人和组织更强大机制,自动给用户发送喜欢的文章。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
协同过滤算法:集体智慧的推荐引擎 协同过滤算法是一种利用集体智慧的复合算法,通过分析用户行为数据模型规律来实现个性化推荐。该算法主要分为基于用户、基于物品和基于数据模型的协同过滤算法。基于物品的协同过滤算法通过发现物品之间的相似程度来推荐给用户,具有针对用户自身、实时性高和推荐结果易解释等优点。基于数据模型的协同过滤算法则可以利用各种算法找到物品和用户之间的关系来进行推荐。协同过滤算法已广泛应用于互联网推荐系统,但也存在一些缺点,如无法考虑用户个体情况、对冷门商品引导不足以及无法考虑用户场景等。科学家们正在尝试通过深度学习的方法来修正这些缺陷。 协同过滤算法的最大价值在于打破了传统的市场规律,让长尾品牌“聚沙成塔”,改变了原有的市场规则。它给我们的启示是要更加开放心态和价值观,不要一味追随主流,而是要接受和尝试各种新的物品,用自己的经历和人生去判断。同时,我们也要警惕算法推荐的碎片化内容,要持续扩宽思维边界,主导自己的人生。 协同过滤算法是一个“人人为我,我为人人”的集体智慧算法,它让我们看到了集体智慧在算法世界中的应用。然而,推荐只是推荐,我们需要持续去扩宽思维边界,不要让算法束缚和固化我们的思维。因此,协同过滤算法的应用需要谨慎,同时也需要我们自己不断提升和拓展。
仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《数据分析思维课》,新⼈⾸单¥59
《数据分析思维课》,新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(13)
- 最新
- 精选
- geigei协同过滤算法能根据我们的特征进行一些产品推荐,但是人是有成长性的,随着阅历的提升或者单纯年龄的增长品味就会有变化,之前的一些推荐算法就可能不准确了,是不是算法也得根据我们的成长进行迭代呢?如果可以迭代就有意思了,我感觉可以单纯的分一分:这个年龄段优秀的人都看什么、普通大众都看什么、比较差的都看什么 这样是不是也能让大家往后的方向发展呢?比如如果一个人喜欢做饭,那就可以按段位进行推荐呀 这样大家就可以对照自己的水平,还有以后想成为资深大厨应该怎么做就非常明确了 ,这时候感觉算法就不只是溺爱我们的妈妈,也可以成为指导我们的爸爸了。
作者回复: 哈哈,实际算法是有遗忘系数,随着你的时间增长而变化,但是关键是如何定义优秀呢,每个人定义其实是不同的,这是家庭和个人价值观反馈的,算法很难办到
2021-10-287 - 80分抖音的视频信息流,也是根据协同过滤算法去推送的吗?抖音刷久了也反馈了足够多的行为数据,算法就会给人打造一套量身定做的信息茧房。之前看过极客时间上的《推荐系统三十六式》,也有介绍推荐算法,但是公式太多不适合小白学习,用来开拓眼界即可。 我认为在获取信息时,应该扩大自己的信息源,寻找与自己不同的观点,或者自己正常情况下没机会接触的事物。但这又涉及到获取信息的效率问题,需要取舍。
作者回复: 对,总结成4个字,博闻广识
2021-09-241 - Haoz理解算法背后的实现原理以及优缺点,能让我们不被算法所支配,我们的人生应该有自己的规划,而不应该全靠推荐算法来消耗我们时间
作者回复: 是的,要有自己的规划
2021-10-30 - Pale Blue老师,之前在关联规则里也有说亚马逊的网上商城使用了关联规则挖掘。能说一下,协同过滤与关联挖掘在实际场景中是如何搭配使用的吗?
作者回复: 可以看下人工智能这一章,最终一个实际的算法系统都是几个算法组合的结果
2021-09-25 - 范被“溺爱”也是一种奴役。系统通过各种协同过滤算法宠爱人类,人类也还是要保留自己的思考。2021-09-147
- 进化菌协同过滤算法,就好像我们选择团队比较合适的代码框架,往往选的是大多数人熟悉的,而不是新颖独特的。 不过,协同的弊病是导致过分同类化,让人更容易缺乏尝试新鲜事物,扩展性确实不太好。进而,热门的事物持续热门,冷的造致爆冷,这就有点像有些优秀的作品不被大多数人看见~2021-09-114
- 那时刻技术改变我们的生活,带来更多的便利。但是不能主导我们的生活。我们应该把多一点碎片化的时间用来学习,学习这些技术的本质。2021-09-1012
- Geek_812166基于物品和基于用户的协同算法本质上是一类算法2022-05-031
- 有恒随处可见,我刚搜索一件商品,浏览器,微信,抖音相关广告马上就出现了。我想这个算法可以应用到学生选课当中,选了一门课,基于课程进行协同过滤。2021-09-221
- 数据分析星球其实感觉基于用户的协同过滤和基于物品的协同过滤是类似的,本质上用的都是用户和物品之间的交互数据,达到用户和物品的匹配。这个匹配的过程就是计算相似度的过程,前者计算的是用户的相似度,用户体量大,计算量大,但是会推给你一些你不知道但和你类似的人喜欢的物品,有惊喜但准确度不高,有时候无法解释,因为推给你的是和你相似的一群人而非你自己。后者是计算物品的相似度,物品体量相对小,计算效率高,是基于你自己历史的行为推荐类似的产品,推荐更准确,更可解释,但一个全新的产品如果不能和用户交互,没有任何数据,很容易成为死角,需要引导。 这些理论说的很清晰,如果在通过里一个例子把两种方法算一遍就更好了!2022-10-11归属地:安徽
收起评论