AI 技术内参
洪亮劼
Etsy 数据科学主管,前雅虎研究院资深科学家
33455 人已学习
新⼈⾸单¥98
登录后,你可以任选6讲全文学习
课程目录
已完结/共 166 讲
开篇词 (1讲)
人工智能国际顶级会议 (31讲)
搜索核心技术 (28讲)
推荐系统核心技术 (22讲)
数据科学家与数据科学团队养成 (25讲)
AI 技术内参
15
15
1.0x
00:00/00:00
登录|注册

072 | 推荐系统评测之三:无偏差估计

需要考虑用户体验和数据收集
数据需涵盖整个数据集
给出现概率较低的文章更大的权重
偏差可能逐渐放大
线下表现和线上表现不一致
学习到的偏好不全面
系统偏向学习用户对某类新闻的喜好
仅推荐一类新闻导致用户偏好学习不全面
如何进行无偏差估计当不知道每种新闻出现的概率
无偏差估计的假设和条件
矫正偏差的思路
偏差性对学习和推荐的影响
系统存在偏差的原因
思考题
无偏差估计
推荐系统的偏差性
推荐系统怎样做无偏差估计?

该思维导图由 AI 生成,仅供参考

周三,我讲了推荐系统的线上评测,我们讨论了如何做在线评测,以及推荐系统在线评测可能遇到的一系列问题。
今天,我们来看一个比较高级的话题,那就是如何做到推荐系统的无偏差估计

推荐系统的偏差性

在理解为什么需要无偏差估计之前,我们先来看一看现在系统为什么会存在偏差性,以及这种偏差性会对推荐系统的学习造成什么样的影响。
先假定我们讨论的是一个新闻推荐系统。为了方便,假设我们的系统中仅有两类文章,体育新闻和财经新闻。我们先来看一个极端情况,假设系统因为种种原因,只给用户推荐体育新闻,会出现什么样的情况呢?
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结

推荐系统的无偏差估计是一个重要的技术话题。本文首先介绍了推荐系统存在偏差性的原因,以及这种偏差性对系统学习和用户体验的影响。作者以新闻推荐系统为例,说明了系统偏向性导致用户偏好无法得到充分学习的问题。接着,文章提出了无偏差估计的概念和解决思路,强调了矫正偏差的重要性。作者指出,无偏差估计需要满足数据涵盖整个数据集的假设,但在实际应用中很难做到。最后,文章提出了一个思考题,引发读者对无偏差估计的思考和讨论。 本文深入浅出地介绍了推荐系统偏差性及无偏差估计的概念和应用,对于从事推荐系统开发和数据分析的技术人员具有一定的参考价值。文章通过具体案例和数学表达,生动地阐述了无偏差估计的原理和难点,为读者提供了深入理解该技术的思路和方法。同时,文章还提出了现实应用中可能面临的挑战,为读者在实际工作中遇到类似问题时提供了一定的启发和思考。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《AI 技术内参》
新⼈⾸单¥98
立即购买
登录 后留言

全部留言(2)

  • 最新
  • 精选
  • 林彦
    简化的来想,如果我不知道每一种新闻出现的概率,假定所有新闻初始出现的概率是相等,用每种新闻的数量占新闻的总数量的比例来作为初始概率来进行无偏差估计。随着真实数据的搜集,再去调整这个概率。
    2018-04-05
    1
  • Holy
    自适应学习率
    2020-03-13
收起评论
显示
设置
留言
2
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部