成为AI产品经理
刘海丰
京东高级架构师
立即订阅
1562 人已学习
课程目录
已更新 30 讲 / 共 34 讲
0/4登录后,你可以任选4讲全文学习。
开篇词 (1讲)
开篇词 | 你好,产品经理!你的未来价值壁垒在哪儿?
免费
知己知彼,AI和AI产品经理 (4讲)
01 | 行业视角:产品经理眼中的人工智能
02 | 个人视角:成为AI产品经理,要先搞定这两个问题
03 | 技术视角:AI产品经理需要懂的技术全景图
04 | 过来人讲:成为AI产品经理的两条路径
项目管控能力篇 (3讲)
05 | 通过一个 AI 产品的落地,掌握产品经理工作全流程
06 | AI 模型的构建过程是怎样的?(上)
07 | AI模型的构建过程是怎样的(下)
算法技术能力篇 (11讲)
08 | 算法全景图:AI产品经理必须要懂的算法有哪些?
09 | K近邻算法:机器学习入门必学算法
10 | 线性回归:教你预测,投放多少广告带来的收益最大
11 | 逻辑回归:如何预测用户是否会购买商品?
12 | 朴素贝叶斯:让AI告诉你,航班延误险该不该买?
13 | 决策树与随机森林:如何预测用户会不会违约?
14 | 支持向量机:怎么预测股票市场的涨与跌?
15 | K-means 聚类算法:如何挖掘高价值用户?
期中答疑 | AI产品经理热门问题答疑合集
期中周测试题 ,你做对了吗?
16 | 深度学习:当今最火的机器学习技术,你一定要知道
模型评估能力篇 (7讲)
17 | 模型评估:从一个失控的项目看优秀的产品经理如何评估AI模型?
18 | 核心技能:产品经理评估模型需要关注哪些指标?
19 | 模型性能评估(一):从信用评分产品看什么是混淆矩阵?
20 | 模型性能评估(二):从信用评分产品看什么是KS、AUC?
21 | 模型性能评估(三):从股价预测产品看回归算法常用的评估指标
22 | 模型稳定性评估:如何用PSI来评估信用评分产品的稳定性?
23 | 模型监控:产品经理如何建设算法模型监控指标体系?
春节策划周 (2讲)
春节加餐1 | 用户增长模型:怎么利用AI技术判断新渠道性价比?
春节加餐2 | 一次答疑,带你回顾模型评估的所有基础概念
AI项目实践篇 (2讲)
24 | 推荐类产品(一):推荐系统产品经理的工作职责与必备技能
25 | 推荐类产品(二):从0打造电商个性化推荐系统产品
成为AI产品经理
15
15
1.0x
00:00/00:00
登录|注册

23 | 模型监控:产品经理如何建设算法模型监控指标体系?

刘海丰 2021-02-17
你好,我是海丰。今天,我们来讲一讲算法模型监控指标体系的建设。
算法模型的监控指标体系(后面简称监控体系),就是将业务数据进行采集,同时用可视化图表展现给用户,并且提供相应的告警功能。
一般来说,当业务线初建的时候,我们可以不用考虑太多监控体系的需求,因为我们需要把精力放到怎么让业务“活下去”。但是当业务“活”下来之后,我们就要开始考虑搭建监控体系,让模型能够“活得更好”。那么,监控体系是怎么做到的呢?
具体来说,通过监控体系我们可以知道:
当前这条业务的现状和过去业务数据的对比
当前业务是否正常,可能存在的问题,并且通过这些问题追溯原因
未来业务的趋势,可能的完善方向
今天,我们就一起学习怎么去建设算法模型监控指标体系。

监控体系的三个核心问题

在规划一个监控系统的时候,有三个核心问题需要我们想清楚:
这个项目的业务背景是什么
这个监控体系是给谁解决问题的
你想要怎么解决问题
接下来,我们一个一个来看。

第一,你做这个项目的业务背景是什么?

做任何一件事之前,我们都要想清楚为什么要做,做监控体系之前也不例外。不同的业务背景意味着你对这个项目不同的解决路径,也意味着你对这个项目投入多少精力,这需要你在做这个项目之前考虑清楚。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《成为AI产品经理》,如需阅读全部文章,
请订阅文章所属专栏
立即订阅
登录 后留言

精选留言(1)

  • muyan
    老师,模型部署上线后,就不能计算模型性能相关指标了,像ks auc这些,因为进来的都是真实数据,没有训练集去比较了。类似性能相关的指标是模型训练的时候去监控的吧
    2021-02-17
    1
收起评论
1
返回
顶部