春节加餐2 | 一次答疑，带你回顾模型评估的所有基础概念
刘海丰
该思维导图由 AI 生成，仅供参考
你好，我是海丰。
今天是我们春节假期的第二篇加餐。这节课，我筛选出了一些常见的课后问题，对它们做了统一的整理，同时也对一些优质回答做了补充讲解，希望更多同学可以进行参考。
常见问题
问题 1：老师，我总是容易弄混 KS、PSI 等很多指标。
我看到有很多同学提出类似的问题，这些都是 AI 产品经理需要掌握的基础概念，而且在接下来的项目实践篇都会涉及。所以这里，我会把一些基础概念进行汇总，希望能再帮你巩固一下。
在我刚开始转做 AI 产品经理的时候，遇到过这么一件事儿，我们的用户年龄预测模型训练时候 的 KS 值（模型中用于区分预测正负样本分隔程度的评价指标）很高，但是 OOT 测试的时候 KS 还不足 10。当我拿着结果去找算法同学沟通的时候，他就说了一句，“可能是过拟合了，我再改改”。
也有同学提问说，“不明白为什么 OOT 过高就是模型样本选择的问题？”我这里表达的意思，其实不是 OOT 过高就是模型样本选择有问题，而是说，如果模型在验证集上的 KS 值不错，但到了 OOT 测试的时候 KS 反而不好，就说明，可能是我们当时选择的样本不合理。比如：训练和验证样本抽取的时间过早，很多数据发生了变化，这就导致模型在过去样本上表现好，但在目前样本上不适用。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
本文是一篇关于模型评估基础概念的技术文章。作者通过回答常见问题和课后讨论题的方式，帮助读者回顾模型评估的基础概念。文章首先解答了读者对于KS、PSI等指标的混淆问题，并对OOT（跨时间测试）进行了解释。接着，作者针对业务场景提出了朴素贝叶斯模型的适用性和离职员工预测模型的评估指标。最后，作者强调了模型评估中的精确率、召回率和准确率的重要性。通过这些问题的讨论，读者可以加深对模型评估基础概念的理解，为实际项目实践做好准备。
仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《成为 AI 产品经理》，新⼈⾸单¥59
《成为 AI 产品经理》，新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(3)
- 最新
- 精选
- Geek_23daec老师，还有没有其他的课程啦 怎么和老师联系呢2023-07-20归属地：上海1
Kyle好棒，期待更多的内容呀2021-05-21- jiajia0923海丰 你好，已经学完了你的课程，系统了解了AI产品岗的主要工作内容以及需要了解的相关知识。 想问下在一个AI项目中产品岗工作内容及时间占比是怎样的那?2021-02-18
收起评论