22 | 模型稳定性评估：如何用PSI来评估信用评分产品的稳定性？
刘海丰
该思维导图由 AI 生成，仅供参考
你好，我是海丰。
模型稳定性指的是模型性能的稳定程度，只有稳定性足够好的模型才能通过上线前的评估，而且上线后，我们也要对模型稳定性进行观测，判断模型是否需要迭代。在实际工作中，我们会用 PSI 来评估模型的稳定性。
这节课，我们就借助一个信用评分的产品，来详细说一说 PSI 是什么，它该怎么计算，以及它的评估标准。
案例：客群变化对模型稳定性的影响
在金融风控领域，稳定性对于风控模型来说就是压倒一切的条件。模型只有足够稳定，才能既通过上线前层层的验证和审批，又能在上线后运行足够长的时间。但在实际工作中，像客群变化这类无法避免的情况，往往会直接影响模型的稳定性。
比如说，在模型上线时候，前端流量有 5000 的测试用户，模型输出的分布可能是下面这样的。如果业务设置阈值为 60 分，那么，60 分以下的人我们会拒绝放款。这样一来，模型会拒绝掉大概 20% 的人，这种情况对于业务来说是可以接受的。
如果模型上线后，前端流量没有发生变化，还是 5000 个待测用户，但是客群发生了变化，从测试用户变成了线上的用户。这个时候，模型输出的分布就会变成下面这样。
如果我们还是用 60 作为阈值，模型就会拒绝掉 50% 的用户。当前市场下，前端流量这么贵，如果风控拒绝了 50% 的用户申请，估计市场或者运营的同学，肯定不会放过风控部门了。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
PSI指标在评估信用评分产品的稳定性中扮演着重要角色。文章介绍了PSI的计算方法，包括分箱、计算实际分布和计算PSI数值的三个步骤。通过等距分箱的方式，作者展示了如何计算出PSI值，并解释了PSI值越小代表模型稳定性越高的含义。此外，文章还提供了在实际工作中使用PSI时的三点建议，包括持续关注PSI值、关注影响PSI变化的因素以及建议根据业务场景对模型PSI进行监控。最后，文章提出了一个问题，探讨了PSI公式中为何需要增加“ln(实际占比/预期占比)”部分。整体而言，本文深入浅出地介绍了PSI指标的计算和应用，对于需要评估模型稳定性的读者具有很高的实用价值。
仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《成为 AI 产品经理》，新⼈⾸单¥59
《成为 AI 产品经理》，新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(11)
- 最新
- 精选
加菲猫( 实际占比 - 预期占比 )结果如果有正有负，SUM求和会互相抵消2021-04-278
金鱼在占比都比较小的情况下，采用比较后取对数，可以在消除量纲的前提下，将差别放大。作为系数乘以差值，将差异放大。2021-02-086
舞动的浅小白训练集（In the Sample，INS）、验证集（Out of Sample，OOS）、测试集（Out of Time，OOT）2022-06-275- Geek_5a5f1e老师，我们是做电商的推荐产品，用深度学习模型，也实际使用计算了IV、WOE、PSI这些指标评估特征，但对结果的置信度不是很确认。这些指标主要是在机器学习使用，是否在深度学习这里也适用呢？2021-02-262
Rosa rugosa防止PSI出现负值2021-03-151
想做产品的一帆请问老师，若是采用等频分箱，则计算时使用每组人数所在的阈值段占总分段的百分比去计算吗？2021-02-211
Doriain是取对数吗2023-11-11归属地：北京
EnidYin为了将差别放大2023-11-08归属地：北京
潘平老师，请教个问题。分类问题怎么计算稳定性呢？2023-09-01归属地：上海- Geek_d54869避免直接求和导致的正负抵消问题 另外就是可以避免由于样本集差异太大导致的问题2023-06-05归属地：德国
收起评论