Geek_b862852020-12-26ROC曲线，FPR=FP/N,TPR=TP/P，当我们将负样本复制10倍时，TPR显然不会变，FPR是负样本中被预测为正样本的比例，这其实也是不变的，那整个ROC曲线也就没有变。PR曲线，精确率P=TP/(TP+FP)，TP不变，FP增大，而召回率R没有变，显然ROC曲线更稳定一些作者回复: 非常好，这也是我们实验和实践中更喜欢用ROC的原因。
共 3 条评论32
张弛 Conor2020-12-09P-R曲线的优点是能够表现精确率与召回率平衡的过程，缺点是无法显示明确的阈值，且缺乏对TN的考量。ROC曲线不仅能表现假阳性率与真阳性率的平衡，还可以表现出具体的阈值，也考量了TN，但缺乏对FN的考量。在正负样本不均衡的情况下，FN会较大，FP会较小，因此正样本性能的改进主要在于降低FN，P-R曲线中的召回率更关注FN，所以使用P-R曲线更好。作者回复: 非常好。
共 4 条评论13- PatrickPro22021-05-25老师，工业界在用指标评估排序列表结果时，最最常用的指标是啥？我上学期上了cmu的搜索引擎这门课，我们教授说MAP和NDCG是最常用的，其中NDCG应该是效果最好的，因为NDCG考虑到了每个数的实际相关性和模型预测出的排序顺序。 我还有个问题：Diversity在推荐系统中重要吗？如果重要的话，是不是除了以上这些指标，还需要用到诸如Precision-Intent aware@K和alpha-NDCG这些指标进一步分析模型效果呢？
作者回复: 离线主要用AUC和gAUC。但工业界离线指标主要是参考作用，最重要的还是在线指标。 diversity比较重要，但一般是secondary metric，一般不作为主要优化的指标
5 - Sebastian2020-12-09老师，想额外问一个关于CTR指标计算的问题：在AB测试中，如何合理的比较AB测试中两者的CTR指标呢？会不会一天内，某个时间段A桶的CTR高于B桶，但是某个时间段A桶又小于B桶，那这种该如何比较AB哪个算法更好？
作者回复: 这个问题还挺有意思。当然是没有标准了，你想怎么比较都行，越是fine grain比较，越能比出东西。 像你说的情况，我们居然发现两个模型在不同时段的效果有不同，如果这个pattern比较固定的话，为什么我们不能把他们综合起来使用，形成一个time based model呢？这不是我们通过评估发现的改进点吗？
4 
那时刻
2020-12-10提供一个通过confusion matrix理解precision，recall， roc的文章，https://www.biostat.wisc.edu/~page/rocpr.pdf，大家可以参考一下作者回复: 赞
3
小强2021-02-19在实际工作中，一般是如何定义正样本和负样本的呢？首先，这个正样本和负样本应该是应用户而异吧？其次，以电影推荐为例，对于某个用户A，我们是把用户A之前看过的电影都定义成正样本，然后没有看过的电影都标记为负样本嘛？还是有其他什么方法？作者回复: 正样本比较好说，就是你定义的一些正向的行为，比如点击、播放、购买等等。负样本其实看你的选择了，有纯random的，也有曝光未点击等等。
2
JustDoDT2020-12-11个性化推荐，不是每个人的推荐结果都不一样吗。为啥说ROC、P-R是全量数据，我认为是针对每个人的全量物品推荐，文中的全量是指全量物品吗。mAP严格意义上说是用到了全量的用户和物品。作者回复: ROC曲线，P-R曲线是对全量样本在一起排序，不区分用户，所以这里说是全量数据。
共 2 条评论2- 那时刻2020-12-09感觉通过confusion matrix（混淆矩阵）理解precision，recall以及TPR，FPR会更加形象些
作者回复: 是这样，如果有好的文章可以分享到留言区。
2 
飞行器2021-10-19老师好，召回率（Recall）是分类正确的正样本个数占真正的正样本个数的比例。但是在实际环境中对于召回率的计算比较困难吧，对于实际生产中海量的数据，很难找到所有真正正样本的个数吧？那如何进行离线评估召回率的计算呢？作者回复: 比如一个点击率预估问题，所有点击样本就是所有的真正正样本的个数。 当然你无法列出真正的ground true，只能通过历史数据来评估。
1
小峰™ =エ=®2021-07-01老师你好，针对现实数据集中点击率只有1~10%，训练集正负样本数量偏差的问题——使用样本平衡的方法，对负样本进行下采样来，最终实现训练集正负样本1:1，这样的方法是否可行？这样出来准确率是降低了，但模型对正样本的判定会更敏感些，不知道这样理解对不对？作者回复: 当然是可行的，非常常用的做法。但要在inference过程中做ctr calibration
共 2 条评论1