042 | 如何评测搜索系统的在线表现？
洪亮劼
该思维导图由 AI 生成，仅供参考
我在本周前面的两篇文章中为你讲解了基于“二元相关”和基于“多程度相关”原理的线下评测指标。利用这些指标，研发人员在半个世纪的时间里开发了一代又一代的搜索系统，这些指标和系统也都在不断演化。
虽然我们这周讲过的这些指标都很有指导意义，但大多数指标被提出来的时候都是基于线下的静态数据集，并不是真正去检测用户和系统的互动（虽然后期也有研发人员直接使用这些评测工具用于在线评测，但在使用上就产生了问题）。那有什么样的方法来评测搜索系统的在线表现呢？
为了回答这个问题，我们今天就来探讨一下进行在线评测的几个话题。
在线可控实验
我们先回到整个评测指标的初衷，为什么要进行线下测试呢？
第一个原因是在信息检索系统（也就是最早的搜索系统）的开发时期，还很难做在线可控实验（Controlled Experiments），研发人员还没有开发出值得依赖的手段来判断用户的行为。因此，在那个年代，比较可靠的方法就是调查问卷和后来开发出来的线下静态评测。可以说，这些手段都是真正了解用户行为的一个“代理”（Proxy）。
要进行评测，不管是线下还是线上，另外一个原因就是我们需要某种手段来分辨两个系统的好坏，从而能够不断地通过这种手段来改进系统，做到数据驱动。
那么，能够正确观测两个系统不同的工具，就是“在线可控实验”，有时候又称作“在线实验”，或者也叫作“在线 A/B 实验”。
在线可控实验其实是建立“因果联系”（Causal Relationship）的重要工具，也可以说是唯一完全可靠的工具。这里面的基础是统计的假设检验。
具体来说，就是我们针对访问网站或者应用的人群，进行某种划分，一般情况下是平均随机划分，百分之五十的用户进入划定的一个群组，叫作“控制组”（Control Bucket），而另外百分之五十的用户进入另外一个群组，叫作“对照组”（Treatment Bucket）。“控制组”和“对照组”的唯一区别在于所面对的系统。
假设有一个搜索系统，我们想对其中的某个部分进行改进，那么，我们可以保持住其他的部分，让这个希望得到改进的部分成为唯一的“独立变量”（Independent Variable），也就是在整个实验设置中的变量。这样，我们就希望看到，能否通过在线实验以及假设检验的工具，来认定这个“独立变量”是否会带来系统性能上的提高，亦或是降低。
这里面还有一个需要提前确定的，那就是需要评测的指标，特别是用户指标，比如网站的点击率、搜索的数量等等。这些指标我们称之为“依赖变量”（Dependent Variable）。说白了，我们就是希望能够在“独立变量”和“依赖变量”之间通过假设检验建立联系。
虽然在概念上很容易理解在线可控实验，但在实际操作中会面临很多挑战。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
搜索系统的在线表现评测是一个重要的技术课题。本文介绍了在线可控实验和因果推论在评测搜索系统在线表现中的应用。在线可控实验通过建立因果联系，利用统计假设检验来评估搜索系统的性能提升或降低。然而，在实际操作中，面临着用户不平衡和实验之间相互作用等问题，这需要更深入的研究和解决。另外，因果推论在分析实验结果中发挥着重要作用，尤其是在处理有偏差数据的情况下，能够无偏差地进行训练和评测模型和算法。最后，文章提出了一个思考题，即如何建立在线实验评测结果和线下指标比如nDCG之间的关系。这个问题需要进一步的讨论和研究。整体而言，本文深入浅出地介绍了搜索系统在线表现评测的技术特点和挑战，对于搜索技术领域的研究者和从业者具有一定的参考价值。
仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《AI 技术内参》，新⼈⾸单¥98
《AI 技术内参》，新⼈⾸单¥98
立即购买
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(1)
- 最新
- 精选
韩康请问，在使用LTR模型的系统里做A/B实验时，团队里怎么多人同时做A/B实验？ 团队里多个人新增特征重新训练了LTR模型，同时做A/B实验，如果相比于线上基线模型效果都很好，这些特征要全量的话，还要把所有的新增特征重新训练一个新模型，再做A/B实验。 如果团队很多人同时做LTR优化，如何验证不同的特征并全量？2018-04-04
收起评论