052 | 机器学习排序算法经典模型：RankSVM
洪亮劼
该思维导图由 AI 生成，仅供参考
到目前为止，我们在专栏里已经讨论了关于搜索引擎方方面面的很多话题，包括经典的信息检索技术、查询关键字理解、文档理解以及现代搜索引擎的架构等等 。同时，我们也从机器学习角度出发对搜索引擎的最核心部分，也就是排序算法进行了最基本的分享，囊括了单点法排序学习（Pointwise Learning to Rank）、配对法排序学习（Pairwise Learning to Rank）以及列表法排序学习（Listwise Learning to Rank），相信你应该对这类算法的大概内容有所掌握。
那么，这周我们就来看看机器学习排序算法中几个经典的模型，希望能够通过这几个经典的算法为你深入学习和研究排序算法指明方向。
今天，我就来分享配对法排序中最有价值一个算法，排序支持向量机（RankSVM）。这个算法的核心思想是应用支持向量机到序列数据中，试图对数据间的顺序直接进行建模。
排序支持向量机的历史
20 世纪 90 年代中后期，受统计学习理论（Statistical Learning Theory ）思想和风险最小化框架（Risk Minimization Framework）趋于成熟的影响，支持向量机逐渐成为当时机器学习界的主流模型。一时间，各个应用领域的学者和工程师都在思考如何把支持向量机利用到自己的问题领域上，从而获得更好的效果。
拉夫⋅赫博里奇（Ralf Herbrich）发表于 1999 年[1]和 2000 年[2]的论文中讨论了如何把支持向量机和有序回归（Ordinal Regression）结合起来。赫博里奇当时在柏林科技大学（Technical University of Berlin）攻读博士学位。2000 年到 2011 年，他在微软研究院和 Bing 任职，从事机器学习，特别是贝叶斯方法（Bayesian method）的研究。2011 年到 2012 年，他在 Facebook 短暂任职后，于 2012 年加入了亚马逊负责机器学习的研发工作，并且担任在柏林的研发中心主管经理（Managing Director）。尽管赫博里奇很早提出了把有序回归和支持向量机结合的思路，但是当时的论文并没有真正地把这个新模型用于大规模搜索系统的验证。
更加完整地对排序支持向量机在搜索中的应用进行论述来自于康奈尔大学教授索斯腾⋅乔基姆斯（Thorsten Joachims）以及他和合作者们发表的一系列论文（见参考文献[3]、[4]、[5]和[6]）。索斯滕我们前面介绍过，他是机器学习界享有盛誉的学者，是 ACM 和 AAAI 的双料院士；他所有论文的引用数超过 4 万次；他获得过一系列奖项，包括我们前面讲的 2017 年 ACM KDD 的时间检验奖等等。
排序支持向量机模型
在说明排序支持向量机之前，我们先来简要地回顾一下支持向量机的基本思想。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
RankSVM是一种经典的机器学习排序算法，将支持向量机应用于序列数据的算法。该算法直接对数据间的顺序进行建模，成为主流模型受统计学习理论和风险最小化框架的影响。RankSVM的历史可以追溯到Ralf Herbrich和Thorsten Joachims的研究成果。在排序支持向量机模型中，需要学习一个模型能够准确地预测出标签的顺序。然而，该模型的难点在于其计算复杂度为N的平方级，使得在大规模数据上的应用变得困难。为解决这一难题，Thorsten Joachims提出了一种算法，即CP算法，能够将排序支持向量机的算法转换成更加计算有效的优化过程，在线性计算复杂度的情况下完成。因此，RankSVM在大规模数据上的应用变得更加可行。文章还提到了排序支持向量机的历史背景、问题设置、难点和一个实用的算法。这篇文章为读者介绍了RankSVM的基本原理和应用，为了更好地理解这一内容，读者还可以参考相关的论文。
仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《AI 技术内参》，新⼈⾸单¥98
《AI 技术内参》，新⼈⾸单¥98
立即购买
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(1)
- 最新
- 精选
tt对数几率分类器更好应用，因为它直接给出了一个实数结果可以作为分数2019-07-29
收起评论