054 | 机器学习排序算法经典模型：LambdaMART
洪亮劼
该思维导图由 AI 生成，仅供参考
在这周的时间里，我们讨论机器学习排序算法中几个经典的模型。周一我们分享了排序支持向量机（RankSVM），这个算法的好处是模型是线性的，容易理解。周三我们聊了梯度增强决策树（Gradient Boosted Decision Tree），长期以来，这种算法被用在很多商业搜索引擎当中来作为排序算法。
今天，我们来分享这一部分的最后一个经典模型：LambdaMART。这是微软在 Bing 中使用了较长时间的模型，也在机器学习排序这个领域享有盛誉。
LambdaMART 的历史
LambdaMART 的提出可以说是一个“三步曲”。
这里有一个核心人物，叫克里斯多夫⋅博格斯（Christopher J.C. Burges）。博格斯早年从牛津大学物理学毕业之后，又于布兰戴斯大学（Brandeis University）获得物理学博士学位，他曾在麻省理工大学做过短暂的博士后研究，之后来到贝尔实验室，一待 14 年。2000 年，他来到微软研究院，并一直在微软研究院从事机器学习和人工智能的研究工作，直到 2016 年退休。可以说，是博格斯领导的团队发明了微软搜索引擎 Bing 的算法。
LambdaMART 的第一步来自于一个叫 RankNet 的思想[1]。这个模型发表于 ICML 2005，并且在 10 年之后获得 ICML 的时间检验奖。这也算是在深度学习火热之前，利用神经网络进行大规模商业应用的经典案例。
RankNet 之后，博格斯的团队很快意识到了 RankNet 并不能直接优化搜索的评价指标。因此他们根据一个惊人的发现，提出了 LambdaRank 这一重要方法[2]。LambdaRank 的进步在于算法开始和搜索的评价指标，也就是 NDCG 挂钩，也就能够大幅度提高算法的精度。
LambdaRank 之后，博格斯的团队也认识到了当时从雅虎开始流行的使用“梯度增强”（Gradient Boosting），特别是“梯度增强决策树”（GBDT）的思路来进行排序算法的训练，于是他们就把 LambdaRank 和 GBDT 的思想结合起来，开发出了更加具有模型表现力的 LambdaMART[3]。LambdaMART 在之后的雅虎排序学习比赛中获得了最佳成绩。
RankNet 的思想核心
要理解 LambdaMART，我们首先要从 RankNet 说起。其实，有了排序支持向量机 RankSVM 的理论基础，要理解 RankNet 就非常容易。RankNet 是一个和排序支持向量机非常类似的配对法排序模型。也就是说，RankNet 尝试正确学习每组两两文档的顺序。那么，怎么来定义这个所谓的两两文档的顺序呢？
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
LambdaMART是一种机器学习排序算法，由微软研究院团队开发，并在Bing搜索引擎中得到应用。该算法的发展经历了三个关键步骤：首先是RankNet模型的提出，其次是LambdaRank方法的引入，最后是与梯度增强决策树（GBDT）结合形成LambdaMART。LambdaMART的核心思想是通过LambdaRank方法，将损失函数的梯度与NDCG（归一化折损累积增益）联系起来，从而指导模型优化NDCG。相比于之前的模型，LambdaMART更加注重搜索评价指标中头部相关度的优化，使得排序效果更加符合实际需求。LambdaMART的发展历程以及其与其他经典模型的比较，展现了其在机器学习排序领域的重要性和优越性。 LambdaMART算法作为配对法和列表排序学习的混合经典算法，在实际运用中表现出强劲的性能。其核心思路是通过LambdaRank方法优化NDCG，从而更加注重搜索评价指标中头部相关度的优化，使排序效果更符合实际需求。LambdaMART的发展历程以及与其他经典模型的比较，展现了其在机器学习排序领域的重要性和优越性。LambdaMART算法的应用为搜索引擎排序提供了有力支持，对于理解和应用机器学习排序算法具有重要意义。
仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《AI 技术内参》，新⼈⾸单¥98
《AI 技术内参》，新⼈⾸单¥98
立即购买
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(2)
- 最新
- 精选
yaolixu会不会出现梯度消失的情况？如果出现了，怎么破？2018-11-081
吴文敏这样会影响模型的收敛速度吧2018-01-31
收起评论