056 | 基于深度学习的搜索算法:卷积结构下的隐含语义模型
洪亮劼
该思维导图由 AI 生成,仅供参考
这个星期,也是我们整个搜索领域分享的最后一周内容,来看一些搜索算法的前沿思考,特别是深度学习对搜索领域的影响。周一我们分享了一篇较早利用深度学习技术来进行搜索建模的论文,论文提出如何使用前馈神经网络来对查询关键字和文档进行信息提取,从而能够学习更有意义的语义信息。
今天我们来看一篇文章《信息检索中结合卷积池化结构的隐含语义模型》(A Latent Semantic Model with Convolutional-Pooling Structure for Information Retrieval),可以说这是我们周一分享论文的一个后续工作。这篇论文发表在第 23 届世界信息和知识管理大会 CIKM 2014 上。
论文背景介绍
这篇论文的主要目的是探讨深度学习中的卷积神经网络能否应用在搜索中,并取得较好的效果。
下面我们先来了解一下这篇论文作者群的信息。
第一作者 Yelong Shen 是微软研究院的一名资深研究员。
第二作者是何晓冬(Xiaodong He)是微软研究院深度学习组的主任研究员兼经理,发表过一百多篇学术论文,在人工智能领域,特别是近年来在深度学习领域有很突出的贡献。
第三作者高剑峰(Jianfeng Gao)是一名长期在微软研究院工作的研究员和经理。
第四作者邓力(Li Deng)是微软研究院的人工智能学者,曾担任微软的首席人工智能科学家并且领导深度学习中心。2017 年 5 月,邓力离开微软加入 Citadel,美国著名的金融机构,担任首席人工智能官的职位。
最后一位作者格雷古瓦·梅尼尔(Grégoire Mesnil)是来自蒙特利尔大学的一名博士学生。
这篇论文自 2014 年发表后已被引用 180 多次,是探讨深度学习在搜索领域中应用的主要论文之一。
卷积结构下的隐含语义模型详解
我们周一介绍的深度结构化语义模型,其主要思想是希望能够利用前馈神经网络来对查询关键字和文档进行信息提取。这个模型有一个很明显的问题,那就是在第一步对查询关键字或文档进行特征提取时所形成的词向量(Term Vector)是忽略了文字原本的顺序信息的,也就是依然是一个“词袋模型”(Bag of Words)假设,这显然是丢失了很多信息的。
当然,我们今天要分享的卷积结构下的隐含语义模型,也并不是第一个想要解决这个问题的模型。在经典的信息检索领域的研究中,已经有不少这方面的尝试了。那么对于深度学习来说,又有什么优势呢?
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
深度学习技术中的卷积神经网络在图像处理中取得了巨大成功,而这种技术是否能够应用于搜索领域呢?一篇名为《信息检索中结合卷积池化结构的隐含语义模型》的论文对此进行了探讨。该论文由微软研究院的研究员和蒙特利尔大学的博士学生共同撰写,于2014年发表。论文主要介绍了利用卷积神经网络进行搜索算法改进的尝试,探讨了卷积结构下的隐含语义模型的原理和实验结果。 隐含语义模型利用卷积神经网络对查询关键字和文档进行信息提取,通过移动窗口扫描、转换词向量、卷积层提取特征和池化层降维等步骤,最终形成文本的内在语义表达。该模型在实验中取得了不错的效果,与传统方法相比表现出较大优势,尤其是在NDCG指标上取得了接近0.45的表现。这表明深度学习技术在搜索领域的应用具有潜在的价值,尤其是卷积神经网络的成功经验可以为搜索领域带来新的思路和方法。 总的来说,这篇论文为读者展示了深度学习技术在搜索领域的应用前景,尤其是卷积神经网络在搜索算法改进中的潜力。通过对隐含语义模型的介绍和实验结果的分析,读者可以更好地了解深度学习技术在搜索领域的影响和作用。
仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《AI 技术内参》,新⼈⾸单¥98
《AI 技术内参》,新⼈⾸单¥98
立即购买
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论