18 | 搜索引擎：输入搜索词以后，搜索引擎是怎么工作的？

作者回复: 搜索引擎方面的书籍，其实《信息检索导论》是可以作为基础学习的。因为其中一个作者就是Google的副总裁，书中就以搜索引擎为例子。包括还有《搜索引擎:信息检索实践》。 国内还有《这就是搜索引擎:核心技术详解》这类书籍，都可以看看。 至于网络爬虫，这更偏向于实践和工程。可能要结合你使用的编程语言。比如说Python的scrapy，或者Java相关的网络爬虫书籍。

作者回复: page rank是Google很重要的一个专利，不过它的核心思想其实不复杂。它通过分析不同网页之间的相互链接关系，来判断网页的质量。打个比方，就像论文引用一样，被大量高质量论文引用的论文，应该也是高质量论文。page rank就是通过这样的方式，对每个网页赋予了一个质量分。 那具体会在哪些环节使用page rank质量分呢？ 1.在进行索引分层时，高质量网页和普通质量网页需要区分，这时候page rank质量分就是一个很重要的参考。 2.打分排序阶段，page rank质量分也是很重要的因子。 3.在进行锚文本分析时，高质量网页出来的锚文本更重要。 4.在爬虫抓取网页时，可以优先抓取高质量的网页链接出来的网页。 以上是我想到的一些场景，供参考

作者回复: 其实复杂的系统都是由简单的子系统和技术构成的。 架构设计的目的，就是希望能将复杂系统拆解成更简单的子系统，使得我们可以更容易去开发实现。 而在子系统中，在我们了解了对应的原理和解决方案以后，我相信开发起来会容易上手得多。 当然，技术也是一直在进化的，专业的技术和算法优化肯定也是一直在前进。比如说排序算法，就从bm25到机器学习再到深度学习，这就是典型的例子。工业系统中的具体优化细节有很多，肯定不是一个专栏能写得完的。但这些新技术的根源还是从原理和解决问题出发演化出来的。因此，我们要更好地去理解原理和场景，这能帮助我们更好地理解和学习新技术。 还有，关于是否堆机器的问题，现在许多大型系统都是采用分布式架构，一个好处就是可以堆机器，大家也的确都会堆机器。但是我们也不能无脑堆机器。比如说，网页的数量每年增长30%，那难道搜索引擎的服务器就要每年加30%?这是不现实的。因此，我们需要使用分层索引的设计，来保证我们不需要堆太多的机器。

作者回复: 是的。这其实是一个贪心算法。局部最优一定是全局最优。 首先，第一个词可能会出现在n个位置。我们遍历第一个词的所有位置。 然后，当第一个词固定位置时，我们寻找这个位置后面的最近的第二个词的位置。这样就能固定第二个词的位置。 接着，在第二个词固定以后，我们再在第二个词后面，找最近的第三个词的位置。那么，这个位置和第一个词的位置结合，就是这次计算得到的最小窗口长度。(之所以说是贪心算法，是因为我们不需要穷举所有第二个词和第三个词的位置组合，而是只需要找最近的就可以了) 然后我们把第一个词的这n个位置的最小窗口长度都算出来，取最小的一个，就得到了最终结果。 当然，在求第一个词的n个位置的n个最小窗口的过程中，我们还能利用之前计算的结果。比如说第一个词的第二个位置，其实也在第二个词的前面，那么第二个词的位置不用变，第三个词的位置也不用变了。 整体来说，你会看到，位置信息索引法，计算代价会比较大，因此，对于热门短语，能直接作为key加入倒排索引是更高效的。

作者回复: 如果是从零开始，进行文本搜索的话，最简单的做法是使用MySQL的全文检索功能，但是效果会比较差。 如果想更精准地进行关键词检索，那么可以使用elastic search来搭建你们的系统。当然，如果想定制各种功能，那么可以走上自研的方向。

作者回复: 不需要加锁。memtable使用了巧妙的无锁设计，使得性能能更优。

作者回复: 其实不需要动态规划法，使用贪心法就够了。 首先我们算出来锁定A1时的最小窗口。然后我们再去计算当第一个关键词取A2位置时的最小窗口。 在计算A2的最小窗口的时候，我们可以先判断A2的位置是否小于B1,如果小于的话，那么最小窗口就是A2-B1－C1。如果A2大于B1的话，那么就重新往后找到B2。以此类推。这样，对于每个关键词的位置，我们都不会回头重复计算。

作者回复: 一般来说，我们会采用微服务架构来搭建系统。系统中有一个排序模型的服务，专门负责排序功能。这个服务可以使用逻辑回归模型来实现，也能使用深度学习模型，但是不管内部怎么实现，对外提供一个统一的服务接口即可。

作者回复: 在标准的短语查询中，窗口的定义就是第一个词到最后一个词的距离。 你提出的两两之间的距离也是有意思的一个提法，也许在某些场景下是有效的，不过这样的判断可能会造成第一个词和最后一个词距离太远，在短语查询这个例子中可能不是很合适。