后端技术面试38讲
李智慧
同程艺龙交通首席架构师，前Intel&阿里架构师，《大型网站技术架构》作者
立即订阅
4026 人已学习
课程目录
已更新 37 讲 / 共 38 讲
0/4登录后，你可以任选4讲全文学习。
开篇词 (1讲)
开篇词 | 掌握软件开发技术的第一性原理
免费
软件的基础原理 (8讲)
01丨程序运行原理：程序是如何运行又是如何崩溃的？
02丨数据结构原理：Hash表的时间复杂度为什么是O(1)？
03丨Java虚拟机原理：JVM为什么被称为机器（machine）？
04丨网络编程原理：一个字符的互联网之旅
05丨文件系统原理：如何用1分钟遍历一个100TB的文件？
06丨数据库原理：为什么PrepareStatement性能更好更安全？
07丨编程语言原理：面向对象编程是编程的终极形态吗？
答疑丨Java Web程序的运行时环境到底是怎样的？
软件的设计原理 (14讲)
08丨软件设计的方法论：软件为什么要建模？
09丨软件设计实践：如何使用UML完成一个设计文档？
10 | 软件设计的目的：糟糕的程序员比优秀的程序员差在哪里？
11丨软件设计的开闭原则：如何不修改代码却能实现需求变更？
12 | 软件设计的依赖倒置原则：如何不依赖代码却可以复用它的功能？
13丨软件设计的里氏替换原则：正方形可以继承长方形吗？
14 | 软件设计的单一职责原则：为什么说一个类文件打开最好不要超过一屏？
15丨软件设计的接口隔离原则：如何对类的调用者隐藏类的公有方法？
16 | 设计模式基础：不会灵活应用设计模式，你就没有掌握面向对象编程
17 | 设计模式应用：编程框架中的设计模式
18 | 反应式编程框架设计：如何使程序调用不阻塞等待，立即响应？
19 | 组件设计原则：组件的边界在哪里？
20 | 领域驱动设计：35岁的程序员应该写什么样的代码？
答疑丨对于设计模式而言，场景到底有多重要？
架构的核心原理 (13讲)
21丨分布式架构：如何应对高并发的用户请求
22 | 缓存架构：如何减少不必要的计算？
23 | 异步架构：如何避免互相依赖的系统间耦合？
24 | 负载均衡架构：如何用10行代码实现一个负载均衡服务？
25 | 数据存储架构：如何改善系统的数据存储能力？
26 | 搜索引擎架构：如何瞬间完成海量数据检索？
27 | 微服务架构：微服务究竟是灵丹还是毒药？
28 | 高性能架构：除了代码，你还可以在哪些地方优化性能？
29 | 高可用架构：我们为什么感觉不到淘宝应用升级时的停机？
30 | 安全性架构：为什么说用户密码泄漏是程序员的锅？
31 | 大数据架构：大数据技术架构的思想和原理是什么？
32 | AI与物联网架构：从智能引擎到物联网平台
33 | 区块链技术架构：区块链到底能做什么？
不定期加餐 (1讲)
加餐 | 软件设计文档示例模板
后端技术面试38讲
登录|注册
26 | 搜索引擎架构：如何瞬间完成海量数据检索？
李智慧 2020-01-22
我们在使用搜索引擎的时候，搜索结果页面会展示搜索到的结果数目以及花费时间。比如用 Google 搜索中文“后端技术”这个词，会显示找到约 6.7 亿条结果，用时 0.45 秒。
我们知道 Google 收录了全世界几乎所有的公开网页，这是一个非常庞大的数目，那么 Google 是如何做到在如此短的时间内完成了如此庞大的数据搜索呢？
搜索引擎倒排索引
数据的搜索与查找技术是计算机软件的核心算法，这方面已有非常多的技术和实践。而对于搜索引擎来说，要对海量文档进行快速内容检索，主要使用的是倒排索引技术。
像 Google 这样一个互联网搜索引擎，首先需要通过网络爬虫获取全球的公开网页。那么搜索引擎如何知道全世界的网页都在哪里呢？
事实上，互联网一方面是将全世界的人和网络应用联系起来，另一方面，也将全世界的网页通过超链接联系起来，几乎每个网页都包含了一些其他网页的超链接，这些超链接互相链接，就让全世界的互联网构成了一个大的网络。所以，搜索引擎只需要解析这些网页，得到里面的超链接，然后继续下载这些超链接的网页，继续解析，这样就可以得到全世界的网页了。
这个过程具体是这样的。首先选择一些种子 URL，然后通过爬虫将这些 URL 对应的页面爬下来。其实，所谓的爬虫，就是发送 URL 请求，下载相应的 HTML 页面，然后将这些 Web 页面存储在自己的服务器上，并解析这些页面的 HTML 内容，当解析到网页里超链接 URL 的时候，再检查这个超链接是否已经在前面爬取过了，如果没有，就把这个超链接放到一个队列中，后面会请求这个 URL，得到对应的 HTML 页面并解析其包含的超链接……如此不断重复，就可以将全世界的 Web 页面存储到自己的服务器中。
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《后端技术面试38讲》，如需阅读全部文章，
请订阅文章所属专栏。
请订阅文章所属专栏。
立即订阅
登录 后留言
精选留言(3)
虢國技醬pagerank和点赞都属于认可类型的推荐属于集体智慧
词频应该是另一种相关度的类型2020-01-30 1
旅梦开发团如果有一些延展就好了 给一些实例的github 链接。 比如 简单PageRank 实现 点赞数排序....2020-01-29 1
Citizen Z这个课后题有点难，肯定要把整个过程并行化，预感拆解任务是个有技术含量的事，还是等标准答案吧 Orz2020-01-26
收起评论