本人刚接触爬虫这一块不久，看到思考题留的作业，按照自己对爬虫浅薄的理解回答一下： 1. 假如爬虫冒充搜索引擎，怎么办？ 以百度搜索引擎的爬虫为例、爬虫会带有标识，如 baiduspider，可以初步判断为搜索引擎。 假如其他爬虫此时也加上了baiduspider的标识，那么可以根据robots.txt 协议来进行处理。 爬虫所抓取的链接在robots.txt协议中，进一步可以认为搜索引擎。 而往往其他爬虫不像搜索引擎，它是不遵守robots.txt协议的，它抓取的链接以及数据可能也不在约定的协议中，那么可以认为爬虫冒充了搜索引擎。 此时对这类爬虫进行拦截，识别到这类爬虫后，接口可以返回非正常数据，还见过虚假数据，让竞争对手拿到的是虚假数据。 2. 爬虫为这个世界做了什么贡献？ 个人认为，爬虫对这个世界最大的贡献是数据的聚合。 没有爬虫之前，每个站点的数据都犹如一座孤岛，很难在众多孤岛找到所需要的数据，解决待满足的需求。 搜索引擎的爬虫很好的解决这个问题，只需要一个输入框，输入想问的问题，搜索引擎将爬虫抓取到的数据进行优化，将更相关的资料优先展示在网页上。 3. 你的爬虫或者反爬虫的经历是什么？有什么奇葩的经历吗？ 爬虫经历： 一、 为了找到某些关键词在搜索引擎的需求以及权重。 将某一个关键词，通过爬虫的方式从各大搜索引擎获取前10条返回结果。 搜索引擎能够返回的数据，说明需求量是比较大的。 二、 通过爬虫抓取第三方数据平台，获取文章以及短视频的各方面的数据。 比如通过爬虫对短视频平台的视频去水印、视频文案提取。 反爬虫经历： 接口防刷。 简单介绍一下背景，所在的公司有电商业务，当品牌做一些活动时，参与人数会比较多，而其中有小部分人会利用爬虫来刷接口。 处理方法： 针对用户的请求及频率，如果是爬虫，频率会比较高，增加图形验证码，通过图形验证码才能后续的操作。 自己的奇葩经历： 自从了解一些爬虫知识后，看到有意思的网站或者app，总是忍不住想抓包看一下它们的接口。 经常魔怔，比如看到一些加密的请求，虽然不知道有什么意义，总是想研究一番，常常研究半天还是没能琢磨透。