02 | 爬虫的内卷和黑化：我们变得不正经啦
DS Hunter
你好，我是 DS Hunter。
在上节课里，我们讲了上古田园时代和春秋时代的爬虫发展，这个时候爬虫还是有礼节的。但是到了后面的战国时期，就彻底礼崩乐坏，慢慢变得无恶不作了。爬虫也从一门技术，变成了一门生意。
因此，面临这种超出想象的变化，在激烈的对抗间，我们的各类招式也层出不穷。这节课，我们就聚焦到战国时代，我会给你讲解几个在爬虫和反爬虫的斗争期间，双方常用到的招式，像爬虫方常用的接口定制化爬虫、机器人工双校验，以及反爬虫方常用的数据混淆策略和字体文件反爬。
这些招式会按照相互克制的顺序展开。我们一块来看看，在商业的高度内卷下，爬虫变成了什么样子。
黑化的爬虫和反爬虫的对抗
在战国时期爬虫和反爬虫的对抗中，服务器的压力已经不再是最大的问题了。
服务器是固定成本，而且大厂通常十分冗余，或者说浪费。即使有部分爬虫来，也不会造成什么影响。这个时候大家更关注的是：如何在商业上获胜。商业竞争逐渐激烈，面对这样的环境，爬虫越来越接口定制化。
爬虫第一招：接口定制化爬虫
定制化，简单地说就是只拉接口，不拖泥带水地进行没用的请求。我给你画了一个接口定制化爬虫产生的过程图，你可以参考一下。
接口定制化爬虫产生过程
最早，爬虫还没有开始接口定制化，而反爬虫会根据 IP 以及访问频率进行简单的封锁。举例来说，假设一个 IP 地址只访问你的价格接口，不访问你的其余接口，也不访问静态页面，那么，超过一定的阈值，这个 IP 地址就会被拉黑。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
爬虫技术在商业竞争中的内卷和黑化成为了焦点。文章介绍了爬虫方的接口定制化爬虫和反爬虫方的数据混淆策略。随着商业竞争的激烈，爬虫技术变得越来越定制化，而反爬虫方则开始利用被爬取数据产生价值，通过给出错误信息干扰对方商业决策。这种技术对抗的演变展示了爬虫技术的商业化和黑化趋势。文章详细介绍了爬虫方和反爬虫方在数据混淆和校验方面的博弈，包括机器人工双校验、随机虚假价格和两次请求、部分随机价格和有意抓取、策略针对和人工校验等。这些策略展示了双方在技术对抗中的巧妙操作和反制手段。整体而言，文章深入探讨了爬虫技术在商业竞争中的应用和演变，对于了解爬虫技术的发展和商业化趋势具有重要参考价值。
仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《反爬虫兵法演绎 20 讲》，新⼈⾸单¥59
《反爬虫兵法演绎 20 讲》，新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(10)
- 最新
- 精选
GAC·DU阴在阳之内，不在阳之对，太阳，太阴。借用一句兵法回应老师的七言半绝句作者回复: 哈哈哈，昨天刚重看了《古董局中局》，今天就又看到这句话了，有点巧唉。
2022-01-215
奕之前做爬虫都是从技术的角度进行思考 进行应对，现在学到了新的视角 从商业，数据的角度进行思考问题作者回复: 换个维度思考，有可能更有效。
2022-01-233
程序员二师兄回答一下第一题：别的酷炫但得不偿失的爬虫反爬虫技巧。 不知道接口数据加密算不算： 1、前端发起请求时，在header中使用签名生成的加密参数，由后端进行校验。 2、后端返回数据时，在body中返回的数据是加密后的数据。 因为发起请求的加密方法在前端，在web端可以通过源码，debug 调试js来找到加密参数。 同理，后端加密数据的解密方法也在前端，也可以找到。 在这里，反爬虫对web端js进行了混淆，处理难度增加了不少，可以拦住不少爬虫方。 但对于厉害的爬虫工程师，费些时间，还是能够搞定的。作者回复: 这个其实还好，而且算通用做法了。前端加密不是用于拦住爬虫，而是为了拖死爬虫。这个后面会讲。前端加密做的好，还是可以让对方付出大量代价的。当然的确有些自以为是的脚本，会反倒拖垮自己。比如引发兼容问题。就真的得不偿失了。
2022-01-2123
peter大佬：你这个课很不错啊。能后续出一个移动端的版本吗？作者回复: 如果效果好可以再出。
2022-01-222
夜空中最亮的星精彩作者回复: 谢谢捧场😘
2022-01-212
圆桌π讲得明白编辑回复: 那就好～继续往后看吧～
2022-02-271
嘿，小战士古神藏于苦海内，心魔生在方寸间。出自哪？编辑回复: 哈哈，出自老师的感悟哦～
2022-01-211
LHW怎么识别是爬虫作者回复: 后面会有
2022-01-26
webmin看完这，发现自己在爬和反爬上想得还是太浅，还是把自家产品做出特色，跳出价格竞争的死循环才是王道。作者回复: 对的，很多老板靠爬虫想拿到价格优势，还是有点想当然了。还是商业做好才是王道，鸡鸣狗盗之徒虽有用，但并不能帮孟尝君得天下。
2022-01-22
Elnino大佬，我觉得你文采不错，完全可以写本书啊，多带劲，《爬虫战争》2022-10-08归属地：北京
收起评论
