• GAC·DU
    2022-01-21
    阴在阳之内,不在阳之对,太阳,太阴。借用一句兵法回应老师的七言半绝句

    作者回复: 哈哈哈,昨天刚重看了《古董局中局》,今天就又看到这句话了,有点巧唉。

    
    5
  • 一步
    2022-01-23
    之前做爬虫都是从技术的角度进行思考 进行应对,现在学到了新的视角 从商业,数据的角度进行思考问题

    作者回复: 换个维度思考,有可能更有效。

    
    3
  • 程序员二师兄
    2022-01-21
    回答一下第一题:别的酷炫但得不偿失的爬虫反爬虫技巧。 不知道接口数据加密算不算: 1、前端发起请求时,在header中使用签名生成的加密参数,由后端进行校验。 2、后端返回数据时,在body中返回的数据是加密后的数据。 因为发起请求的加密方法在前端,在web端可以通过源码,debug 调试js来找到加密参数。 同理,后端加密数据的解密方法也在前端,也可以找到。 在这里,反爬虫对web端js进行了混淆,处理难度增加了不少,可以拦住不少爬虫方。 但对于厉害的爬虫工程师,费些时间,还是能够搞定的。

    作者回复: 这个其实还好,而且算通用做法了。前端加密不是用于拦住爬虫,而是为了拖死爬虫。这个后面会讲。前端加密做的好,还是可以让对方付出大量代价的。当然的确有些自以为是的脚本,会反倒拖垮自己。比如引发兼容问题。就真的得不偿失了。

    共 2 条评论
    3
  • peter
    2022-01-22
    大佬:你这个课很不错啊。能后续出一个移动端的版本吗?

    作者回复: 如果效果好可以再出。

    
    2
  • 夜空中最亮的星
    2022-01-21
    精彩

    作者回复: 谢谢捧场😘

    
    2
  • 圆桌π
    2022-02-27
    讲得明白

    编辑回复: 那就好~继续往后看吧~

    
    1
  • 嘿,艺术家
    2022-01-21
    古神藏于苦海内,心魔生在方寸间。出自哪?

    编辑回复: 哈哈,出自老师的感悟哦~

    
    1
  • LHW
    2022-01-26
    怎么识别是爬虫

    作者回复: 后面会有

    
    
  • webmin
    2022-01-22
    看完这,发现自己在爬和反爬上想得还是太浅,还是把自家产品做出特色,跳出价格竞争的死循环才是王道。

    作者回复: 对的,很多老板靠爬虫想拿到价格优势,还是有点想当然了。还是商业做好才是王道,鸡鸣狗盗之徒虽有用,但并不能帮孟尝君得天下。

    
    
  • Elnino
    2022-10-08 来自北京
    大佬,我觉得你文采不错,完全可以写本书啊,多带劲,《爬虫战争》
    
    