09 | 反爬虫概述（一）：高收益的后端能做哪些基本的事情？

请教老师几个问题啊： Q1： BFF是什么？ Q2： 爬虫喜欢爬哪些网站？电商网站爬虫应该喜欢爬吧。除了电商网站，一般的垂直类网站会被爬虫爬吗？ 比如极客时间，会被爬虫爬吗？假如我想做一个电视节目类的网站，会被爬虫爬吗？ Q3： 离线检测，具体怎么做的？一个普通的服务？还是大数据组件（比如spark）? Q4： 规则引擎，自己开发的还是有现成的框架？ Q5： 生成key和验证key在不同的集群中，怎么会是同一个session？ Q6： 拦截操作放在生成key那里，返回一个错误key，怎么就降低验证key集群的压力了？ 客户端不管带不带key，请求都到了验证key集群，请求数量没有变少啊。

反爬系统没做好，就反而会形成了自身的漏洞。 K8流行的时代，关键point依然不习惯K8-资源隔离太差，一台实体机的多个虚拟机去实现-性能可能会更好；挂了就挂了不会影响到其它机器，docker/K8挂了就不一定只是自己挂了。 部署讲的是在稳定的基础上可以出现各种变招，单机、主备、高可用、负载均衡，不同的应用可以上不同的后台策略，技术是可以互相借鉴使用的。 关于第二个问题：Key的存储；key到底是临时存在键值库、还存在min版的文档库或者RDS里面代价也不一样，又或者key本来就是一个四不像。普通用户只管使用，不会去猜；机器则喜欢去算和猜。

真随机的salt，在验证时不是和生成时不一样了吗？那怎么验证key？

爬虫小白结合课程内容的发言💬： 1.“拦截率”下降，不代表不能反爬。 这是策略之一，数据大体上还是安全的。 拦截率下降了，那用户体验应该变好了。 而且随机跳过，对爬虫方有迷惑作用——我努力使他相信拿到了真实数据了。 2.（说实话，小白没看太懂MD5的道理） 我的大学数学学过函数的“映射”这一概念，想来这应该算是一种“加密”的手段了吧（请老师同学谅解小白的“土语”）。 3.窃以为个有优劣吧—— 一台机器，便宜，但技术要求高、容易被一锅端； 两个Doctor共享，贵，可能技术相对人均就简单一些，但容易因为共享，造成不可预测人事关系变动（eg：离职/跳槽/泄密/……）