2019-09-25防爬虫上次听到还有一个套路是网页中放一个隐藏链接，用户是看不到的，不会点到，爬虫会爬到，凡是访问这个链接的都是爬虫，禁掉作者回复: 好办法！
1
2019-07-31请问老师，防爬的一般套路是怎样的呢？谢谢作者回复: 大致思路：在网关上收集访问日志(Access Log)，进入Kafka，后台大数据系统分析访问日志，生成爬虫ip列表(简单的统计单位时间ip访问量，生成top ip列表，复杂的还可以根据访问模式+AI计算出爬虫行为)，这个爬虫ip列表再反馈给网关(网关可以定期拉取)，网关根据这个ip列表禁止访问。ip列表比较简单粗糙，也可以是用户id列表。
1- 2019-12-19那自己做个网关的话，如何做ha？也是用的keepalived去关联？然后所有的服务2个都注册么？？那如何下线服务呀。。。如果现在要选择一个网关的话在上面做拓展的话，是选择sprngclound gateaway么？有啥推荐么老师。
作者回复: 网关一般是无状态部署，可以水平扩展，它的前置一般还有负载均衡设备(比如nginx或者硬件如F5)。
服务注册可以采用Eureka服务注册中心，有专门的API支持下线操作，具体可以看其官方文档。
网关选择，zuul已经有很多落地案例，比较稳定，spring cloud gateway也可以尝试。 
2019-11-19波波老师，我现在实验碰到一个问题就是，我在网关之外部署了一个第三方前端应用，通过Faraday访问后端服务一直报跨域问题，但绕过faraday就可以，这个怎么解决，谢谢作者回复: 是网关报跨域错误，还是后台服务报跨域错误？
可以给相关spring应用添加全局跨域配置，参考：
https://www.baeldung.com/spring-cors 1
2019-08-28波波老师，如果大流量请求访问下，网关本身是否会成为瓶颈？网关本身是否也需要部署多台做负载均衡，看到Netflix的架构是在网关之前再搭一个AWS ELB，如果不使用AWS，是否还有其他解决方案？作者回复: 对，网关一般是无状态集群部署的，前置一般有硬件(如F5）或者软件(如nginx)LB做负载均衡，也有F5 -> nginx -> gateway软硬结合两层负载的，因为nginx配置相比F5方便。
2019-07-31响应流优化