2019-07-31反爬虫策略：
网页时代，验证header&签名，动态加载，反selenium/phantomjs，ip封禁，有毒数据，动态爬虫阈值（过了阈值后依然允许爬一阵再封禁），各种验证码，云厂商反爬模式识别
app时代，ios和安卓的反逆向，比如安卓的加壳，代码混淆，强制登录token，账户管理，反抓包（ssl pin），包签名校验，反注入（监测），so，LLVM混淆，反Hook，异常账号识别，模式识别
应对这些反爬虫策略: 网页，从简单的header伪装，机器学习验证码，验证码打码平台，ip代理商，反动态抓取校验，阈值报警，多策略爬取校验
应对手机反爬：这个是逆向安全团队，加壳有脱壳，账号有养账号，短信打码平台，反抓包有xposed切面hook，反sslpinning，签名校验有调试关闭，so包有模拟环境调用，IDA调试。脚本精灵抓包。
当爬虫发现爬取收益小于爬取代价，又没法改变，无利可图的时候，就应该放弃。展开作者回复: 强，灰常全面~
1 20
2018-12-31利用熵增熵减原理来过好这一生 12
2018-12-30Sqoop适合离线批量导入关系数据库的数据，Canle适合实时导入关系数据库的数据。
flume是比较常用的大数据日志收集工具。
前端埋点采集。很多前端操作不会引发后端响应，但对于分析用户行为十分重要。
大数据计算的整个过程确实是熵大大降低的过程，因为很多不为人知、难以发觉的规律，被从海量数据中整理出来了。展开 5- 2018-12-29反爬虫技术：检查头浏览器信息；检查refer是否正常的流程链上的URL；对IP 或者 imei mac进行实时计算请求量高的；避免csrf攻击的办法也可以用在这里调用接口检查ID；针对通过无界面浏览器的爬取行为要进行行为分析 比如简单的操作步骤间隔时间等
应对策略：对于疯狂的爬虫封禁。想对付的竞争对手进行真假数据混合。消磨对手排查时间 3 - 2019-09-03李老师，您知道的大数据框架很多，请问您从哪里第一次知道这些框架的？或者您有哪些获取资讯的渠道？
作者回复: 需求和目标驱动。
你要做一件事，就要有清晰的目标和任务，为了达成任务需要什么的手段和工具，通过网络、专家、书籍各种渠道去了解各种可能的工具，因为目标清晰，所以什么样的工具是比较接近需求的，什么样的工具不太合适，可以很快做出判断，对于合适的，就进一步去学习和了解。
没有需求和目标怎么办？给自己创造一个。 1 2 - 2019-02-201.请求头
2.ip地址
3.验证码
4.js加密
5.必须登录
6.真假数据混合
7.据说还有sql注入的，这个没有遇到过展开 2 
2019-01-02通过这一节的学习，用煽减来看待大数据平台。
整个过程通过初始的数据获取，包括从数据库导入数据，有Sqoop,cancal的方式，日志系统导入数据，有Flume将数据库导入到HDFS中，SDK从前端埋点获取数据，及爬虫系统获取数据。
通过这些途径获取的数据经过大数据产品的数据处理返回给数据库处理过后的数据，这样得到的数据清洗有用的数据。
这就是一个大数据煽减的过程。展开 1
2020-02-05老师，可以讲下kylin 的应用场景吗。
2019-07-18敲黑板：文章的小节是重点中的重点。
2019-07-04可以用IP地址池、随机的user_agent等来应对反爬虫
2019-05-01关于数据从哪里来这个问题，在当前有这么多自动化数据导入、数据处理手段的前提下，数据获取、整理、清洗仍然存在很多不可避免的dirty work，怎么样看待和处理遇到的这种dirty work？
2019-01-22大数据获取不断地写磁盘会不会影响系统的性能？
2019-01-17請問老師 MySQL的binlog用Canel 那麼另一個特別流行的postgresql該用什麼工具呢 謝謝作者回复: Sqoop是SQL操作，所以是通用的。
2019-01-07“数据埋点需求的价值很多时候不能直观看到，所以在开发排期上往往被当作低优先级的需求。而很多埋点也确实最后没起到任何作用，加剧了大家这种印象。老板觉得数据重要，却又看不到足够的回报，也渐渐心灰意冷。”
大实话，我们今年的一个大项目也做了很多埋点，目的也是便于分析项目的上线效果，然而采集的大量数据并没有有效利用起来
2018-12-29反爬虫如果企业单单是在http请求头上监听，可以用scarpy框架有支持很多类库，模拟真实用户浏览器渲染请求，现在我也发现电商网站在开始使用请求参数加密的方式，而作为一个爬虫者，从技术手段的角度怎么应对，请老师答疑解惑。