27 | 大数据从哪里来？

反爬虫策略： 网页时代，验证header&签名，动态加载，反selenium/phantomjs，ip封禁，有毒数据，动态爬虫阈值（过了阈值后依然允许爬一阵再封禁），各种验证码，云厂商反爬模式识别 app时代，ios和安卓的反逆向，比如安卓的加壳，代码混淆，强制登录token，账户管理，反抓包（ssl pin），包签名校验，反注入（监测），so，LLVM混淆，反Hook，异常账号识别，模式识别 应对这些反爬虫策略: 网页，从简单的header伪装，机器学习验证码，验证码打码平台，ip代理商，反动态抓取校验，阈值报警，多策略爬取校验 应对手机反爬：这个是逆向安全团队，加壳有脱壳，账号有养账号，短信打码平台，反抓包有xposed切面hook，反sslpinning，签名校验有调试关闭，so包有模拟环境调用，IDA调试。脚本精灵抓包。 当爬虫发现爬取收益小于爬取代价，又没法改变，无利可图的时候，就应该放弃。

李老师，您知道的大数据框架很多，请问您从哪里第一次知道这些框架的？或者您有哪些获取资讯的渠道？

"这是因为互联网应用需要实时响应用户操作，基本上都是在毫级完成用户的数据读写操作，通过前面的学习我们知道，大数据不是为这种毫秒级的访问设计的。"，发现少了一个”秒”字。

請問老師 MySQL的binlog用Canel 那麼另一個特別流行的postgresql該用什麼工具呢 謝謝

利用熵增熵减原理来过好这一生

Sqoop适合离线批量导入关系数据库的数据，Canle适合实时导入关系数据库的数据。 flume是比较常用的大数据日志收集工具。 前端埋点采集。很多前端操作不会引发后端响应，但对于分析用户行为十分重要。 大数据计算的整个过程确实是熵大大降低的过程，因为很多不为人知、难以发觉的规律，被从海量数据中整理出来了。

反爬虫技术：检查头浏览器信息；检查refer是否正常的流程链上的URL；对IP 或者 imei mac进行实时计算请求量高的；避免csrf攻击的办法也可以用在这里调用接口检查ID；针对通过无界面浏览器的爬取行为要进行行为分析 比如简单的操作步骤间隔时间等 应对策略：对于疯狂的爬虫封禁。想对付的竞争对手进行真假数据混合。消磨对手排查时间

1.请求头 2.ip地址 3.验证码 4.js加密 5.必须登录 6.真假数据混合 7.据说还有sql注入的，这个没有遇到过

针对http请求头，通过对token，session验证来反爬 针对ip，如果一个ip的行为异常，比如单位时间内请求书过高就封掉一段时间 通过验证码，像那种左滑就是 针对行为通过机器学习来预测一个请求是人发出的还是机器发出的 总之就是尽量为难机器

阅过留痕 数据及数据采集是大数据的核心，也是计算机界的核心，没有数据计算机就没有了生产资料。计算机的一切操作无非是对数据的增删改查加上一些业务逻辑，以达到挖掘数据价值，提高社会运行效率的作用。