• neohope
    2022-03-15
    你们的公司出于各种原因,BFF 没有选择 Node.js 技术栈。那么,你是硬着头皮在这种技术栈做反爬呢,还是想办法让 BFF 转 Node.js 呢?如果你认为不可能成功,那么理由是什么呢? 两个极端的团队难以引入新技术,一是技术信仰的洁癖,二是技术思想过于陈旧。 布道不成,那就变通一下呗,AST等用到JS解析器器的想办法调用Node处理,其他Java、CPP、PHP、Go、Lua什么的写写呗 Express 的官方自定义 Engine 的 demo 里面,会频繁读文件。虽然 Node.js 是异步的,但是也顶不住没完没了的读硬盘啊。如何提升性能呢? 自己改Express【硬件省人不省】 或 用好缓存【硬件省人不省】 或 更换高速硬盘设备【钱多人懒不在乎】 集群实现随机,你精心配置,终于实现了 79.4%。然后机器扩容,随机值又变了。那么,如何处理这个问题呢? 第一个念头是,写个小工具,贪婪算法出方案,人工看下没啥问题就上了 非要人工的话,可以用3~5台为一组,配置出需要的数值,每次都上或下一组

    作者回复: 都差不多,关于问题3,其实集群随机应该是临时方案,不应该存在太久。所以不应该持续到发布完。如果过久,可以临时舍弃这个根率。

    
    
  • peter
    2022-02-25
    请教老师几个问题: Q1: AST转换是指什么? Q2: 机器核数一般10核,那么2倍是20个连接。但tomcat需要创建500个连接? Q3: Node.js 天生是为单 CPU 设计的,而 Cluster 本身只是充分利用了多核 Q4:Node.js天生高并发,它的并发处理能力多大?比Nginx还强吗? Node比Java后端的并发能力强吗? 如果是的话,那岂不是要取代Java后端了? Q5:哪些毕业生会疯狂爬取数据啊?

    作者回复: 好多,手机不方便回一部分吧,node不见得能超过nginx,但是node写逻辑是写js,这一点nginx比不了。实际上很多node前面还放一个nginx。cluster用了多核,不过并不会有额外收益,所以宁可选择用docker分。ast 就是语法转换,webpack有专门的文档介绍可以参考,能改代码结构,我们用来做加密。

    
    
  • leslie
    2022-02-25
    均衡看似简单,实则如西天取经。 集群随机的问题聊聊自己的薄见,不知老师是和观点? 集群部分随机,如同兵法~实实虚虚,实则虚之,虚则实之;不过这又给均衡带来了难题-哪里均衡?

    作者回复: 都是踩钢丝行为,如履薄冰

    
    