Realm
2022-12-18
来自浙江
https://shimo.im/docs/5rk9dVyblnFzZLqx 根据课程讲解以及原代码,自己理解整理的调度过程。
4
Geek_crazydaddy
2022-12-17
来自江苏
把worker获取任务的channel换成channel切片,索引值就是优先级,然后用多个select按序监听这些channel,而且要加default,没读到就立即跳过?
2
顷
2023-01-13
来自浙江
if !req.Task.Reload { ... } // 这里我们为任务 Task 引入了一个新的字段 Reload,标识当前任务的网页是否可以重复爬取。如果不可以重复爬取,我们需要在失败重试前删除 Visited 中的历史记录。 这里逻辑是不是反了?如果能重复爬,才需要再重新调度之前删掉记录吧。
翡翠虎
2022-12-20
来自广西
用哈希表结构有什么好处?这样的话是不是就显得单机了?如果用类似redis这样的存储,加上布谷鸟算法,能够做到既省空间又支持多机协同,会不会更好?