28｜调度引擎：负载均衡与调度器实战

bug应该是，会丢失发给worker的任务。 case r := <-s.requestCh:的情况下，如果req不是nil，应该把req再添加到reqQueue头部

有个小问题请教一下老师， 这个Seeds 是slice， 我觉得在取出任务的时候会有并发问题 如果没有请老师指教下

本文档中的代码链接 tag v0.1.4 （之前的文档，也一样）对应的 URL 都是主库的地址（https://github.com/dreamerjackson/crawler），这是故意的吗？正确的应该是 https://github.com/dreamerjackson/crawler/archive/refs/tags/v0.1.4.tar.gz

如何控制某个爬虫任务的启动，停止和任务的实时运行状态？

如果任务推送到worker，但又还没实施，这时候那台服务器停机了，或者进程退出了，任务会不会丢？怎么处理任务还没执行就丢了的这种情况呢？

for { var req *collect.Request var ch chan *collect.Request if len(reqQueue) > 0 { req = reqQueue[0] reqQueue = reqQueue[1:] ch = s.workerCh } select { case r := <-s.requestCh: reqQueue = append(reqQueue, r) case ch <- req: } } 有个问题： 如果ch堵塞了 这时候又有requestCh请求上来；会不会导致ch数据丢失？

Seeds | | req ParseFunc(req) HandleResult() requestCh----> reqQueue -----> workerCh ----------> out-----------> result: ^ - item ==> 存储 | - req | |---------------<----------------------<---------------------<------|

我有好几个问题 1.为啥req和ch放在for循环内部声明，这样有个问题，就是work来不及执行的话，会丢失。 2.如果requestCh中的任务很多的话，会导致work队列中没有能够运行的任务。

func (s *Schedule) Schedule() { var reqQueue = s.Seeds go func() { for { var req *collect.Request var ch chan *collect.Request if len(reqQueue) > 0 { req = reqQueue[0] ch = s.workerCh } select { case r := <-s.requestCh: reqQueue = append(reqQueue, r) case ch <- req: reqQueue = reqQueue[1:] } } }() }

修复下Schedule方法的bug： func (s *Schedule) schedule() { go func() { for r := range s.requestCh { s.reqQueueCond.L.Lock() s.reqQueue = append(s.reqQueue, r) s.reqQueueCond.Signal() s.reqQueueCond.L.Unlock() } }() go func() { for { s.reqQueueCond.L.Lock() for len(s.reqQueue) == 0 { s.reqQueueCond.Wait() } var movedReqQueue = s.reqQueue s.reqQueue = nil s.reqQueueCond.L.Unlock() for _, r := range movedReqQueue { s.workerCh <- r } } }() }