• ivhong
    2022-03-17
    非常感谢老师带着做了一次这样的实现，因为我自己也尝试过这种实现（纯粹是为了学习用）。有几个问题我不是特别明白，不知道是不是和老师理解的一样，望老师闲暇之余给予指正，谢谢！ 1. 这个是不是叫“协程池”，为什么叫做“线程池”？两者有什么区别呢？或者是到底什么是“协程”呢？ 2. 是不是这节课的实现，也纯粹是为了学习而实现的，个人理解，go实现Goroutine，就是为了解决“线程池”的繁琐，让“并发”实现的不用那么的麻烦，如果是超小“任务”，不用考虑线程频繁切换导致系统资源的浪费。如果再实现“协程池”的话，是不是丢失了这种优点？ 3. 常驻内存的Goroutine，反复使用，会导致这个Goroutine的内存越来越大，或者其他隐藏的风险么？

    作者回复: 好问题。 1. 传统理解的coroutine一般是面向协作式，而非抢占式。像python中通过yield关键字创建的协程，与主routine之间是在一个线程上实现的切换执行，从设计角度是通过coroutine实现了并发(concurrency)，但其实它们还是串行执行的，不会真正并行(paralellism)，即便在多核处理器上。 基于上面的理解，我们就可以意识到goroutine并非传统意义上的coroutine，是支持抢占的，而且也必须依赖抢占实现runtime对goroutine的调度。它更像thread，可以绑定不同的cpu核并行执行（如果是在多核处理器上的话）。同时基于goroutine的设计也会一种并发的设计。 而goroutine与thread又不同，goroutine是在用户层(相较于os的内核层）调度的，os并不知道其存在，goroutine的切换相对轻量。而thread是os 来调度的，切换代价更高一些。 所以文中将goroutine称为“轻量级线程”，而不是协程。 2. 你理解的没错。这节课是为了演示goroutine、channel之间的调度与通信机制而“设计”出来的。goroutine使用代价很低，通常不用考虑池化。但是在一些大型网络服务程序时，一旦goroutine数量过多，内存占用以及调度goroutine的代价就不能不考虑了。于是有了“池化”的思路。这与传统的线程池的思路的确是一脉相承的 3. go是gc的，内存不会越来越大。

    
    11
  • $侯
    2022-01-17
    老师您好请教几个问题： 第一个问题，demo1中没有看到p.Free的代码示例，Free方法只是向p.quit <- struct{}{}发送一个空结构体就可以吗，请教下Free方式该如何写 第二个问题，demo1中好像也没看看到p.wg.Wait()

    作者回复: 原文中有源码的链接，在最后。 源码在 https://github.com/bigwhite/publication/tree/master/column/timegeek/go-first-course/35 看了后，就可以回答你的问题了。

    共 7 条评论
    3
  • Darren
    2022-01-17
    老师以下几个问题哈： 1、第一种实现中，这块是不是有点问题： go func() { defer func() { if err := recover(); err != nil { fmt.Printf("worker[%03d]: recover panic[%s] and exit\n", i, err) <-p.active } p.wg.Done() }() <-p.active是不是应该要放到if的外面，如果task执行本身没有出错，正常结束了，active没有减少的地方 2、这块文字描述有点问题，p<-active应该是<-p.active “使用了 defer+recover 对 panic 进行捕捉，捕捉后 worker 也是要退出的，于是我们还通过p<-active更新了 worker 计数器” 3、第二种实现中，当没有提前创建worker，那么当tasks中有任务的时候，p.returnTask方法是干啥的？文章中没有这个方法，且文字也没有说明呀 func (p *Pool) run() { idx := len(p.active) if !p.preAlloc { loop: for t := range p.tasks { p.returnTask(t) select { case <-p.quit: return case p.active <- struct{}{}: idx++ p.newWorker(idx) default: break loop } } }
    展开

    作者回复: 看的真细致！👍 1. worker一旦创建后，除了panic和quit通知退出，worker是不会退出的，也就是没有所谓“正常退出”的情况。所以没在defer中调用<-p.active。 2. 的确是笔误,感谢指出。 3. 在文后有源码链接。这里的task仅是触发了worker创建，这里是调度循环，不处理task，所以要把task扔回tasks channel，等worker启动后再处理。

    共 12 条评论
    3
  • Geek_0d5d37
    2023-04-06 来自四川
    老师您好，这个段代码作用我也不太理解 if !p.preAlloc { loop: for t := range p.tasks { p.returnTask(t) select { case <-p.quit: return case p.active <- struct{}{}: idx++ p.newWorker(idx) default: break loop } } } 您在留言中回答 当preAlloc=false时有用 ，如果是这样demo1 就是等于fasle的情况没使用这段代码的 ，请老师有空回答一下

    作者回复: 当preAlloc=false时，即不预分配时。这样就根据tasks的情况来创建worker。如果当前没有task，实际上系统中没有worker被创建出来，直到有task才会创建worker。一直到active channel满了！这样pool中所有worker都创建出来后，再跳出循环，进入下面的quit监听。 不过workpool2的这段代码的确有refactor的空间😁。可以写的更好理解一些。

    共 3 条评论
    1
  • Six Days
    2023-03-09 来自广东
    请教一下，池化的话，当前的demo1场景是不是没有考虑使用同一个worker进行t任务的处理，而是通过不断的创建 Goroutine实现的，通过capacity控制了处理任务Goroutine的数量，通过Go gc 来实现Goroutine的回收，是不是因为Goroutine 的占内存比较小，为此没有做Goroutine 的复用，所以采用不断创建，还是当前为了简单演示呢，实际还是需要复用Goroutine 的呢？

    作者回复: demo1创建goroutine后没有回收，一直是复用的，最多创建capacity个goroutine，直到pool销毁。

    
    1
  • Six Days
    2023-03-09 来自广东
    请教一下，p.active 的chan 容量指定是capacity，而只有run的时候，才会通过p.active <- struct{}{} 往p.active中丢东西，p.active 才会变多，达到capacity时。任务T则阻塞，我理解 run 只会New的时候触发，请问是否与文中描述一致呢？ func (p *Pool) run() { idx := 0 for { select { case <-p.quit: return case p.active <- struct{}{}: // create a new worker idx++ p.newWorker(idx) } } }

    作者回复: run在New中调用，active满了，代表capacity个worker goroutine已经创建完毕，后续将重用这些goroutine。这时候run会阻塞在select上直到quit channel有数据才会退出。p.active 那个case后续没用了。

    
    1
  • demajiao
    2023-01-22 来自浙江
    if !p.preAlloc { loop: for t := range p.tasks { p.returnTask(t) select { case <-p.quit: return case p.active <- struct{}{}: idx++ p.newWorker(idx) default: break loop } } } 这段代码感觉没用呀。

    作者回复: 当preAlloc=false时，即不预分配时，有用。

    
    1
  • 撕影
    2023-01-14 来自湖南
    为何关键变化不写出来？太仓促了吧，一篇最后一节以没看懂收场，对学生打击可不小啊老师

    作者回复: “关键变化”，指的是？

    
    1
  • Sunrise
    2022-11-24 来自辽宁
    考虑到 Goroutine 调度的次序的不确定性，这里我在创建 workerpool 与真正开始调用 Schedule 方法之间，做了一个 Sleep，尽量减少 Schedule 都返回失败的频率 这块也不太懂，为啥不加 Sleep 会全返回失败呢？

    作者回复: 最后一版Schedule加入了default分支，当pool资源不够又设置为non block时，schedule肯定会返回error啊。

    
    1
  • Sunrise
    2022-11-23 来自北京
    有几个问题不大理解，望老师抽空解答： 1）自引用函数与选项设计是为了解决 go 函数没有默认参数和可选参数吗? go 函数为什么没有设计默认参数和可选参数呢？ 2）为什么下面的 for { select ... } 放到 goroutine 中 才会输出 ch2: 2 ch1: 1 done， 如果直接放到外面只会输出 done？ func TestSelect(t *testing.T) { ch1 := make(chan int) ch2 := make(chan int) go func() { ch1 <- 1 }() go func() { ch2 <- 2 }() go func() { for { select { case i := <-ch1: fmt.Println("ch1:", i) case j := <-ch2: fmt.Println("ch2:", j) default: fmt.Println("done") return } } }() // ch2: 2 ch1: 1 done }

    作者回复: 问题1：主要是为了可选参数吧。为什么go没有原生支持默认参数与可选参数，我猜是因为go设计者压根就不想引入这个复杂性。 问题2: 和goroutine的调度顺序有关。

    
    1