• blackpiglet
    2019-11-15
    第一种调度方式很容易产生碎片,第二种方式应该是追求当前资源利用最大化的算法,道理上讲,应该是不容易产生碎片的,但感觉要实现任务优先级的排序课程中介绍的还不够,但实际应用应该有更复杂的实现吧。
    
     2
  • ost
    2020-02-05
    老师你好,有个地方不怎么明白
    为什么说:第二层调度只能获得部分资源视图?
    文章前面不是说过:Mesos Master 的 Scheduler 进程收集所有节点的空闲资源信息,并以Resource Offer 的方式将空闲资源发送给注册的框架;那么既然是收集所有节点的空闲资源,为什么二级调度又只能获得部分资源视图呢。
    
    
  • i am silly🐭
    2019-12-20
    有一个问题啊,他分配是根据所有节点的总资源进行分配的,那么如果有一个任务,任何一个节点的资源都不够执行这个任务,但是只要两个节点资源就可以执行这个任务,那么这个任务会分配资源吗??
    按照上面的算法的话是会分配的。
    
    
  • Eternal
    2019-10-30
    又落下了好多天,继续打卡,今天的总结:
    两层调度,第一层调度负责调度分配资源,将资源分配给第二层调度,第二层调度拿到资源后将任务和资源进行匹配,然后再将调度任务透传给第一层调度。

    这样做的好处:
    1.第一层调度只负责资源调度,第二层调度只匹配资源和任务,第二层调度和框架结合,可以很方便的扩展CPU密集型任务和IO密集型任务
    2.第一层的资源调度是稳定点:变化少的需求,第二层是变化点:变化多的需求,可以支持不同扩展不同的客户端,第二层在第一层的基础上实现,两层调度理解为将之前的一层调度拆分成2层,为了适应不同类型的任务和客户端,也可以理解成解耦吧

    两层调度让我想到了另外一个知识点:
    JVM中的线程池调度模型好像也是两级调度,第一级调度是线程池对线程的调度,第二级是JVM中线程映射到操作系统中的轻量级进程调度,一个是由程序自己控制,一个是由操作系统控制
    展开
    
    
  • 没有昵称
    2019-10-26
    老师你好 两层调度的时候,第一层将资源信息已经上报给 第二层,第二层根据上报的资源信息与任务匹配,在匹配完,二层为什么不直接下发任务给对应的服务器,而是下发给一层,由一层去调度,这样不是多了一步吗?难道一层还会修改任务的分配?

    作者回复: 这出于两点考虑:(1)架构的解偶性,第二层调度一般是框架的调度器,如果直接有第二层调度下发任务,则耦合很深,无法很少的适配不同的框架;(2)第二层调度统一管理资源的,如果上报给第二层调度的资源被使用,那么就不分配给其他框架,如果未被使用,第二层调度会将资源还回,第一层调度还可以上报给其他框架。

    
    
  • 张先生
    2019-10-22
    最大最小调度在没得到足够资源的情况下是释放已有资源还是等待其他进程释放资源?

    作者回复: 这个可以根据你的业务进行设计,这里只是任务与资源的匹配,当任务没有分配到足够资源时,任务不能执行。可以根据你的任务需求,下一次匹配时重新进行匹配,或者锁住改部分资源等待其他任务释放资源。

    
    
  • 任鹏斌
    2019-10-21
    老师两层调度中master节点挂掉怎么办?会重新选主还是怎么做的?

    作者回复: master节点的经典部署方式一般是一主两备,如果主故障了,会从备节点中选择一个主,也就是备升主。

    
    
  • 忆水寒
    2019-10-20
    没接触过,看的好痛苦。不过也要学习
    
    
  • VVK
    2019-10-19
    期待讲讲yarn。
    
    
  • Jackey
    2019-10-18
    仅从本文来看Mesos的两种算法都比较容易产生资源碎片吧,最大最小公平算法的例子中C和D有资源,但是用不了,这就是一种碎片吧。
    主导资源公平还没太想明白,如果A的任务需要6CPU和8G内存,B任务需要2CPU和2G内存时应该怎么分配?会不会分配完A就不管B了?这样资源碎片就更多了吧。等我去官网研究一下回来再看看😃
    
    
  • 坤
    2019-10-18
    请问Mesos的调度为什么不涉及存储呢?
     1
    
  • 黎
    2019-10-18
    有收获
    
    
  • leslie
    2019-10-18
    先打卡,再去官网看;mesos没碰过,先看完文章,双休日做作业。
    
    
我们在线,来聊聊吧