趣谈Linux操作系统
刘超
网易杭州研究院云计算技术部首席架构师
立即订阅
30236 人已学习
课程目录
已完结 72 讲
0/4登录后,你可以任选4讲全文学习。
入门准备篇 (3讲)
开篇词 | 为什么要学习Linux操作系统?
免费
01 | 入学测验:你究竟对Linux操作系统了解多少?
02 | 学习路径:爬过这六个陡坡,你就能对Linux了如指掌
核心原理篇:第一部分 Linux操作系统综述 (3讲)
03 | 你可以把Linux内核当成一家软件外包公司的老板
04 | 快速上手几个Linux命令:每家公司都有自己的黑话
05 | 学会几个系统调用:咱们公司能接哪些类型的项目?
核心原理篇:第二部分 系统初始化 (4讲)
06 | x86架构:有了开放的架构,才能打造开放的营商环境
07 | 从BIOS到bootloader:创业伊始,有活儿老板自己上
08 | 内核初始化:生意做大了就得成立公司
09 | 系统调用:公司成立好了就要开始接项目
核心原理篇:第三部分 进程管理 (10讲)
10 | 进程:公司接这么多项目,如何管?
11 | 线程:如何让复杂的项目并行执行?
12 | 进程数据结构(上):项目多了就需要项目管理系统
13 | 进程数据结构(中):项目多了就需要项目管理系统
14 | 进程数据结构(下):项目多了就需要项目管理系统
15 | 调度(上):如何制定项目管理流程?
16 | 调度(中):主动调度是如何发生的?
17 | 调度(下):抢占式调度是如何发生的?
18 | 进程的创建:如何发起一个新项目?
19 | 线程的创建:如何执行一个新子项目?
核心原理篇:第四部分 内存管理 (7讲)
20 | 内存管理(上):为客户保密,规划进程内存空间布局
21 | 内存管理(下):为客户保密,项目组独享会议室封闭开发
22 | 进程空间管理:项目组还可以自行布置会议室
23 | 物理内存管理(上):会议室管理员如何分配会议室?
24 | 物理内存管理(下):会议室管理员如何分配会议室?
25 | 用户态内存映射:如何找到正确的会议室?
26 | 内核态内存映射:如何找到正确的会议室?
核心原理篇:第五部分 文件系统 (4讲)
27 | 文件系统:项目成果要归档,我们就需要档案库
28 | 硬盘文件系统:如何最合理地组织档案库的文档?
29 | 虚拟文件系统:文件多了就需要档案管理系统
30 | 文件缓存:常用文档应该放在触手可得的地方
核心原理篇:第六部分 输入输出系统 (5讲)
31 | 输入与输出:如何建立售前售后生态体系?
32 | 字符设备(上):如何建立直销模式?
33 | 字符设备(下):如何建立直销模式?
34 | 块设备(上):如何建立代理商销售模式?
35 | 块设备(下):如何建立代理商销售模式?
核心原理篇:第七部分 进程间通信 (7讲)
36 | 进程间通信:遇到大项目需要项目组之间的合作才行
37 | 信号(上):项目组A完成了,如何及时通知项目组B?
38 | 信号(下):项目组A完成了,如何及时通知项目组B?
39 | 管道:项目组A完成了,如何交接给项目组B?
40 | IPC(上):不同项目组之间抢资源,如何协调?
41 | IPC(中):不同项目组之间抢资源,如何协调?
42 | IPC(下):不同项目组之间抢资源,如何协调?
核心原理篇:第八部分 网络系统 (7讲)
43 预习 | Socket通信之网络协议基本原理
43 | Socket通信:遇上特大项目,要学会和其他公司合作
44 | Socket内核数据结构:如何成立特大项目合作部?
45 | 发送网络包(上):如何表达我们想让合作伙伴做什么?
46 | 发送网络包(下):如何表达我们想让合作伙伴做什么?
47 | 接收网络包(上):如何搞明白合作伙伴让我们做什么?
48 | 接收网络包(下):如何搞明白合作伙伴让我们做什么?
核心原理篇:第九部分 虚拟化 (7讲)
49 | 虚拟机:如何成立子公司,让公司变集团?
50 | 计算虚拟化之CPU(上):如何复用集团的人力资源?
51 | 计算虚拟化之CPU(下):如何复用集团的人力资源?
52 | 计算虚拟化之内存:如何建立独立的办公室?
53 | 存储虚拟化(上):如何建立自己保管的单独档案库?
54 | 存储虚拟化(下):如何建立自己保管的单独档案库?
55 | 网络虚拟化:如何成立独立的合作部?
核心原理篇:第十部分 容器化 (4讲)
56 | 容器:大公司为保持创新,鼓励内部创业
57 | Namespace技术:内部创业公司应该独立运营
58 | cgroup技术:内部创业公司应该独立核算成本
59 | 数据中心操作系统:上市敲钟
实战串讲篇 (9讲)
60 | 搭建操作系统实验环境(上):授人以鱼不如授人以渔
61 | 搭建操作系统实验环境(下):授人以鱼不如授人以渔
62 | 知识串讲:用一个创业故事串起操作系统原理(一)
63 | 知识串讲:用一个创业故事串起操作系统原理(二)
64 | 知识串讲:用一个创业故事串起操作系统原理(三)
65 | 知识串讲:用一个创业故事串起操作系统原理(四)
66 | 知识串讲:用一个创业故事串起操作系统原理(五)
期末测试 | 这些操作系统问题,你真的掌握了吗?
结束语 | 永远别轻视任何技术,也永远别轻视自己
免费
专栏加餐 (2讲)
学习攻略(一):学好操作系统,需要掌握哪些前置知识?
“趣谈Linux操作系统”食用指南
免费
趣谈Linux操作系统
15
15
1.0x
00:00/00:00
登录|注册

19 | 线程的创建:如何执行一个新子项目?

刘超 2019-05-10
上一节,我们了解了进程创建的整个过程,今天我们来看线程创建的过程。
我们前面已经写过多线程编程的程序了,你应该都知道创建一个线程调用的是 pthread_create,可你知道它背后的机制吗?

用户态创建线程

你可能会问,咱们之前不是讲过了吗?无论是进程还是线程,在内核里面都是任务,管起来不是都一样吗?但是问题来了,如果两个完全一样,那为什么咱们前两节写的程序差别那么大?如果不一样,那怎么在内核里面加以区分呢?
其实,线程不是一个完全由内核实现的机制,它是由内核态和用户态合作完成的。pthread_create 不是一个系统调用,是 Glibc 库的一个函数,所以我们还要去 Glibc 里面去找线索。
果然,我们在 nptl/pthread_create.c 里面找到了这个函数。这里的参数我们应该比较熟悉了。
int __pthread_create_2_1 (pthread_t *newthread, const pthread_attr_t *attr, void *(*start_routine) (void *), void *arg)
{
......
}
versioned_symbol (libpthread, __pthread_create_2_1, pthread_create, GLIBC_2_1);
下面我们依次来看这个函数做了些啥。
首先处理的是线程的属性参数。例如前面写程序的时候,我们设置的线程栈大小。如果没有传入线程属性,就取默认值。
const struct pthread_attr *iattr = (struct pthread_attr *) attr;
struct pthread_attr default_attr;
if (iattr == NULL)
{
......
iattr = &default_attr;
}
接下来,就像在内核里一样,每一个进程或者线程都有一个 task_struct 结构,在用户态也有一个用于维护线程的结构,就是这个 pthread 结构。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《趣谈Linux操作系统》,如需阅读全部文章,
请订阅文章所属专栏
立即订阅
登录 后留言

精选留言(28)

  • Milittle
    刘老师,您好,您可以把文档中给出的代码文件定位给出来么,一般在对应看源码的时候,很难定位到老师给的代码点的对应源码文件,谢谢老师~老师讲的真的让我把多年的零散知识可以连贯起来,然后理解的更加透彻,但是也会有不太理解的地方,再次感谢。这个课很值得~。
    总结以下进程和线程的异同点:
    1. 进程有独立的内存空间,比如代码段,数据段。线程则是共享进程的内存空间。
    2. 在创建新进程的时候,会将父进程的所有五大数据结构复制新的,形成自己新的内存空间数据,而在创建新线程的时候,则是引用进程的五大数据结构数据,但是线程会有自己的私有(局部)数据,执行栈空间。
    3. 进程和线程其实在cpu看来都是task_struct结构的一个封装,执行不同task即可,而且在cpu看来就是在执行这些task时候遵循对应的调度策略以及上下文资源切换定义,包括寄存器地址切换,内核栈切换,指令指针寄存器的地址切换。所以对于cpu而言,进程和线程是没有区别的。
    4. 进程创建的时候直接使用系统调用fork,进行系统调用的链路走,从而进入到_do_fork去创建task,而线程创建在调用_do_fork之前,还需要维护pthread这个数据结构的信息,初始化用户态栈信息。
    自己就能意识到这几点,如果有理解不到位,或者不全面的地方,还请老师给予指点,谢谢老师。
    2019-05-10
    29
  • why
    - 线程的创建
    - 线程是由内核态和用户态合作完成的, pthread_create 是 Glibc 库的一个函数
    - pthread_create 中
    1. 设置线程属性参数, 如线程栈大小
    2. 创建用户态维护线程的结构, pthread
    3. 创建线程栈 allocate_stack
        - 取栈的大小, 在栈末尾加 guardsize
        - 在进程堆中创建线程栈(先尝试调用 get_cached_stack 从缓存回收的线程栈中取用)
        - 若无缓存线程栈, 调用 `__mmap` 创建
        - 将 pthread 指向栈空间中
        - 计算 guard 内存位置, 并设置保护
        - 填充 pthread 内容, 其中 specific 存放属于线程的全局变量
        - 线程栈放入 stack_used 链表中(另外 stack_cache 链表记录回收缓存的线程栈)
    4. 设置运行函数, 参数到 pthread 中
    5. 调用 create_thread 创建线程
        - 设置 clone_flags 标志位, 调用 `__clone`
        - clone 系统调用返回时, 应该要返回到新线程上下文中, 因此 `__clone` 将参数和指令位置压入栈中, 返回时从该函数开始执行
    6. 内核调用 `__do_fork`
        - 在 copy_process 复制 task_struct 过程中, 五大数据结构不复制, 直接引用进程的
        - 亲缘关系设置: group_leader 和 tgid 是当前进程; real_parent 与当前进程一样
        - 信号处理: 数据结构共享, 处理一样
    7. 返回用户态, 先运行 start_thread 同样函数
        - 在 start_thread 中调用用户的函数, 运行完释放相关数据
        - 如果是最后一个线程直接退出
        - 或调用 `__free_tcb` 释放 pthread 以及线程栈, 从 stack_used 移到 stack_cache 中
    2019-05-14
    1
    17
  • jacy
    pstree -apl pid看进程树
    pstack pid 看栈

    作者回复: 赞

    2019-08-01
    12
  • why
    老师, 多线程的内核栈是共享的吗, 会不会出现问题?

    作者回复: 不共享,进了内核都是单独的任务了

    2019-05-14
    5
  • 徐凯
    "将这个线程栈放到 stack_used 链表中,其实管理线程栈总共有两个链表,一个是 stack_used,也就是这个栈正被使用;另一个是 stack_cache,就是上面说的,一旦线程结束,先缓存起来,不释放,等有其他的线程创建的时候,给其他的线程用。" 这一段是线程池的意思么 如果是的话 既然内部已经有这个设计 我们有时候还要在程序中自己去设计一个呢?

    作者回复: 内核没有线程池的概念,把线程弄一个池子,是业务层做的。这里只是内核栈的复用。

    2019-05-10
    5
  • Geek_b8928e
    创建进程的话,调用的系统调用是 fork,在 copy_process 函数里面,会将五大结构 files_struct、fs_struct、sighand_struct、signal_struct、mm_struct 都复制一遍,从此父进程和子进程各用各的数据结构。而创建线程的话,调用的是系统调用 clone,在 copy_process 函数里面, 五大结构仅仅是引用计数加一,也即线程共享进程的数据结构。
    2020-03-22
    2
  • neohope
    关于clone_flags标志位的含义,可以参考一下这里http://man7.org/linux/man-pages/man2/clone.2.html

    If CLONE_THREAD is set, the child is placed in the same thread group as the calling process.
    When a clone call is made without specifying CLONE_THREAD, then the resulting thread is placed in a new thread group whose TGID is the same as the thread's TID. This thread is the leader of the new thread group.

    If CLONE_PARENT is set, then the parent of the new child (as returned by getppid(2)) will be the same as that of the calling process.
    If CLONE_PARENT is not set, then (as with fork(2)) the child's parent is the calling process.
    2019-12-10
    2
  • kdb_reboot
    三刷: 感觉应该讲清楚这一点,"角色划分"
    内核态是用来管理的,用户态是提供给用户用的
    这才有了为什么要两个模式来回切换, 以及,真正调度,是内核态来做的,而用户态执行是用户态自己做,这才有了单独的线程栈
    内存模型也很重要

    另外想请教个问题:从上下文来理解, 所以说,主线程的栈是用整个用户空间的栈?子线程的栈在进程的堆里面?
    2019-09-28
    1
  • humor
    老师之前说过进程默认会有一个主线程,意思是在创建进程的时候也会同时创建一个线程吗?

    作者回复: 不会,这个进程的task_struct就代表这个线程

    2019-05-30
    1
    1
  • nora
    之前总是认为线程和进程都占用了内核的taskstruct 认为实际上线程进程没啥区别,这篇文章真是醍醐灌顶啊,谢谢老师。

    作者回复: 赞,加油

    2019-05-18
    1
  • lfn
    所以,线程局部变量其实是存储在每个线程自己的用户栈里咯?

    作者回复: 是的

    2019-05-10
    1
  • 相逢是缘
    1、pthread_create 不是一个系统调用,是 Glibc 库的一个函数
    2、在内核里一样,每一个进程或者线程都有一个 task_struct 结构,线程在用户态也有一个用于维护线程的结构,就是这个 pthread 结构
    3、创建线程栈
    ----用户态int err = ALLOCATE_STACK (iattr, &pd);
    ---程属性里面设置过栈的大小,需要你把设置的值拿出来
    ---为了防止栈的访问越界,在栈的末尾会有一块空间 guardsize
    ---其实线程栈是在进程的堆里面创建的get_cached_stack
    ---如果缓存里面没有,就需要调用 __mmap 创建一块新的
    ---线程栈也是自顶向下生长的,还记得每个线程要有一个 pthread 结构,这个结构也是放在栈的空间里面的。在栈底的位置,其实是地址最高位。
    ---计算出 guard 内存的位置,调用 setup_stack_prot 设置这块内存的是受保护的
    ---开始填充 pthread 这个结构里面的成员变量 stackblock、stackblock_size、guardsize、specific。
    ---将这个线程栈放到 stack_used 链表中,使用完之后放到stack_cache中
    ---其实有了用户态的栈,接着需要解决的就是用户态的程序从哪里开始运行的问题
    pd->start_routine = start_routine;
    pd->arg = arg;
    pd->schedpolicy = self->schedpolicy;
    pd->schedparam = self->schedparam;
    /* Pass the descriptor to the caller. */
    *newthread = (pthread_t) pd;
    atomic_increment (&__nptl_nthreads);
    retval = create_thread (pd, iattr, &stopped_start, STACK_VARIABLES_ARGS, &thread_ran);
    start_routine 就是咱们给线程的函数,start_routine,start_routine 的参数 arg,以及调度策略都要赋值给 pthread

    ----内核态
    --系统调用__clone
    将线程要执行的函数的参数和指令的位置都压到栈里面,当从内核返回,从栈里弹出来的时候,就从这个函数开始
    --在 copy_process 复制 task_struct 过程中, files、fs、sighand、mm、五大数据结构不复制, 直接引用进程的
    --亲缘关系:新进程group_leader就是自己,tgid就是他的pid,real_parent 是当前的进程。新线程group_leader是当前进程的,tgid是当前进程的tgid,real_parent 是当前集成的real_parent;
    --信号处理:共享信号

    4、用户态执行线程
    --所有的线程统一的入口start_thread
    --用户的函数执行完毕之后,会释放这个线程相关的数据
    a、线程数目也减一,如果这是最后一个线程了,就直接退出进程
    b、_free_tcb 用于释放 pthread,__free_tcb 会调用 __deallocate_stack 来释放整个线程栈,放到缓存的线程栈列表 stack_cache 中;
    2020-08-15
  • 爱听故事的人想会讲故事
    刘老师,这里创建线程,并没有提内核栈,那内核栈在线程间是共享的么?
    2020-06-23
  • 蹦哒
    老师、同学们,不知道如下认识是否正确呢:
    1.原来线程存在的价值是复用进程的部分内存(引用五大结构),又是一个享元模式(Flyweight Design Pattern)的体现
    2.线程函数局部变量在用户态的线程栈中(是在进程的堆里面创建的),独立的内存块,所以多线程之间无需考虑共享数据问题;而进程的全局变量,由于多线程是共享了进程数据,再加上各个线程在内核中是独立的task被调度系统调度,随时会被抢占并且访问同一个全局变量,所以多线程之间需要做共享数据保护

    作者回复: 是的

    2020-06-14
    1
  • honnkyou
    在 start_thread 入口函数中,才真正的调用用户提供的函数,
    是指pd->start_routine吗?
    2020-03-31
  • 小橙子
    在 copy_process 的主流程里面,无论是创建进程还是线程,都会初始化 struct sigpending pending,也就是每个 task_struct,都会有这样一个成员变量。

    但是文中给的实例 创建线程因为有clone_thread 这个flag,就直接返回了,并没有调用nit_sigpending(&p->pending);
    2020-03-05
  • 周佳
    老师好,这里线程创建后的调度是否是和进程创建后的调度一样的逻辑呢?
    2020-01-13
  • garlic
    进程线程查看命令:ps,top,pidstat,pstree
    函数栈查看打印命令:
     pstack
    jstack (java)
    gdb (C/C++/go)
    kill -SIGQUIT [pid] (go)

    相关API:

    C:
    glibc backtrace
    Boost stacktrace
    libunwind

    Java:
    getStackTrace;

    go:
    panic
    debug.PrintStack
    pprof.Lookup("goroutine").WriteTo
    runtime.Stack

    python
    traceback objects
    StackSummary Objects
     笔记链接 https://garlicspace.com/?p=1678&preview=true
    2019-10-12
  • 空格
    不知道我的理解对不对?线程fork后内核态会创建task_struct,之后还是会尝试wakeup_preempt_entity,然后之后接受调度,调度成功后才会在用户态执行start_thread方法?不知道我这个理解对不对?
    2019-09-18
  • tuyu
    老师, 我最近在看k8s专栏, docker的原理是使用clone的namespace参数, 所以容器的创建, 实际上是线程的创建吗

    作者回复: 在容器那一节会讲的,clone有个特殊的参数操作namespace。其实clone和fork底层调用的是差不多的

    2019-08-26
收起评论
28
返回
顶部