MySQL实战45讲
林晓斌
网名丁奇,前阿里资深技术专家
立即订阅
43178 人已学习
课程目录
已完结 48 讲
0/4登录后,你可以任选4讲全文学习。
开篇词 (1讲)
开篇词 | 这一次,让我们一起来搞懂MySQL
免费
基础篇 (8讲)
01 | 基础架构:一条SQL查询语句是如何执行的?
02 | 日志系统:一条SQL更新语句是如何执行的?
03 | 事务隔离:为什么你改了我还看不见?
04 | 深入浅出索引(上)
05 | 深入浅出索引(下)
06 | 全局锁和表锁 :给表加个字段怎么有这么多阻碍?
07 | 行锁功过:怎么减少行锁对性能的影响?
08 | 事务到底是隔离的还是不隔离的?
实践篇 (37讲)
09 | 普通索引和唯一索引,应该怎么选择?
10 | MySQL为什么有时候会选错索引?
11 | 怎么给字符串字段加索引?
12 | 为什么我的MySQL会“抖”一下?
13 | 为什么表数据删掉一半,表文件大小不变?
14 | count(*)这么慢,我该怎么办?
15 | 答疑文章(一):日志和索引相关问题
16 | “order by”是怎么工作的?
17 | 如何正确地显示随机消息?
18 | 为什么这些SQL语句逻辑相同,性能却差异巨大?
19 | 为什么我只查一行的语句,也执行这么慢?
20 | 幻读是什么,幻读有什么问题?
21 | 为什么我只改一行的语句,锁这么多?
22 | MySQL有哪些“饮鸩止渴”提高性能的方法?
23 | MySQL是怎么保证数据不丢的?
24 | MySQL是怎么保证主备一致的?
25 | MySQL是怎么保证高可用的?
26 | 备库为什么会延迟好几个小时?
27 | 主库出问题了,从库怎么办?
28 | 读写分离有哪些坑?
29 | 如何判断一个数据库是不是出问题了?
30 | 答疑文章(二):用动态的观点看加锁
31 | 误删数据后除了跑路,还能怎么办?
32 | 为什么还有kill不掉的语句?
33 | 我查这么多数据,会不会把数据库内存打爆?
34 | 到底可不可以使用join?
35 | join语句怎么优化?
36 | 为什么临时表可以重名?
37 | 什么时候会使用内部临时表?
38 | 都说InnoDB好,那还要不要使用Memory引擎?
39 | 自增主键为什么不是连续的?
40 | insert语句的锁为什么这么多?
41 | 怎么最快地复制一张表?
42 | grant之后要跟着flush privileges吗?
43 | 要不要使用分区表?
44 | 答疑文章(三):说一说这些好问题
45 | 自增id用完怎么办?
特别放送 (1讲)
直播回顾 | 林晓斌:我的 MySQL 心路历程
结束语 (1讲)
结束语 | 点线网面,一起构建MySQL知识网络
MySQL实战45讲
登录|注册

01 | 基础架构:一条SQL查询语句是如何执行的?

林晓斌 2018-11-14
你好,我是林晓斌。
这是专栏的第一篇文章,我想来跟你聊聊 MySQL 的基础架构。我们经常说,看一个事儿千万不要直接陷入细节里,你应该先鸟瞰其全貌,这样能够帮助你从高维度理解问题。同样,对于 MySQL 的学习也是这样。平时我们使用数据库,看到的通常都是一个整体。比如,你有个最简单的表,表里只有一个 ID 字段,在执行下面这个查询语句时:
mysql> select * from T where ID=10
我们看到的只是输入一条语句,返回一个结果,却不知道这条语句在 MySQL 内部的执行过程。
所以今天我想和你一起把 MySQL 拆解一下,看看里面都有哪些“零件”,希望借由这个拆解过程,让你对 MySQL 有更深入的理解。这样当我们碰到 MySQL 的一些异常或者问题时,就能够直戳本质,更为快速地定位并解决问题。
下面我给出的是 MySQL 的基本架构示意图,从中你可以清楚地看到 SQL 语句在 MySQL 的各个功能模块中的执行过程。
MySQL 的逻辑架构图
大体来说,MySQL 可以分为 Server 层和存储引擎层两部分。
Server 层包括连接器、查询缓存、分析器、优化器、执行器等,涵盖 MySQL 的大多数核心服务功能,以及所有的内置函数(如日期、时间、数学和加密函数等),所有跨存储引擎的功能都在这一层实现,比如存储过程、触发器、视图等。
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《MySQL实战45讲》,如需阅读全部文章,
请订阅文章所属专栏。
立即订阅
登录 后留言

精选留言(562)

  • 林晓斌 置顶
    感谢大家的积极评论。
    答案是分析器。
    @threefat 提到Oracle,MySQL确实在设计上受Oracle影响颇深。
    @圈圈圆圆 高性能MySQL里面概念学得好。
    @Yezhiwei 等几位,说正文里面已经暗示答案的同学,你们这么机智👍🏿

    后面每期的问题,我们会在下一期的结尾的给出解释,不过只是“参考”哦,以评论区的质量,我估计到时候只需要引用优秀评论就好了 ^_^
    2018-11-16
    325
  • 一步 置顶
    我认为是优化器的,优化器会进行优化分析,比如用先执行哪个条件,使用哪个索引。如果没有对应的字段就会报错的,我看其他评论说是执行器,原因是这个时候才打开表获取数据,但是表的字段不是数据啊,是事先定义好的,所以可以直接读取的,不需要打开表。这是我的看法,希望老师点评一下是否正确

    作者回复: “不是执行器”这一点,你分析得很好😄

    2018-11-14
    146
  • threefat 置顶
    课后答案:分析器。Oracle会在分析阶段判断语句是否正确,表是否存在,列是否存在等。猜测MySQL也这样。

    作者回复: MySQL确实在设计上受Oracle影响颇深。就是这样哈,分析器做了这个工作。另外有评论里面举例高性能MySQL 里面概念的同学、说正文里面已经暗示答案的同学,远程点赞了哈😄😄 就喜欢你们这么机智的回答👍🏿

    2018-11-14
    129
  • 李志博 置顶
    应该是分析器吧,老师我还有个问题,如果有memory 引擎,还有redis 存在的必要吗,应该是有的吧,两者的场景?

    作者回复: 这个后面专门有一篇《要不要用memory引擎》会说明,先说结论,redis很有必要😄

    2018-11-14
    2
    30
  • 圈圈圆圆
    《高性能mysql》里提到解析器和预处理器。

    解析器处理语法和解析查询, 生成一课对应的解析树。

    预处理器进一步检查解析树的合法。比如: 数据表和数据列是否存在, 别名是否有歧义等。如果通过则生成新的解析树,再提交给优化器。

    所以我觉得课后习题的错误应该发生在在分析器处理阶段>_<
    2018-11-14
    180
  • 有个问题不太明白,为什么对权限的检查不在优化器之前做?

    作者回复: 有些时候,SQL语句要操作的表不只是SQL字面上那些。比如如果有个触发器,得在执行器阶段(过程中)才能确定。优化器阶段前是无能为力的

    2018-11-14
    2
    121
  • yezhizi
    源码安装完MySQL之后,使用Debug模式启动
    mysqld --debug --console &后,
    mysql> create database wxb;
    Query OK, 1 row affected (0.01 sec)

    mysql> use wxb;
    Database changed
    mysql> create table t(a int);
    Query OK, 0 rows affected (0.01 sec)

    mysql> select * from t where k=1;
    ERROR 1054 (42S22): Unknown column 'k' in 'where clause'

    T@4: | | | | | | | | | error: error: 1054 message: 'Unknown column 'k' in 'where clause''

    Complete optimizer trace:
    答案就很清楚了

    作者回复: 嗯嗯,Trace 日志是个好东西

    2018-11-14
    1
    89
  • 尼古拉斯·赵四
    我创建了一个没有select权限的用户,执行select * from T where k=1,报错“select command denied”,并没有报错“unknown column”,是不是可以说明是在打开表之后才判断读取的列不存在?

    作者回复: 这个是一个安全方面的考虑。你想想一个用户如果没有查看这个表的权限,你是会告诉他字段不对还是没权限?如果告诉他字段不对,其实给的信息太多了,因为没权限的意思还包含了:没权限知道字段是否存在😄

    2018-11-14
    1
    68
  • WL
    为该讲总结了几个问题, 大家复习的时候可以先尝试回答这些问题检查自己的掌握程度:

    1.
    MySQL的框架有几个组件, 各是什么作用?
    2.
    Server层和存储引擎层各是什么作用?
    3.
    you have an error in your SQL syntax 这个保存是在词法分析里还是在语法分析里报错?
    4.
    对于表的操作权限验证在哪里进行?
    5.
    执行器的执行查询语句的流程是什么样的?

    作者回复: 非常好👍🏿

    2018-11-24
    2
    61
  • Geek_75aada
    执行器 这个阶段才会打开表 才会知道表有哪些列
    2018-11-14
    51
  • ditiki
    请问能否在专业名词旁边加上它们的英文名称,比如分析器,优化器等等。谢谢!

    作者回复: 是好建议,下一篇开始这么执行哈😄

    2018-11-14
    42
  • xuan
    答案是分析器,理由如下:
    根据文章分析器主要做两个事情,先做词法分析后做语法分析,词法分析主要做的是根据mysql的关键字进行验证和解析,而语法分析会在词法解析的基础上进一步做表名和字段名称的验证和解析;
           看完整篇文章有个疑问望解答,在执行阶段为什么需判断对表是否有执行查询的权限,而不是在分析阶段去做;根据mysql中的information_schema库的存储信息理论上可以在分析器阶段判断是否有权限。
     
    2018-11-14
    33
  • Jason
    1,连接
    连接管理模块,接收请求;连接进程和用户模块,通过,连接线程和客户端对接
    2,查询
    查询缓存 Query Cache
    分析器,内建解析树,对其语法检查,先from,再on,再join,再where......;检查权限,生成新的解析树,语义检查(没有字段k在这里)等
    优化器,将前面解析树转换成执行计划,并进行评估最优
    执行器,获取锁,打开表,通过meta数据,获取数据
    3,返回结果
    返回给连接进程和用户模块,然后清理,重新等待新的连接

    请大神指正😂

    作者回复: 最后是“等待新的请求”哈,其他部分很不错呢

    2018-11-14
    32
  • luffy
    应该是分析器 1.从功能模块的职责来考虑 2.从性能来考虑,错误越晚发现成本越高。
    2018-11-14
    30
  • 分析器,感觉老师故意只讲了词法语法解析,却没有讲语义解析。很坏⊙∀⊙!

    作者回复: 被…被发现了😺

    2018-11-15
    1
    27
  • zhxilin℃+
    优化器阶段。个人理解:
    1.编译原理告诉我们做一个Parser,核心有三步:词法分析、语法分析和语义分析;
    2.分析器负责词法分析和语法分析,即将查询分解成一个个Identifier(词法分析),构造一棵解析树,整棵树只确保没有语法错误(语法分析),比如检查标识符是否有效、语句是否闭合等;
    3.优化器紧接着分析上一步的解析树,这时才解决分析器阶段无法做的语义分析,也就是会检查表名、列表等是否正确、是否存在。
    所以此题我认为是优化器阶段。
    2018-11-14
    27
  • Kids Return
    建议github上面建立一个仓库 方便大家一起在上面完善笔记脑图之类的 这样我就不用记笔记了
    2018-11-14
    23
  • 深藏Blue
    入手比较晚,说下个人对为什么是分析器的看法。
    连接器:门卫,想进请出示准入凭证(工牌、邀请证明一类)。“你好,你是普通员工,只能进入办公大厅,不能到高管区域”此为权限查询。
    分析器:“您需要在公司里面找一张头发是黑色的桌子?桌子没有头发啊!臣妾做不到”
    优化器:“要我在A B两个办公室找张三和李四啊?那我应该先去B办公室找李四,然后请李四帮我去A办公室找张三,因为B办公室比较近且李四知道张三具体工位在哪”
    执行器:“好了,找人的计划方案定了,开始行动吧,走你!糟糕,刚门卫大哥说了,我没有权限进B办公室”

    作者回复: 哈哈,很不错,有意思啊👍

    2019-01-17
    1
    22
  • 400磅
    总结:
    客户端连接到服务端,获取到权限等信息, 然后在连接的有效时长内(interactive_timeout和wait_timeout参数控制, 5.7版本会断开可以自动重连)对sql进行处理。

    首先会判断查询缓存是否开启,如果已经开启,会判断sql是select还是update/insert/delete,对于select,尝试去查询缓存,如果命中缓存直接返回数据给客户端, 如果缓存没有命中,或者没有开启缓存, 会进入到下一步分析器。

    分析器进行语法分析、词法分析,检查sql的语法顺序等得到解析树, 然后预处理器对解析树进一步分析,验证数据表、字段是否存在,通关之后sql进入下一步优化器,所以课后问题一定是分析器阶段了。

    优化器对sql执行计划分析, 得到最终执行计划,得到优化后的执行计划之后交给执行器。

    执行器调用存储引擎api执行sql,得到响应结果, 将结果返回给客户端,如果缓存是开启状态, 会更新缓存。

    问题1:
        在缓存开启状态下, 要判别sql是select还是其他类型,保证只有select才去查询缓存,那么这个判断操作是何时进行的呢? 我猜测在查询缓存之前, 但是分析器也要对sql关键字进行分析,再分析一遍岂不是重复? 因为我没有看源码,所以这一块不明白, 如果我来设计的话, 可能是把查询缓存这个模块在分析器阶段来执行, 由分析器进行关键字解析,判断是何种sql语句,如果是select, 再去查询缓存, 如果不是继续往下进行好像更合理,看到大家都说先查询缓存,没有命中再去分析器, 感觉不太通。
        
    问题2:
        在mysql中通过“explain extended和show warnings”命令来查看的sql, 是不是优化器重写之后的sql? 以前我看到一本书中提到,也可能是一篇博客,mysql的单表的union查询其实会优化成or查询, 但是show warnings看到的还是union查询语句,所以有此疑问。

    问题3:
        update等sql清空缓存是在sql执行完返回结果给客户端之前还是之后, 还是说同时进行的, 会不会存在清空缓存失败, 但是告诉客户端update success, 缓存的地方一直不是很清楚, 所以正好 will be removed in a future releas, 真是一个大快人心。

    作者回复: 很好的总结。

    1. 实际上肯定是要判断出是select语句, 但是之后的解析都没做哈。 要理解成“包含在内”也可以。

    2. Show wanings不会把重写后的显示出来,只是格式化后

    3. 清空缓存失败这个不太可能,这个内部结构的操作没什么依赖

    2018-11-30
    21
  • 志平
    请问您的逻辑架构图是用什么工具画的?谢谢
    2018-11-15
    21
收起评论
99+
返回
顶部