• 老杨同志
    2019-02-06
    请教一个问题:如果只需要去重,不需要执行聚合函数,distinct 和group by那种效率高一些呢?

    课后习题:
    图8,把统计结果存内存临时表,不排序。id是从1到1000,模10的结果顺序就是1、2、3、4、5。。。
    图9,老师把tmp_table_size改小了,内存临时表装不下,改用磁盘临时表。根据老师讲的流程,id取模的结果,排序后存入临时表,临时的数据应该是0,0,0,0,0,0,0,0,0,0,1,1,1,1,1,1,1,1,1,1,2,......
    从这个磁盘临时表读取数据汇总的结果的顺序就是0,1,2,3,4,5。。。
    展开

    作者回复: 新年好

    好问题,我加到后面文章中。
    简单说下结论,只需要去重的话,如果没有limit,是一样的;
    有limit的话,distinct 快些。

    漂亮的回答👍

    
     25
  • 长杰
    2019-02-06
    图九使用的是磁盘临时表,磁盘临时表使用的引擎是innodb,innodb是索引组织表,按主键顺序存储数据,所以是按照m字段有序的。

    作者回复: 👍🏿
    春节快乐

    
     20
  • 天王
    2019-02-28
    内部临时表,和sort buffer,join buffer一样,都用来存放语句执行过程中的中间数据,辅助语句的执行。
    使用用法 using temporary。

    使用场景:1 数据一边查询,一边直接得到结果,不需要额外内存。比如:group by 需要计算。

              2 join_buffer 是无序数组(单字段,可以重复),sort_buffer 有序数组,内部临时表是二维结构

         3 用到二维表的特性需要用到内部临时表,比如 distinct ,group by

    优化:1 group by 字段加索引

          2 扩大临时表内存大小

          3 如果数据量比较大,直接使用磁盘临时表

          4 如果分组之后,不需要排序,手工 order by null



    group by 的顺序

    1 创建一个内部临时表,初始化字段 a(分组字段) b(数量)

    2 扫描表,一个个的判断,a字段值在临时表不存在,则插入(2,1),如果存在,比如(2,1),则加1,成为(2,2)

    3 分组之后,默认会进行排序,如果不需要顺序,用 order by null。
    展开

    作者回复: 👍很好的总结

    
     12
  • Sinyo
    2019-02-28
    老师好,
    我用infobright列式存储引擎explain出来一个group by语句,
    发现也会用到内存临时表和文件排序、然后使用SQL_BIG_RESULT也有同样优化效果;
    这是不是说明sort_buffer、join_buffer、内存临时表和磁盘临时表与数据库引擎类型其实是独立开的呢?

    作者回复: 是的,非常好的验证和思考👍

    sort_buffer、join_buffer、内存临时表和磁盘临时表 都是server层的,引擎间共用

    
     8
  • IceGeek17
    2019-02-21
    文中说,SQL_BIG_RESULT这个hint,用来告诉优化器直接用磁盘临时表,
    对于文中的例子 select SQL_BIG_RESULT id%100 as m, count(*) as c from t1 group by m;
    则没有使用临时表,直接用了排序算法,这里有点不太明白,SQL_BIG_RESULT这个hint到底用来提示的是什么(是用磁盘临时表,还是就是直接使用排序,不用临时表)?

    文中 “MySQL优化器一看,磁盘临时表B+数存储,存储效率不如数据来的高。那从磁盘空间考虑,还是直接用数组来存”,这段怎么理解?
    是指MySQL优化器,直接忽略B+数的磁盘临时表(这里忽略的依据是什么?),并且从文中后续的分析来看,也没有用内存临时表,而是直接sort buffer排序,老师再详细解释下?

    对于InnoDB的磁盘临时表,索引结构是B+数;那对于内存临时表,是不是就是数组结构?数组临时表的主键就是每个数组元素?

    展开

    作者回复: 1. 最后的结果是“直接使用排序”
    2. 就是认为用sort_buffer直接排序性能更好,所以就没有使用内存临时表或磁盘临时表
    3. 没有索引的内存表可以认为就是数组; 主键不是,内存表的表结构,可以看一下38篇

    
     7
  • Li Shunduo
    2019-02-07
    请问Group By部分的第一个语句 explain select id%10 as m, count(*) as c from t1 group by m;为什么选择的是索引a,而不是primary key?如果字段a上有空值,使用索引a岂不是就不能取到所有的id值了?

    作者回复: 因为索引c的信息也足够,而且比主键索引小,使用索引c更会好。

    “如果字段a上有空值,使用索引a岂不是就不能取到所有的id值了?”,不会的

    
     6
  • Long
    2019-02-10
    老师,新年好! :-)

    有几个版本差异的问题:
    (1)图1中的执行计划应该是5.7版本以后的吧,貌似没找到说在哪个环境,我在5.6和5.7分别测试了,id = 2的那个rows,在5.6版本(5.6.26)是1000,在5.7版本是2行。应该是5.7做的优化吧?

    (2)图 9 group + order by null 的结果(此盘临时表),这里面mysql5.6里面执行的结果是(1,10),(2,10)...(10,10),执行计划都是只有一样,没找到差异。
    跟踪下了下optimizer trace,发现问题应该是在临时表空间满的的时候,mysql5.7用的是:converting_tmp_table_to_ondisk "location": "disk (InnoDB)",,而mysql 5.6用的是converting_tmp_table_to_myisam "location": "disk (MyISAM)"的原因导致的。
    查了下参数:
    default_tmp_storage_engine。(5.6,5.7当前值都是innodb)
    internal_tmp_disk_storage_engine(只有5.7有这个参数,当前值是innodb),5.6应该是默认磁盘临时表就是MyISAM引擎的了,由于本地测试环境那个临时表的目录下找不到临时文件,也没法继续分析了。。。

    至于为什么MySQL 5.6中结果展示m字段不是0-9而是1-10,还得请老师帮忙解答下了。


    还有几个小问题,为了方便解答,序号统一了:
    (3)在阅读mysql执行计划的时候,看了网上有很多说法,也参考了mysql官网对id(select_id)的解释:
    id (JSON name: select_id)
    The SELECT identifier. This is the sequential number of the SELECT within the query.(感觉这个读起来也有点歧义,这个sequential字面解释感觉只有顺序的号码,并咩有说执行顺序)
    比如图1,文中解释就是从ID小的往大的执行的,网上有很多其他说法,有的是说ID从大到小执行,遇到ID一样的,就从上往下执行。有的说是从小往大顺序执行。不知道老师是否可以官方讲解下。

    (4)我发现想搞懂一个原理,并且讲清楚让别人明白,真的是很有难度,非常感谢老师的分享。这次专栏结束,还会推出的新的专栏吗? 非常期待。
    展开

    作者回复: 1. 是的,我默认是用5.7做的验证,这里5.7做了优化。
    2. 其实你已经找到原因了,就是因为5.6的默认临时表是myisam表,而myisam表是堆表,这里的堆表,跟38篇介绍的memory引擎是类似的,你看了那篇应该就能知道为什么堆表是最后显示0那行了
    3. 好问题,不同id从大到小,相同id从上到下
    4. 多谢你的鼓励,还没定,先休息下^_^

    不好意思,你发的第一天就看到了,回复晚了😆

    
     5
  • 兔斯基
    2019-02-11
    老师,关于排序有几个问题。
    order by id,主键
    order by null,
    不加order by
    这三种写法哪种执行效率更高一些?后面两者是不是等价的?

    作者回复: 这三种写法语义上不一样。。

    如果对返回结果没有顺序要求,那写上order by null肯定是好的。

    “order by null”和“不加order by”不等价,咱们文中有说哈

    
     4
  • 梦康
    2019-02-11
    实践发现文中描述的 group by 执行过程中解释不通。案例如下

    select `aid`,sum(`pv`) as num from article_rank force index(idx_day_aid_pv) where `day`>20190115 group by aid order by num desc LIMIT 10;

    内存临时表不够,需要写入磁盘

    select `aid`,sum(`pv`) as num from article_rank force index(idx_aid_day_pv) where `day`>20190115 group by aid order by num desc LIMIT 10;

    内存临时表足够。

    选的索引不一样,但是最后筛选出来的总行应该是一样的呀,所以现在更加困惑了。
    展开

    作者回复: 看索引的名字猜测, idx_aid_day_pv 就是(adid, day,pv)这三个字段的联合索引?

    这样的话,第二个语句就会顺序遍历索引,只要找到10个不同的aid就可以了,这个索引不用全部遍历;这样可以减少很多写入临时表的数据;

    但是第一个语句是day开头的, 这样就必须将所有`day`>20190115的记录都存到临时表中,这个要写入内存表的数据行数肯定比第二个语句多的

    所以核心就是这两个语句需要放入临时表的行数不同。

     2
     3
  • null
    2019-08-09
    疑问:
    set tmp_table_size=1024;
    select id%100 as m, count(*) as c from t1 group by m order by null limit 10;

    结果不需要排序,为什么不像第 17 章《如何正确显示随机消息》,采用优先队列排序算法。这里只需要维护一个 10 个元素的堆就可以了。

    ----

    课后思考题:
    使用磁盘临时表(engine=innodb),排首位的是 0,而内存临时表(engine=memory)却是 1。为何会有这种区别?

    扫描计算的过程都是一样的,扫描 a 索引的时候,都是先扫描 1,再扫描 10。
    m 字段是磁盘临时表和内存临时表的主键。

    磁盘临时表是以 B+ 树存储数据,插入 m=0 时,会被动态调整到首位。而内存临时表是以数组保存数据,每次都是往数组末端添加元素,不会动态调整。因此产生了这个差异。
    展开
    
     1
  • 路过
    2019-03-28
    请教:
    文章中的第一个案例语句,如果把limit 2去掉,即如下:
    (select 1000 as f) union (select id from t1 order by id desc);
    按照我的理解,应该得到从1000到1的降序排列数据。但结果出乎意料:
    1000
    1
    2
    。。。
    999
    这是为何啊?
    如果把上面的语句加上limit 1000,即:
    (select 1000 as f) union (select id from t1 order by id desc limit 1000);
    结果就是从1000到1的降序排列。搞不懂,请老师解惑!
    展开
    
     1
  • 进阶的码农
    2019-03-07
    select id%10 as m, count(*) as c from t1 group by m;
    我执行这条语句 第一行是1 没有经过排序,我explain 这条语句也没有显示sort 但是显示用了临时表,可能是什么原因的,和mysql版本有关吗?还是配置?
     1
     1
  • Sinyo
    2019-03-07
    老师好,好奇怪我用infobright列式存储引擎explain一条union语句,发现是不用临时表的,测试了很多次:
    比如:
    EXPLAIN
    (SELECT 111)
    UNION
    (SELECT 222)
    ;
    EXPLAIN
    (SELECT 111)
    UNION
    (SELECT id from aaa)
    ;
    EXPLAIN
    (SELECT id from bbb)
    UNION
    (SELECT id from aaa)
    以上都没有用到临时表;
    这应该说明不同引擎的逻辑层还是存在差异的把。
    展开
    
     1
  • Sinyo
    2019-03-01
    谢谢老师解惑,
    再次请教老师,那其他引擎数据库在server层建的磁盘临时表是什么引擎呢?

    作者回复: 需要创建临时表的时候,与当前访问数据的引擎无关,都是默认创建内存临时表,内存不够了转磁盘临时表(默认是innodb 表)

    
     1
  • 黄文韬
    2019-02-15
    老师,有两个问题不是很清楚:
    1. 图三显示union all没有使用临时表,但是我本地explain看到union all和union的执行计划是一样的,不知道为什么?是和版本有关系还是其他设置?本地版本5.6
    2.图四 不太理解为什么会用filesort,因为我看你后面执行流程是说会创建一个临时表,主键是m,那为啥不可以直接根据m来排序,而要用到filesort外部排序,还是这个filesort是指的不是按表中索引的排序都会是filesort??
    感谢
    展开

    作者回复: 1. 啊 比较奇怪,你可否给一下截图,(比如发个微博,贴图at我),带上表结构哈
    2. 好问题,其实这个是要结合下一篇文章的知识点,内存表的主键不是保证有序的

     1
     1
  • Smile
    2019-02-11
    当碰到第一个 2 的时候,已经知道累积了 Y 个 1,结果集里的第一行就是 (1,Y);
    ----
    应该是 结果集里的第 二 行 吧



    展开

    作者回复: 对的,👍🏿细致

    发起勘误了,新年快乐

    
     1
  • 牛牛
    2019-02-06
    新年快乐~、感谢有您~^_^~

    作者回复: 新年快乐~🤝

    
     1
  • poppy
    2019-02-06
    老师,春节快乐,过年还在更新,辛苦辛苦。
    关于思考题,我的理解是图8中的查询是使用了内存临时表,存储的顺序就是id%10的值的插入顺序,而图9中的查询,由于内存临时表大小无法满足,所以使用了磁盘临时表,对于InnoDB来说,就是对应B+树这种数据结构,这里会按照id%100(即m)的大小顺序来存储的,所以返回的结果当然也是有序的

    作者回复: 新年好~

    👍

    
     1
  • 八百
    2019-02-06
    春节快乐,老师。谢谢你让我学到不少知识

    作者回复: 新年快乐🤝

    
     1
  • 某、人
    2019-02-06
    老师春节快乐,辛苦了

    作者回复: 春节快乐,🤝

    
     1
我们在线,来聊聊吧