• Tony Du 置顶
    2018-12-10
    当内存不够用了,要将脏页写到磁盘,会有一个数据页淘汰机制(最久不使用),假设淘汰的是脏页,则此时脏页所对应的redo log的位置是随机的,当有多个不同的脏页需要刷,则对应的redo log可能在不同的位置,这样就需要把redo log的多个不同位置刷掉,这样对于redo log的处理不是就会很麻烦吗?(合并间隙,移动位置?)
    另外,redo log的优势在于将磁盘随机写转换成了顺序写,如果需要将redo log的不同部分刷掉(刷脏页),不是就在redo log里随机读写了么?

    作者回复: 好问题。

    其实由于淘汰的时候,刷脏页过程不用动redo log文件的。

    这个有个额外的保证,是redo log在“重放”的时候,如果一个数据页已经是刷过的,会识别出来并跳过。

     6
     116
  • 某、人 置顶
    2018-12-10
    redo log是关系型数据库的核心啊,保证了ACID里的D。所以redo log是牵一发而动全身的操作
    按照老师说的当内存数据页跟磁盘数据页不一致的时候,把内存页称为'脏页'。如果redo log
    设置得太小,redo log写满.那么会涉及到哪些操作呢,我认为是以下几点:
    1.把相对应的数据页中的脏页持久化到磁盘,checkpoint往前推
    2.由于redo log还记录了undo的变化,undo log buffer也要持久化进undo log
    3.当innodb_flush_log_at_trx_commit设置为非1,还要把内存里的redo log持久化到磁盘上
    4.redo log还记录了change buffer的改变,那么还要把change buffer purge到idb
    以及merge change buffer.merge生成的数据页也是脏页,也要持久化到磁盘
    上述4种操作,都是占用系统I/O,影响DML,如果操作频繁,会导致'抖'得向现在我们过冬一样。
    但是对于select操作来说,查询时间相对会更快。因为系统脏页变少了,不用去淘汰脏页,直接复用
    干净页即可。还有就是对于宕机恢复,速度也更快,因为checkpoint很接近LSN,恢复的数据页相对较少
    所以要控制刷脏的频率,频率快了,影响DML I/O,频率慢了,会导致读操作耗时长。
    我是这样想的这个问题,有可能不太对,特别是对于第4点是否会merge以及purge,还需要老师的解答
    展开

    作者回复: 抖得像过冬一样,😄👍🏿

    你说得很对,第4点没错的,出现这种情况的时候,连change buffer的优化也没意义了

     2
     63
  • yesir 置顶
    2018-12-11
    我观察了下公司的数据库确实发现了抖动现象,有几个问题,
    1)Innodb_buffer_pool_pages_total这个值很大,百万级别的,而且数值不像是人为设置上去的,是怎么来的呢?
    2)Innodb_buffer_pool_pages_dirty达到4万多的时候就开始flush了,脏页比例是75,这肯定是远达不到的,ssd磁盘,innodb_io_capacity是200,肯定可以提高。文章中说flush的触发条件有2个,一个是内存不够了,一个是redo log 满了,那么我这个场景是哪种情况呢

    作者回复: 1) 这个是innodb 数据页总是,过百万是正常的,16K一个,Bufree pool size 16G 就是100万了

    2)你这个例子就是io_capacity设太小了…

     2
     15
  • Ryoma 置顶
    2018-12-12
    关于粉板和redo log的类比我觉得有一点不太合适:redo log记录的是实时欠款,比如账本中是10文,又欠了9文,此时redo log 记录的是19;而粉板的话,只会追加某人欠款+9文,不会关注原来已欠款多少(不然某人赊账时,我还需要找到账本中的这个人,才知道他之前欠款多少,我觉得这个场景跟MySQL中的场景还是有区别的)

    作者回复: Redo log里也是记的+9哦😄

     3
     11
  • melon
    2018-12-11
    又思考了一下,请老师帮忙看一下理解的对不对:buffer pool里维护着一个脏页列表,假设现在redo log 的 checkpoint 记录的 LSN 为 10,现在内存中的一干净页有修改,修改后该页的LSN为12,大于 checkpoint 的LSN,则在写redo log的同时该页也会被标记为脏页记录到脏页列表中,现在内存不足,该页需要被淘汰掉,该页会被刷到磁盘,磁盘中该页的LSN为12,该页也从脏页列表中移除,现在redo log 需要往前推进checkpoint,到LSN为12的这条log时,发现内存中的脏页列表里没有该页,且磁盘上该页的LSN也已经为12,则该页已刷脏,已为干净页,跳过。

    作者回复: 对的。👍🏿

     1
     43
  • 岁月安然
    2018-12-10
    “内存不够用了,要先将脏页写到磁盘“和“redo log 写满了,要 flush 脏页”可以理解为一个脏页本身占用内存,释放内存需要将脏页写入到磁盘才能释放。而redo log写满只有当redo log对应的脏页flush到磁盘上才能释放对应空间。有几个问题:
    1、“内存不够用了,要先将脏页写到磁盘“redo log对应的空间会释放嘛?“redo log 写满了,要 flush 脏页”对应的内存页会释放嘛?
    2、将脏页flush到磁盘上是直接将脏页数据覆盖到对应磁盘上的数据?还是从磁盘上取到数据后取根据redo log记录进行更新后再写入到磁盘?
    3、redo log是怎么记录对应脏页是否已经flush了?如果断电了重启导致内存丢失,前面几章说通过redo log进行数据恢复那redo log又怎么去释放空间?
    展开

    作者回复: 1. Redolog 的空间是循环使用的,无所谓释放。 对应的内存页会变成干净页。但是等淘汰的时候才会逐出内存

    2. 好问题,前者

    3. 不用记,重启了就从checkpoint 的位置往后扫。 如果已经之前刷过盘的, 不会重复应用redi log。 好问题

    
     31
  • jimmy
    2018-12-10
    老师,我想问一下,innodb是如何知道一个页是不是脏页的,是有标记位还是通过redolog的ckeckpoint来确定的?

    作者回复: 每个数据页头部有LSN,8字节,每次修改都会变大。

    对比这个LSN跟checkpoint 的LSN,比checkpoint小的一定是干净页

     2
     30
  • godtrue
    2019-06-30
    1:MySQL抖一下是什么意思?

    抖我认为就是不稳定的意思,一个SQL语句平时速度都挺快的,偶尔会慢一下且没啥规律,就是抖啦!

    2:MySQL为啥会抖一下?

    因为运行的不正常了,或者不稳定了,需要花费更多的资源处理别的事情,会使SQL语句的执行效率明显变慢。针对innoDB导致MySQL抖的原因,主要是InnoDB 会在后台刷脏页,而刷脏页的过程是要将内存页写入磁盘。所以,无论是你的查询语句在需要内存的时候可能要求淘汰一个脏页,还是由于刷脏页的逻辑会占用 IO 资源并可能影响到了你的更新语句,都可能是造成你从业务端感知MySQL“抖”了一下的原因。

    3:MySQL抖一下有啥问题?

    很明显系统不稳定,性能突然下降对业务端是很不友好的。

    4:怎么让MySQL不抖?

    设置合理参数配配置,尤其是设置 好innodb_io_capacity 的值,并且平时要多关注脏页比例,不要让它经常接近 75%

    5:啥是脏页?

    当内存数据页跟磁盘数据页内容不一致的时候,我们称这个内存页为“脏页”。

    按照这个定义感觉脏页是不可避免的,写的时候总会先写内存再写磁盘和有没有用WAL没啥关系?

    6:啥是干净页?

    内存数据写入到磁盘后,内存和磁盘上的数据页的内容就一致了,称为“干净页”。

    7:脏页是咋产生的?

    因为使用了WAL技术,这个技术会把数据库的随机写转化为顺序写,但副作用就是会产生脏页。

    8:啥是随机写?为啥那么耗性能?

    随机写我的理解是,这次写磁盘的那个扇区和上一次没啥关系,需要重新定位位置,机械运动是很慢的即使不是机械运动重新定位写磁盘的位置也是很耗时的。

    9:啥是顺序写?

    顺序写我的理解是,这次写磁盘那个扇区就在上一次的下一个位置,不需要重新定位写磁盘的位置速度当然会快一些。

    10:WAL怎么把随机写转化为顺序写的?

    写redolog是顺序写的,先写redolog等合适的时候再写磁盘,间接的将随机写变成了顺序写,性能确实会提高不少。
    展开
     1
     19
  • 老鱼头
    2018-12-12
    那个说fio命令会破坏硬盘的兄弟,是没用对命令。估计把-filename=/dev/sdb1 。。。这个的意思是从 分区 sdb1 的第一个扇区开始写入随机数据,去判断这个磁盘的写入速度。如果指定路径+文件名就不会出这事了~比如老师给的例子~

    作者回复: 嗯嗯,你说的对

    写文章的时候,我还故意用变量,这样直接拷贝会出错,然后自己再写个路径,已经考虑了安全了😓

     1
     11
  • Tony Du
    2018-12-11
    当内存不够用了,要将脏页写到磁盘,会有一个数据页淘汰机制(最久不使用),假设淘汰的是脏页,则此时脏页所对应的redo log的位置是随机的,当有多个不同的脏页需要刷,则对应的redo log可能在不同的位置,这样就需要把redo log的多个不同位置刷掉,这样对于redo log的处理不是就会很麻烦吗?(合并间隙,移动位置?)
    另外,redo log的优势在于将磁盘随机写转换成了顺序写,如果需要将redo log的不同部分刷掉(刷脏页),不是就在redo log里随机读写了么?

    作者回复
    好问题。

    其实由于淘汰的时候,刷脏页过程不用动redo log文件的。

    这个有个额外的保证,是redo log在“重放”的时候,如果一个数据页已经是刷过的,会识别出来并跳过。

    我的回复
    这个额外保证是如何做到的?能不能稍微解释下
    通过刷脏页时数据页更新的timestamp来对比redo log的timestamp?
    展开

    作者回复: LSN,每次写redo log都带的一个数字, 数据页上也有,对比大小的,因为太细节没有写到文章中。

    
     11
  • WL
    2018-12-16
    把该讲内容总结为几个问题, 大家复习的时候可以先尝试回答这些问题检查自己的掌握程度:

        1.
     脏页和干净页的定义是什么?
        2.
    引发数据库flush脏页的四种典型场景各是什么?对mysql性能的影响各是怎样的?
        3.
    缓存池中的内存页有哪三种状态? 哪两种刷脏页的情况会比较影响性能?
        4.
    innodb_io_capacity这个参数的作用是什么,这个参数设置错误可能导致什么样的后果, 如何正确的设置这个参数?
        5.
    mysql如何通过innodb_io_capacity, 脏页比例(M), 当前日志序号(N)这三个指标来控制以什么样的速度去刷脏页的?
        6.
    innodb_flush_neighbor这个参数表示什么意思,应该如何设置?

    展开
    
     8
  • lionetes
    2018-12-11
    很多测试人员再做压力测试的时候 出现刚开始 insert update 很快 一会 就出现很慢,并且延迟很大,大部分是因为redo log 设置太小 引起的,完美诠释

    作者回复: 👍🏿 常见的误用场景

    
     8
  • 喔~
    2018-12-20
    老师,请问下访问某条记录时,存储引擎是如何判断这条记录所在的数据页是否在内存当中,这个查内存机制是如何实现的?

    作者回复: 每个页面有编号的。拿着编号去内存看,没有,就去磁盘

    
     7
  • 包包up
    2018-12-10
    redo-log内存满了,不停的要刷脏页回磁盘。现象就会是发现机器io不高,但是mysql明显的卡顿。
    
     7
  • 董航
    2018-12-10
    怎么说呢,越看越明白,哈哈,前面不懂的,后面就懂了

    作者回复: 👍🏿

    你领会到实践篇的“奥义”了😄

    一边引入新知识点,一边应用前面的

    
     7
  • Ying
    2018-12-10
    redolog 设置过小,会导致频繁刷脏页,还可能引发连坐,这样抖的频率可能会明显变高,系统会不断卡死的
    
     5
  • Geek_477c02
    2019-01-29
    InnoDB 认为这个系统的能力就这么差,所以刷脏页刷得特别慢,甚至比脏页生成的速度还慢,这样就造成了脏页累积,影响了查询和更新性能。为什么会影响性能,是因为要读取的数据不在内存中,但是脏页过多导致新页必须等待脏页刷盘导致的么?

    作者回复: 理解准确👍

    
     4
  • 克己过
    2018-12-10
    老师!!!fio这条命令是会破坏硬盘的!而且百度搜出来不加硬盘坏关键词去搜,搜出来的文章没有一篇会告诉你这个事情!!!不说了,我去恢复数据了😭

    作者回复: 没有吧,怎么会破坏硬盘?我和以前同事一直这么用的呀…

    你确定是这个命令导致的吗😓

    
     4
  • greatcl
    2019-04-24
    二刷中。
    我觉得Ryoma 的疑问可能是因为《图 1 “孔乙己赊账”更新和 flush 过程》中,日志/粉板的内容写成了“10改成19”,其实应该是“+9”。而“内存/掌柜记忆”的内容是否是19要根据原有内容是否在内存中来区别。如果掌柜记忆够好或者孔乙己赊账前是否先问了下:我现在欠多少钱?老板查了下回答:10文,那么此时内存的值是会被直接改为19,否则内存中只是change buffer的记录+9。
    不知这样理解是否正确
    
     3
  • 张永志
    2018-12-10
    100M的redo很容易写满,系统锁死,触发检查点推进,导致写操作卡住。由于主机IO能力很强,检查点会很快完成,卡住的写操作又很快可以执行。循环往复,现象就是写操作每隔一小段时间执行就会变慢几秒。

    作者回复: 准确

    
     3
我们在线,来聊聊吧