淘先锋技术网

首页 1 2 3 4 5 6 7

1.四个线程(InnoDB版本为1.0.x以上)。

查看innodb版本:show VARIABLES like 'innodb_version';

Master Thread:负责合并插入缓冲,

IO Thread :InnoDB大量使用AIO处理写请求,其负责处理IO请求的回调处理,有四个IO线程,read,write,insert buffer,

log Thread:

parge Thread:事务提交后,undolog不再需要,回收undo页

Page Cleaner Thread:脏页刷新


2.内存

数据库中页的修改操作,首先会在内存池中的页,以一定的频率刷新到磁盘,一般采用checkpoint机制。

查看缓冲池大小 :show VARIABLES like 'innodb_buffer_pool_size';

缓冲池页类型有:索引页,数据页,undo页,插入缓冲,自适应哈希索引,锁信息,数据字典。

缓冲池实例配置查看:show VARIABLES like 'innodb_buffer_pool_instances';

查看缓冲池状态:SELECT * from information_schema.INNODB_BUFFER_POOL_STATS

3.缓冲池管理

Innodb采用优化后的LRU算法管理缓冲页(16k)。在列表中加入一个midpoint位置,新读到的页放到这个位置,而不是最前页。为了防止活动页被刷出,影响缓冲池效率

midpoint位置查看:show VARIABLES like 'innodb_old_blocks_%'。innodb_old_blocks_pct值为百分比。innodb_old_blocks_time为过多久加入到LRU列表热端,0为不等待。

当页从LRU的old部分加入到new部分,称此操作为page made young;

当页从LRU的new部分加入到old部分,称此操作为page not made young;

show engine innodb status可以查看LRU使用状态。

有个重要的参数buffer pool hit rate表示缓冲池的命中率,通常该值不应该小于95%。若小于95%,该检查下是否有全表扫描操作导致LRU列表被污染。

查看LRU每个页具体信息:SELECT * from information_schema.INNODB_BUFFER_PAGE_LRU

4.重做日志缓冲

InnoDB内存区域除了有缓冲池外,还有重做日志缓冲,

查看重做日志缓冲大小:show VARIABLES like 'innodb_log_buffer_size'

重做日志缓冲刷新到磁盘的时机:

1.Master Thread每一秒将重做日志缓冲刷新到重做日志文件。

2.每个事物提交时将重做日志缓冲刷新到重做日志文件。

3.当重做日志缓冲池空间小于1/2,重做日志缓冲刷新到重做日志文件。


5.额外的内存池

数据结构本身的内存分配,如LRU,锁信息


6.checkpoint技术目的

checkpoint技术就是为了刷新脏页到磁盘。

1.减少数据库恢复时间;2.缓冲池不够用时刷新到磁盘;3.重做日志不可用时,刷新脏页;

解释下第三点目的:因为对重做日志的设计和管理是循环使用的,不是不限增大,日志能被重用的部分空间也就是这个空间的日志不再被需要,这部分空间可以被覆盖重用,若重做日志还需要使用,那么强制产生checkpoint,将缓冲池的页至少刷新到当前重做日志的位置。

有两种checkpoint:1.Sharp Checkpoint.2.Fuzzy Checkpoint.

Sharp Checkpoint发生在数据库关闭时发生,将所有脏页刷新到磁盘,相应参数innodb_fast_shutdown=1.

Fuzzy Checkpoint发生在运行中,只刷新部分脏页。发生的情况有以下几种:

1.Master Thread CheckPoint

主线程每秒或每十秒的速度执行,用户查询线程不会阻塞

2.Async/sync Flush Checkpoint

重做日志不可用时,强制刷新一些脏页到磁盘。

3.FLUSH_LRU_LIST checkpoint

若LRU列表中没有100个空闲页,则从列表尾部清空,若有脏页,则执行checkpoint

4.Dirty too much checkpoint

脏页太多,强制执行checkpoint,由参数max_dirty_pages_pct控制

7.LSN(日志序列号)作用

InnoDB用LSN来标记版本号,LSN占8字节,每个页有LSN,重做日志也有,checkpoint也有。

show engine innodb status可查看Log sequence Number,Log flushed up to ,Last checkpoint at。

8.InnoDB的关键特性

插入缓冲,两次写,自适应哈希索引,异步IO,刷新邻接页

8.1 插入缓冲

Insert Buffer和数据页一样,是物理页的一个组成部分,不是缓冲池的一部分,只是缓冲池有insert buffer信息。

注意:并不是所有的主键插入都是有顺序的,如UUID这样的类别,插入是随机的。

尽管主键是有顺序的,但对非聚集索引叶子节点的插入不一定是顺序的,那么就会有离散的访问非聚集索引页,由于随机读取的存在,会导致插入性能下降,因为B+树的特性决定了非聚集索引插入的离散性。

但对于时间字段的非聚集索引,相对来说是比较有顺序的。

InnoDB的Insert Buffer用来解决非聚集索引插入和更新的性能问题。插入数据时先判断缓冲池中是否存在要插入的非聚集索引页中,没有则放到Insert  buffer对象,InnoDB以一定的频率进行Insert buffer和非聚集索引节点的合并操作,这样能将多个插入操作一次性合并到一个操作,因为操作都在一个索引页中,从而大大提高非聚集索引插入性能。

Insert buffer使用的两个条件:1.索引是非聚集索引;2.索引不是唯一的。

解释下第二点:InnoDB如果要维护索引的唯一性,那么插入的时候要查找索引页来判断插入的唯一性,如果去查找肯定会有离散读取的存在,那Insert buffer没有意义了。

查看插入缓冲对性能的提高状态:show engine innodb status

seg size 显示当前insert buffer的大小;free list len显示空闲列表的长度;size显示已经合并记录页的数量;inserts表示插入的记录数;merged recs表示已经合并的记录数;merges表示合并操作的次数,也就是实际读取页的次数;

merged recs : merges的比例(平均每次合并操作的记录数)越大,性能越好。

在写密集情况下,插入缓冲会占用过多缓冲池内存,这样对其他操作会有影响。

IBUF_POOL_SIZE_PER_MAX_SIZE可以对插入缓冲占用的最大内存进行控制。

8.2change buffer

是对insert buffer的升级,可对,insert,delete,update都进行缓冲,分别是insertbuffer ,deletebuffer,parge buffer。

update操作分为两个阶段:1.记录标记为已删除(对应delete buffer);2.真正删除(对应parge buffer).

innodb_change_buffering用来开启各种buffer的选项;

innodb_change_buffer_max_size来控制change buffer最大使用的内存数量。

show engine innodb status可以查看到merged operations和discarded operation.

8.3Insert buffer内部实现

Insert buffer的数据结构上是一颗B+树,全局只有一颗Insert buffer B+树,负责对所有表的辅助索引进行Insert buffer,这颗B+树存放在共享表空间,默认也就是ibdata1.因此试图通过独立表空间ibd文件恢复表中数据,往往会导致check table失败,这是因为表的辅助索引中的数据可能还在insert buffer中,也就是共享表空间中,所以通过ibd文件进行恢复后,还需要repair table 操作来重建表上所有的辅助索引。

Insert buffer B+树非叶子节点和叶子节点构成。非叶子节点:

space id (每个表有一个唯一的id),4字节marker用来兼容老版本的insert bufferoffset表示页所在的偏移量
叶子节点,前9字节和非叶子节点相同,第四个字段 metadata占四字节,

IBUF_REC_OFFSET_COUNT(2字节):用来排序进入insert buffer的顺序。

IBUF_REC_OFFSET_TYPE:(1字节)

IBUF_REC_OFFSET_FLAGS(1字节)。

在启用了insert buffer之后,辅助索引页中的记录可能被插入到insert buffer B+树中,为了保证每次merge insert buffer页必须成功,需要一个特殊页记录辅助索引页的 可用空间,这个页的类型是insert buffer bitmap.

insert buffer bitmap用来追踪16384个辅助索引页,每个辅助索引页在insert buffer bitmap占用4bit,

4字节的存储信息:

IBUF_BITMAP_FREE(2):剩余空间

IBUF_BITMAP_BUFFERED(1):表示该辅助索引页是否有记录被缓存在insert buffer B+树中。

IBUF_BITMAP_IBUF(1):1表示该页为insert buffer B+树的索引页。


8.4merge insert buffer

若插入记录的辅助索引页不在缓存池,则记录插入到insert buffer B+树中,但何时合并到真正的辅助索引页中。

merge insert buffer发生主要有以下3种情况:

1.辅助索引页被读取到缓存池的时候,

2.insert buffer bitmap追踪到这个辅助索引页没有可用空间;

3.Master Thread每秒或每十秒执行merge  insert buffer。

第一种情况:当select 查询时,会查询insert buffer bitmap,判断该索引页是否在inser buffer中有记录,如有就合并。

第二种情况:insert时,当检测到IBUF_BITMAP_FREE记录的可用空间小于1/32页,强制执行合并,即强制读取辅助索引页,将insert buffer B+树中该页的记录及待插入的记录插入到辅助索引页。

第三种情况:在Master Thread合并的是多个页,根据srv_innodb_io_capacity的百分比来确定真正要合并辅助索引页的数量。

那又如何确定哪些页需要合并操作?

在insert buffer B+树中,辅助索引页根据(space,offset)都已排序好,随机选择insert buffer B+树的一个页,读取该页的space及之后需要数量的页。若在merge时,要进行merge的表已经被删除,则可以直接丢弃已经被insert/change buffer的数据记录。


8.5 两次写

insert buffer 带给innodb性能提升,两次写是提高数据页的可靠性。

两次写解决的问题:当数据库宕机时,可能innodb存储引擎正在写入某个页到表中,而这个页只写入了一部分,即发生部分写失效,而重做日志是对物理页的修改记录,如果磁盘上这个页已损坏,用重做日志恢复也没任何意义。

所以在应用重做日志之前需要备份待写入页的副本到共享表空间,当写入失效时,在恢复过程中,先通过共享表空间中的副本复制到表空间文件,再通过重做日志进行重做,这就是doublewrite.相关的doublewrite架构图在网上有。

show global status like '%innodb_dblwr%';

Innodb_dblwr_pages_written表示写入的页数量,innodb_dblwr_writes表示写入操作次数。

skip_innodb_doublewrite参数可以禁止使用doublewrite功能,主服务器为了数据的可靠性,必须启用,从服务器可选。有些文件系统本身已经提供了部分写失效的防范机制,如ZFS文件系统,这样情况下就不用 启用doublewrite了。


8.6 自适应哈希索引(adaptive hash index)

哈希是O(1)时间复杂度的数据存储和查询方式,而B+树需要3到4次的查询。InnoDB会监控每个表上各索引页的查询,若发现建立哈希索引能提供性能则建立索引,称之为自适应哈希索引。

建立条件:1.对这个页的连续访问模式必须一样的,2.以该模式访问了100次,3.该模式下访问了N次,N=页中记录*1/16;4.等值搜索,不能是范围查询。

其设计思想是数据库自优化的,不需要DBA参与。

show engine innodb status可查看 hash searches  ,non-hash searches.

innodb_adaptive_hash_index参数用来启用和禁用AHI.默认开启


8.7异步IO

AIO如何提升IOPS性能?AIO可以进行IO merge操作,如果操作的页是连续的,则将多个IO操作合并为一个。

innodb_use_native_aio用来控制是否启用Native AIO,默认是ON,


8.8刷新邻接页


在刷新脏页时,会检测脏页所在的区的所有页,如果是脏页,则一起刷新,通过AIO可以将多个IO写入操作合并为一个IO。

innodb_flush_neighbors可控制是否启用该特性,对于传统机械硬盘建议启用,固态硬盘建议关闭此特性。


9.启动,关闭,恢复

在关闭时,innodb_fast_shutdown影响innodb的行为。

可取值有0,1,2.默认是1.

0:表示在数据库关闭时,innodb需要完成所有的full parge 和merge insert buffer。将所有的脏页刷新到磁盘。如果数据库升级,那么需要设置为0;

1:不需要完成full parge 和merge insert buffer。但会将所有的脏页刷新到磁盘;

2:不需要完成full parge 和merge insert buffer,也不会将所有的脏页刷新到磁盘。但是会将日志写入到日志文件,这样不会有任何事务的丢失,下次启动时,会进行恢复;

innodb_force_recovery影响innodb的恢复行为。可取值为0,1(忽略corrupt页,),2,3(不回滚),4(不合并插入缓冲),5(不查看undo Log),6(不前滚操作).默认是0,表示恢复所有。

在设置了大于0的值后,可进行select ,create,drop.不能进行insert,update,delete这类DML操作。

如果在启动之前设置了3,那么启动时不进行回滚,启动会很快。