本文主要是记录Innodb在初始化日志子系统时,如何计算异步/同步刷脏或checkpoint的临界范围
代码分析基于MySQL 5.6.11
///////////////////////////////////////////////////////////////////////////////////////////////
相关配置为:
innodb_log_buffer_size=200M
innodb_log_file_size=1000M
innodb_log_files_in_group=4
innodb_flush_log_at_trx_commit = 1
innodb_thread_concurrency = 64
刷脏和做checkpoint的临界条件在系统启动初始化日志系统时即被确定了,backtrace 如下:
innobase_start_or_create_for_mysql
->log_group_init
2151 log_group_init(0, i, srv_log_file_size * UNIV_PAGE_SIZE,
2152 SRV_LOG_SPACE_FIRST_ID,
2153 SRV_LOG_SPACE_FIRST_ID + 1);
->log_calc_max_ages
log_calc_max_ages:
1.计算当前redo log日志组的最大容纳LSN(log_group_get_capacity):
smallest_capacity = (group->file_size – LOG_FILE_HDR_SIZE) * group->n_files = (innodb_log_file_size-4*512)*4 = 4194295808
smallest_capacity = smallest_capacity – smallest_capacity / 10; // 为了安全起见,保留10分之一的空间
2.检查在当前thread concurrency(srv_thread_concurrency)限制下,日志组是否拥有足够的空闲空间:
free = LOG_CHECKPOINT_FREE_PER_THREAD * (10 + srv_thread_concurrency)+ LOG_CHECKPOINT_EXTRA_FREE = (4*16384) * (10 + 64) + 8*16384 = 4980736
如果free > smallest_capacity /2的话,那么就会错误退出,表明innodb_log_file_size设的太小了。
否则,预留边界:
margin = smallest_capacity – free;
margin = margin – margin / 10 = 3392896943;
实际上margin的计算可以总结为:
margin = {
[ (innodb_log_file_size-LOG_FILE_HDR_SIZE) * innodb_log_files_in_group ] * (9/10)
–
[ LOG_CHECKPOINT_FREE_PER_THREAD * (10 + innodb_thread_concurrency) + LOG_CHECKPOINT_EXTRA_FREE]
} * (9/10)
log_sys->log_group_capacity = smallest_capacity = 3774866228;
log_sys->max_modified_age_async = margin– margin / LOG_POOL_PREFLUSH_RATIO_ASYNC = margin * (7/8) = 2968784826 //当lsn -buf_pool_get_oldest_modification()超过这个值时, 需要做异步刷脏页
log_sys->max_modified_age_sync = margin– margin / LOG_POOL_PREFLUSH_RATIO_SYNC = margin *(15/16) = 3180840885 //当lsn -buf_pool_get_oldest_modification()超过这个值时, 需要做同步刷脏页
log_sys->max_checkpoint_age_async = margin – margin
/ LOG_POOL_CHECKPOINT_RATIO_ASYNC = margin *(31/32) = 3286868914 //当lsn – last_checkpoint_lsn超过该值时,需要做一次异步checkpoint
log_sys->max_checkpoint_age = margin = 3392896943 //lsn – last_checkpoint_lsn不允许超过该值,否则需要做同步checkpoint
上面这几个变量,除了第一个之外,都是用于在函数log_checkpoint_margin中进行判断,log_sys->check_flush_or_checkpoint是判断是否flush/checkpoint的关键变量
主要判断逻辑如下:
1.如果log_sys->check_flush_or_checkpoint为false,直接返回,表明不需要flush或者checkpoint
2.找出当前所有buffer pool实例中最老的oldesrt_lsn,从每个bp->flush_list的尾部读取(log_buf_pool_get_oldest_modification())
3.如果log->lsn – oldest_lsn大于log_sys->max_modified_age_sync,表明需要做一次同步刷新,将lsn 推进到新的lsn位置(log_preflush_pool_modified_pages):
LSN范围为:2 * (log->lsn – oldest_lsn – log_sys->max_modified_age_sync) + oldest_lsn
如果刷新失败,表明同时有别的线程也在刷脏,则将check_flush_or_checkpoint设置为TRUE,回到第一步
4.判断是否需要做checkpoint
checkpoint_age = log->lsn – log->last_checkpoint_lsn;
如果checkpoint_age > log_sys->max_checkpoint_age, 表示需要做一次同步checkpoint;
如果 log_sys->max_checkpoint_age_async < checkpoint_age <= log_sys->max_checkpoint_age ,表示需要做一次异步的checkpoint,并设置log_sys->check_flush_or_checkpoint = false;
如果checkpoint_age <=log_sys->max_checkpoint_age_async ,则无需做checkpoint,并设置log_sys->check_flush_or_checkpoint = false;
checkpoint 调用函数log_checkpoint(checkpoint_sync, FALSE); 如果是同步checkpoint(checkpoint_sync为TRUE) 还要返回到第1步继续判断
另外,这几个变量在函数log_close中会被用到,它会去做一件重要的事情:设置log_sys->check_flush_or_checkpoint。
至于异步刷脏,log_sys->max_modified_age_async被封装在函数log_get_max_modified_age_async中, 被函数af_get_pct_for_lsn。显而易见,异步刷脏是由page cleaner线程来完成的。
在函数af_get_pct_for_lsn中,根据当前的LSN,计算需要以IO capacity的百分之几来刷脏
当当前lsn-buf_pool_get_oldest_modification()超过log_sys->max_modified_age_async时:
age = log_sys->lsn – buf_pool_get_oldest_modification()
lsn_age_factor = (age *100)/log_sys->max_modified_age_async )
返回值为:
pct = [
(innodb_io_capacity_max/innodb_io_capacity)
*
(lsn_age_factor * sqrt((double)lsn_age_factor))
] /7.5
另外,如果参数innodb_adaptive_flushing设置为OFF,且没有超过log_get_max_modified_age_async()的话,直接返回0
Page cleaner线程会同时根据LSN 和脏页比例来获取pct,并取其中的最大值。