page_cleaner线程分析

背景

线上多套数据库集群遇到问题无法写入，具体表象如下：
1.错误日志出现如下类似信息：
page_cleaner: 1000ms intended loop took 8397ms. The settings might not be optimal. (flushed=0 and evicted=0, during the time.)
2.业务sql执行超时失败
3.磁盘无写入但是io util为100%,如下图

image.png

基础知识

控制刷盘的线程
  master_thread（5.6早期）---------->单个pager_leaner thread(5.7初期)------>多个pager_cleaner thread（后期）
控制刷盘相关参数：
  1.innodb_buffer_pool_size=N
  2.innodb_buffer_pool_instances=N            #bufferpool instance
  3.innodb_max_dirty_pages_pct_lwm=N          #是否开启预刷5.7默认0，表示关闭
  4.innodb_page_cleaners=N                    #page_cleaner的线程数量,如果该值大于innodb_buffer_pool_instances则自动调整为与innodb_buffer_pool_instances数量一致
  5.innodb_max_dirty_pages_pct=N              #
  6.innodb_flush_neighbors=0|1|2               #0表示关闭，1表示刷新同一extent(64个页面)中连续的脏页面，2表示刷新同一个extent中所有的脏页
  7.innodb_lru_scan_depth=N                    #控制扫描lru列表的深度
  8.innodb_adaptive_flushing_lwm=N    #
  9.innodb_io_capacity=N
  10.innodb_io_capacity_max=N
刷脏策略：
  Adaptive Flushing
      redo生成速度
      redo切换
      当前刷盘速率

问题

1.page_cleaner工作机制及mysql错误日志为什么会输出刷盘超时日志
2.为什么出现page_cleaner这段时间出现了数据库无法写入
3.为什么出现page_cleaner这段时间磁盘无写入但是io打满

---

问题1分析(page_cleaner工作机制及mysql错误日志为什么会打印超时日志)

#(page_cleaner工作机制及错误日志输出信息对应的源码如下(仅仅保留了关注代码)
page_cleaner工作时机：
1.启动mysqld时需要recover，此时要进行刷脏
    buf_page_cleaner_is_active = true;
    while (!srv_read_only_mode && srv_shutdown_state == SRV_SHUTDOWN_NONE && recv_sys->heap != NULL) {    /*启动时recover innodb调用*/
        /* treat flushing requests during recovery. */
        ulint    n_flushed_lru = 0;
        ulint    n_flushed_list = 0;
        os_event_wait(recv_sys->flush_start);
        if (srv_shutdown_state != SRV_SHUTDOWN_NONE || recv_sys->heap == NULL) {
            break;
        }
        switch (recv_sys->flush_type) {
        case BUF_FLUSH_LRU:    /*刷lru列表*/
            /* Flush pages from end of LRU if required */
            pc_request(0, LSN_MAX);
            while (pc_flush_slot() > 0) {}
            pc_wait_finished(&n_flushed_lru, &n_flushed_list);    
            break;
        case BUF_FLUSH_LIST:  /*刷flush列表*/
            /* Flush all pages */
            do {
                pc_request(ULINT_MAX, LSN_MAX);
                while (pc_flush_slot() > 0) {}
            } while (!pc_wait_finished(&n_flushed_lru,&n_flushed_list));
            break;
        default:
            ut_ad(0);
        }
        os_event_reset(recv_sys->flush_start);
        os_event_set(recv_sys->flush_end);
    }
2.mysqld正常运转时按照以下3种场景进行刷脏：
while (srv_shutdown_state == SRV_SHUTDOWN_NONE){
        if (ret_sleep == OS_SYNC_TIME_EXCEEDED) {      /*如果此次刷脏页的当前时间 > next_loop_time+3000，则输出日志到错误日志，并重置下一次next_loop_time、n_flushed_last、n_evicted*/
            ulint    curr_time = ut_time_ms();
            if (curr_time > next_loop_time + 3000) {
                if (warn_count == 0) {
                    ib::info() << "page_cleaner: 1000ms intended loop took 1000 + curr_time - next_loop_time ms. The settings might not be optimal. (flushed=n_flushed_last and evicted=n_evicted, during the time.)";
                    if (warn_interval > 300) {
                        warn_interval = 600;
                    } else {
                        warn_interval *= 2;
                    }
                    warn_count = warn_interval;
                } else {
                    --warn_count;
                }
            } else {
                /* reset counter */
                warn_interval = 1;
                warn_count = 0;
            }
            next_loop_time = curr_time + 1000;
            n_flushed_last = n_evicted = 0;
        }
        /*有活跃线程说明系统繁忙等等再刷，有阻塞的io说明io比较繁忙稍后再刷，上一次刷脏为0说明脏页已经被刷完了稍后再刷，原则就是不必要的刷脏不要影响业务*/
        if (srv_check_activity(last_activity) || buf_get_n_pending_read_ios() || n_flushed == 0) { 
            ret_sleep = pc_sleep_if_needed(next_loop_time, sig_count);   /*这个位置休眠1秒*/
            if (srv_shutdown_state != SRV_SHUTDOWN_NONE) {
                break;
            }
        } else if (ut_time_ms() > next_loop_time) {
            ret_sleep = OS_SYNC_TIME_EXCEEDED;
        } else {
            ret_sleep = 0;
        }
        if (ret_sleep != OS_SYNC_TIME_EXCEEDED && srv_flush_sync && buf_flush_sync_lsn > 0)   /*同步刷脏，srv_flush_sync位true表示剧烈刷脏跳过io_capacity限制*/
            {
                pc_request(ULINT_MAX, lsn_limit);    /*ULINT_MAX为要刷的脏页数量，lsn_limit为要刷新到lsn的位置*/
                while (pc_flush_slot() > 0) {}       /*如果worker线程不够用了则协调线程也参与刷脏*/
                pc_wait_finished(&n_flushed_lru, &n_flushed_list);    /*等待所有线程完成刷脏*/
                n_flushed = n_flushed_lru + n_flushed_list;           /*统计此次共刷了多少脏页面*/
                /*更新后台已完成刷脏相关变量*/
            }
        else if (srv_check_activity(last_activity))    /*当前有活跃线程，有ddl、dml刷脏*/
            {
                n_to_flush = page_cleaner_flush_pages_recommendation(&lsn_limit, last_pages);    /*确定此次刷新脏页的数量*/
                pc_request(n_to_flush, lsn_limit);   /*唤醒工作线程刷脏，n_to_flush为要刷的脏页数量*/
                while (pc_flush_slot() > 0) {}       /*如果worker线程不够用了则协调线程也参与刷脏*/
                pc_wait_finished(&n_flushed_lru, &n_flushed_list);    /*等待所有线程完成刷脏*/
                /*更新后台已完成刷脏相关变量*/
            }
        else if (ret_sleep == OS_SYNC_TIME_EXCEEDED)       /*空闲刷脏*/
            {
                buf_flush_lists(PCT_IO(100), LSN_MAX, &n_flushed);      /*按照innodb_io_capacity配置最大限度100%刷脏*/
                /*更新后台已完成刷脏相关变量*//
            }
        else {
                n_flushed = 0;
            }
}
#从源码处可以了解到当mysql正常运行期间，如果上一次bufferpool页面刷盘时间大于1s+3s就会触发打印这条日志

疑问2分析(为什么出现page_cleaner这段时间出现了数据库无法写入)