一个MySQL数据库服务不能正常启动的故障处理过程

今天上午进行了一些my.cnf配置参数的修改，修改后，重启数据库，结果报错：
# service mysqld start
Starting MySQL...The server quit without updating PID file (/data/mysql/v02c09.idc.huobi.com.pid).[FAILED]


查看错误日志文件：
# tail -50 errors.log 

140823 12:03:16 mysqld_safe mysqld from pid file /data/mysql/v02c09.idc.huobi.com.pid ended
140823 12:06:16 mysqld_safe Starting mysqld daemon with databases from /data/mysql
140823 12:06:16 [Note] Plugin 'FEDERATED' is disabled.
140823 12:06:16 InnoDB: The InnoDB memory heap is disabled
140823 12:06:16 InnoDB: Mutexes and rw_locks use GCC atomic builtins
140823 12:06:16 InnoDB: Compressed tables use zlib 1.2.3
140823 12:06:16 InnoDB: Using Linux native AIO
140823 12:06:16 InnoDB: Initializing buffer pool, size = 12.0G
140823 12:06:18 InnoDB: Completed initialization of buffer pool
140823 12:06:18 InnoDB: Error: combined size of log files must be < 4 GB
140823 12:06:18 [ERROR] Plugin 'InnoDB' init function returned error.
140823 12:06:18 [ERROR] Plugin 'InnoDB' registration as a STORAGE ENGINE failed.
140823 12:06:18 [ERROR] Unknown/unsupported storage engine: InnoDB
140823 12:06:18 [ERROR] Aborting

140823 12:06:18 [Note] /usr/local/mysql/bin/mysqld: Shutdown complete

140823 12:06:18 mysqld_safe mysqld from pid file /data/mysql/v02c09.idc.huobi.com.pid ended


通过查询错误日志中“[ERROR] Plugin 'InnoDB' init function returned error.”一部分，在网络上找到一个解决方案：
只要删除MySQL目录下的ib_logfile0和ib_logfile1两个文件，就可以解决问题了。


于是按照这个步骤删除文件：
# pwd
/data/mysql

# ls -l ib*
-rw-rw---- 1 mysql mysql  136314880 Aug 23 12:03 ibdata1
-rw-rw---- 1 mysql mysql 2097152000 Aug 23 12:03 ib_logfile0
-rw-rw---- 1 mysql mysql  134217728 Aug 22 12:11 ib_logfile0.bak
-rw-rw---- 1 mysql mysql 2097152000 Aug 22 12:12 ib_logfile1
-rw-rw---- 1 mysql mysql  134217728 Aug 22 12:01 ib_logfile1.bak

# rm ib_logfile0 ib_logfile1
rm: remove regular file `ib_logfile0'? yes
rm: remove regular file `ib_logfile1'? yes

# ls -l ib*
-rw-rw---- 1 mysql mysql 136314880 Aug 23 12:03 ibdata1
-rw-rw---- 1 mysql mysql 134217728 Aug 22 12:11 ib_logfile0.bak
-rw-rw---- 1 mysql mysql 134217728 Aug 22 12:01 ib_logfile1.bak


日志文件正常移除后，再次重启数据库：
# service mysqld start
Starting MySQL...The server quit without updating PID file (/data/mysql/v02c09.idc.huobi.com.pid).[FAILED]

仍然有报错，查看error.log日志文件，内容如下：

140823 12:06:18 mysqld_safe mysqld from pid file /data/mysql/v02c09.idc.huobi.com.pid ended
140823 12:19:19 mysqld_safe Starting mysqld daemon with databases from /data/mysql
140823 12:19:19 [Note] Plugin 'FEDERATED' is disabled.
140823 12:19:19 InnoDB: The InnoDB memory heap is disabled
140823 12:19:19 InnoDB: Mutexes and rw_locks use GCC atomic builtins
140823 12:19:19 InnoDB: Compressed tables use zlib 1.2.3
140823 12:19:19 InnoDB: Using Linux native AIO
140823 12:19:19 InnoDB: Initializing buffer pool, size = 12.0G
140823 12:19:21 InnoDB: Completed initialization of buffer pool
140823 12:19:21 InnoDB: Error: combined size of log files must be < 4 GB
140823 12:19:21 [ERROR] Plugin 'InnoDB' init function returned error.
140823 12:19:21 [ERROR] Plugin 'InnoDB' registration as a STORAGE ENGINE failed.
140823 12:19:21 [ERROR] Unknown/unsupported storage engine: InnoDB
140823 12:19:21 [ERROR] Aborting

140823 12:19:21 [Note] /usr/local/mysql/bin/mysqld: Shutdown complete

140823 12:19:21 mysqld_safe mysqld from pid file /data/mysql/v02c09.idc.huobi.com.pid ended


查看第一条报错情况"InnoDB: Error: combined size of log files must be < 4 GB"，说的是MySQL的InnoDB日志文件总大小必须小于4GB，一般设置为1300G，组数为3，这样总大小为3.9G；但该配置文件中昨天刚设置为2000M，没有设定组数；今天进行了这样的设置：
innodb_file_per_table
innodb_data_home_dir = /data/mysql
innodb_data_file_path = ibdata1:10M:autoextend
innodb_log_group_home_dir = /data/mysql
innodb_buffer_pool_size = 12G
innodb_log_file_size = 2000M
innodb_log_buffer_size = 8M
innodb_log_files_in_group = 3
innodb_file_format = Barracuda


innodb_log的大小为2000M，组数为3，总大小超过4GB，所以会报错。
将 innodb_log_file_size = 2000M 参数修改为：
innodb_log_file_size = 1300M


重新启动MySQL数据库服务：
[root@v02c09 mysql]# service mysqld start
Starting MySQL.....................................[  OK  ]

至此，各方面确认正常。




通过这个故障处理，可以得到如下结论：
1.对于MySQL数据库的innodb_log参数的相关修改，需要重启MySQL服务，并将原来的ib_logfile*转移成其他的名称，才能在新服务启动后生效；
2.对于出现类似“The server quit without updating PID file (/data/mysql/v02c09.idc.huobi.com.pid).”都是体现的msyql服务没有启动成功，一般MySQL不能启动成功的原因都是my.cnf中的配置存在问题，才导致了服务不能正常启动，此时需要立即查找error.log来确认MySQL启动过程和报错信息；
3.在error.log中可能会有多个报错信息，一般后面的错误就是结果，查找错误原因，要看前面的，尤其要关注第一个出现的错误，如本次故障处理过程中“InnoDB: Error: combined size of log files must be < 4 GB”，虽然没有[ERROR]标记，但是第一个出现故障的问题，也明确了错误的原因；
4.明确了错误的原因后，有时需要修改my.cnf文件，或者需要重启MySQL数据库服务，这时都要先确认好状态，然后再进行操作；
5.对于MySQL数据库的常用参数，有些是有限制条件和参数范围的，需要确认好后再设定，否则设定也会无效或报错。