4.MySQL性能优化

参数优化--innodb_buffer_pool_size

单实例性能
实例需求
实例标准化

注:源码中在innodb存储引擎层搜索srv_buf_pool_size(在srv0srv.c、srv0start.c文件中)。


参数优化--innodb_buffer_pool_instances

将innodb_buffer_pool划分为不同的instance
每个instance独立的LRU、FLUSH、FREE
独立的mutex控制

注:在innodb存储引擎层搜索srv_buf_pool_instances(主要集中在的buf0buf.c文件)


参数优化--innodb_log_file_size

先写入innodb_log_buffer
buffer写满或事务提交,刷新数据
大事务频繁,增加innodb_log_buffer_size大小

注:在innodb存储引擎层搜索srv_log_buffer_size(主要在log0log.c文件中)


参数优化--innodb_thread_concurrency

innodb_thread_concurrency = 0,innodb内部自己控制
kernel_mutex竞争
CPU上下文切换
innodb_thread_concurrency设置为cpu的核心数

注:在innodb存储引擎层搜索srv_thread_concurrency(主要在srv0srv.c文件中)


参数优化--innodb_io_capacity

innodb每秒后台进程处理IO操作的数据页上限
innodb_buffer_pool_size总的io处理能力上限
innodb_buffer_pool_instances分割成多个内存块时,每个内存块的IO处理能力为:innodb_io_capacity/innodb_buffer_pool_instances

注:在innodb存储引擎层搜索srv_io_capacity(主要在srv0srv.c文件中)


参数优化--innodb_max_dirty_pages_pct

innodb从innodb buffer中刷新脏页的比例
刷新脏页,产生checkpoint
脏页刷新innodb_max_dirty_pages_pct * innodb_io_capacity

注: 在innodb存储引擎层搜索srv_max_buf_pool_modified_pct(主要在srv0srv.c文件中)


参数优化--innodb_flush_method

O_DSYNC:使用O_SYNC打开和刷新log文件,使用fsync()刷新数据文件。
O_DIRECT:使用O_DIRECT打开数据文件,使用fsync()刷新日志文件和数据文件。

在raid设备上,为了避免数据被innodb_buffer和raid多次cache,设置为O_DIRECT方式。

注:在innodb存储引擎层搜索srv_unix_file_flush_method(主要在log0log.c、os0file.c文件中)


参数优化--innodb_file_per_table

不同的表空间可以灵活设置数据目录的地址
避免共享表空间产生的IO竞争


参数优化--innodb_flush_log_at_trx_commit

0:每秒将log buffer的内容写事务日志并且刷新到磁盘;
1:每个事务提交后,将log_buffer的内容写事务日志并数据磁盘;
2:每个事务提交,将log_buffer内容写事务日志,但不进行数据刷盘

源代码:

 if (trx->flush_log_later) {
  /* Do nothing yet */
  trx->must_flush_log_later = TRUE;
} else if (flush_log_at_trx_commit == 0) {
  /* Do nothing */
} else if (flush_log_at_trx_commit == 1) {
  if (srv_unix_file_flush_method == SRV_UNIX_NOSYNC) {
    /* Write the log but do not flush it to disk */
    log_write_up_to(lsn, LOG_WAIT_ONE_GROUP, FALSE);
  } else {
    /* Write the log to the log files AND flush them to disk */
    log_write_up_to(lsn, LOG_WAIT_ONE_GROUP, TRUE);
  }
} else if (flush_log_at_trx_commit == 2) {
  /* Write the log but do not flush it to disk */
  log_write_up_to(lsn, LOG_WAIT_ONE_GROUP, FALSE);
} else {
  ut_error;
}

参数优化--sync_binlog

刷新binlog的数目
双1模式,即:innodb_flush_log_at_trx_commit = 1,sync_binlog = 1,这样主备的数据是一致的,不会丢失数据。


系统优化--NUMA

在os层numa关闭时,打开bios层的numa会影响性能,QPS会下降15-30%;
在bios层面numa关闭是,无论os层面的numa是否打开,都不会影响性能。


系统优化--malloc

1、下载jemalloc源码包
wget http://www.canonware.com/download/jemalloc/jemalloc-3.6.0.tar.bz2
tar -xjf jemalloc-3.6.0.tar.bz2
2、编译安装
cd jemalloc-3.6.0; ./configure;make &make install
3、配置MySQL
[mysqld_safe]
malloc-lib=$PATH/libjemalloc.so


系统优化--网卡

RSS: Receive Side Scaling。网卡多队列,需要硬件支持。网卡接收到网络数据包之后,要发送一个硬件中断,通知CPU取数据包。默认配置,都是由CPU0去做。
RPS: Receive Packet Steering。向某CPU发送一个软中断,来接收数据包,并递交给应用程序。
RFS: Receive Flow Steering。维护两张hash表,实现将软中断分散到多颗CPU去处理。

结论:
减少CPU之间的cache交互; hash计算精准定位到目标CPU。
CPU空闲时,RT性能优化; CPU忙碌时,RT反而恶化。
RFS的hash表条数对性能有较大影响。


系统优化--内存插法

6根内存在4通道里的插法为:2/2/1/1,简称42插法
6根内存在4通道里的插法为:2/2/2/0,简称33插法
HP/DELL/华为/英业达对比:

  • HP/DELL/华为保持42插法性能会比33插法性能高。NUMA开启,QPS提升8-20%;NUMA关闭,QPS值能提升12-38%。
  • 英业达无论何种插法都表现良好

参考资料

1、《innodb parameters》
http://dev.mysql.com/doc/refman/5.5/en/innodb-parameters.html
2、《Choosing innodb_buffer_pool_size》
http://www.mysqlperformanceblog.com/2007/11/03/choosing-innodb_buffer_pool_size/
3、《The InnoDB Buffer Pool》
http://dev.mysql.com/doc/refman/5.5/en/innodb-buffer-pool.html
4、《Configuring the Rate of InnoDB Buffer Pool Flushing》
http://dev.mysql.com/doc/refman/5.5/en/innodb-performance-adaptive_flushing.html
5、《Optimizing InnoDB Disk I/O》
http://dev.mysql.com/doc/refman/5.5/en/optimizing-innodb-diskio.html
6、《jemalloc》
http://www.canonware.com/jemalloc/
7、《scalable memory allocation using jemalloc》
http://www.facebook.com/notes/facebook-engineering/scalable-memory-allocation-using-jemalloc/480222803919
8、《MySQL performance: Impact of memory allocators》
http://www.mysqlperformanceblog.com/2012/07/05/impact-of-memory-allocators-on-mysql-performance/
9、《MySQL performance: Impact of memory allocators (Part 2)》
http://www.mysqlperformanceblog.com/2013/03/08/mysql-performance-impact-of-memory-allocators-part-2/
10、《MySQL性能测试--jemalloc内存管理》
http://blog.chinaunix.net/uid-26896862-id-3865087.html
11、《A High-Performance Nehalem iDataPlex Cluster and DDN S2A9990 Storage for Texas A&M University》
http://sc.tamu.edu/systems/eos/
12、《Non-uniform memory access》
http://en.wikipedia.org/wiki/Non-Uniform_Memory_Access
13、《MySQL单机多实例方案》
http://www.hellodb.net/tag/numa
14、《Introduction to NUMA on xSeries Servers》
http://www.redbooks.ibm.com/abstracts/tips0476.html?Open
15、《Numa对MySQL多实例性能测试报告 》
http://blog.chinaunix.net/uid-26896862-id-3278913.html
16、《MySQL Blob Compression performance benefits》
http://www.mysqlperformanceblog.com/2008/01/11/mysql-blob-compression-performance-benefits/
17、《Scaling in the Linux Networking Stack》
https://www.kernel.org/doc/Documentation/networking/scaling.txt

你可能感兴趣的:(4.MySQL性能优化)