数据库插入速度和读取速度的调整记录

数据库插入速度和读取速度的调整记录

（1）提高数据库插入性能中心思想：尽量将数据一次性写入到Data File和减少数据库的checkpoint 操作。这次修改了下面四个配置项：
1）将 innodb_flush_log_at_trx_commit 配置设定为0；按过往经验设定为0，插入速度会有很大提高。

• 0: Write the log buffer to the log file and flush the log file every second, but do nothing at transaction commit.
• 1：the log buffer is written out to the log file at each transaction commit and the flush to disk operation is performed on the log file
• 2：the log buffer is written out to the file at each commit, but the flush to disk operation is not performed on it

2）将 innodb_autoextend_increment 配置由于默认8M 调整到 128M

• 此配置项作用主要是当tablespace 空间已经满了后，需要MySQL系统需要自动扩展多少空间，每次tablespace 扩展都会让各个SQL 处于等待状态。增加自动扩展Size可以减少tablespace自动扩展次数。
  

3）将 innodb_log_buffer_size 配置由于默认1M 调整到 16M

• 此配置项作用设定innodb 数据库引擎写日志缓存区；将此缓存段增大可以减少数据库写数据文件次数。
  

4）将 innodb_log_file_size 配置由于默认 8M 调整到 128M

• 此配置项作用设定innodb 数据库引擎UNDO日志的大小；从而减少数据库checkpoint操作。
  

经过以上调整，系统插入速度由于原来10分钟几万条提升至1秒1W左右；注：以上参数调整，需要根据不同机器来进行实际调整。特别是 innodb_flush_log_at_trx_commit、 innodb_log_buffer_size 和 innodb_log_file_size 需要谨慎调整；因为涉及MySQL本身的容灾处理。

（2）提升数据库读取速度，重数据库层面上读取速度提升主要由于几点：简化SQL、加索引和分区； 经过检查程序SQL已经是最简单，查询条件上已经增加索引。我们只能用武器：表分区。

• 数据库 MySQL分区前准备：在MySQL中，表空间就是存储数据和索引的数据文件。
• 将S11数据库由于同享tablespace 修改为支持多个tablespace;
  
• 将wb_user_info_sina 和 wb_user_info_tx 两个表修改为各自独立表空间；（Sina：1700W数据，2.6G 大数据文件，Tencent 1400W，2.3G大数据文件）；
• 分区操作：
• 将现有的主键和索引先删除
• 重现建立id,uid 的联合主键
• 再以 uid 为键值进行分区。这时候到/var/data/mysql 查看数据文件，可以看到两个大表各自独立表空间已经分割成若干个较少独立分区空间。（这时候若以uid 为检索条件进行查询，并不提升速度；因为键值只是安排数据存储的分区并不会建立分区索引。我非常郁闷这点比Oracle 差得不是一点半点。）
• 再以 uid 字段上进行建立索引。再次到/var/data/mysql 文件夹查看数据文件，非常郁闷地发现各个分区Size竟然大了。MySQL还是老样子将索引与数据存储在同一个tablespace里面。若能index 与 数据分离能够更加好管理。
  

经过以上调整，暂时没能体现出系统读取速度提升；基本都是在 2~3秒完成5K数据更新。