同一条sql insert 有时快有时慢 引发的血案

  同一条sql语句,为什么有时插入块,有时插入慢原因剖析

 

 

 

 

背景:同一条sql ,有时插入时间几毫秒,有时插入时间几十毫秒,为什么?

Sql角度:简单insert

表角度: 一个主键

系统参数角度:

开启了双1 策略。

也就意味着每次事物就会有刷新磁盘

关闭双1 ,设置为 0 100 ,或者 2 100 ,会极大提升性能。这是因为不刷硬盘了,但不能解决为什么时快时慢问题

 

操作系统角度

iostat -xmd 1  看磁盘

 

 同一条sql insert 有时快有时慢 引发的血案_第1张图片

 

 

磁盘 不够快啊。 读写0.15M 就使用了7%

 同一条sql insert 有时快有时慢 引发的血案_第2张图片

 

来个顺序文件拷贝, 30M 使用 100%。 离散读写更慢了

使用sar -B 1 可以查看页面交换

 同一条sql insert 有时快有时慢 引发的血案_第3张图片

 

pgpgin/s:表示每秒从磁盘或SWAP置换到内存的字节数(KB)

pgpgout/s:表示每秒从内存置换到磁盘或SWAP的字节数(KB)

fault/s:每秒钟系统产生的缺页数,即主缺页与次缺页之和(major + minor)

majflt/s:每秒钟产生的主缺页数.

pgfree/s:每秒被放入空闲队列中的页个数

pgscank/s:每秒被kswapd扫描的页个数

pgscand/s:每秒直接被扫描的页个数

pgsteal/s:每秒钟从cache中被清除来满足内存需要的页个数

%vmeff:每秒清除的页(pgsteal)占总扫描页(pgscank+pgscand)的百分比

 

这表示 内存和 swap 或者硬盘 有频繁的数据交换

2 哪个进程使用swap 呢

同一条sql insert 有时快有时慢 引发的血案_第4张图片

 

for i in $(ls /proc | grep "^[0-9]" | awk '$0>100'); do awk '/Swap:/{a=a+$2}END{print '"$i"',a/1024"M"}' /proc/$i/smaps;done| sort -k2nr | head

同一条sql insert 有时快有时慢 引发的血案_第5张图片

 

在经过 几个小时后 ,mysql 使用 swap 由 88M 变成了104M , 说明一直在使用和增加的。

 

问题基本定位

  1. 首先是磁盘性能不高,顺序写才30M ,离散写会降低10倍
  2. 其次是mysql又使用了swap 空间,这就使得性能更差
  3. Mysql 开启了双1 验证,就会等待数据刷磁盘,

 

磁盘使用频率不稳定,导致了mysql的插入时间会时快时慢

 

如何解决

  1. 减少mysql使用swap 方式

     把swapness 降为1

    sysctl vm.swappiness=1     并且 /etc/sysctl.conf  中设置为1

  2  降低内存 innodb_buffer_pool_size =4G  原来6G ,节约一部分内存空

  3 开启innodb_numa_interleave = ON    来操作numa

       4 更换SSD 或者不用开启双1,改成 2  100

 

 

只调整操作系统参数,不更换硬件,依然开启双一,重启mysql之后呢

 同一条sql insert 有时快有时慢 引发的血案_第6张图片

 

 

可以看到mysql已经不再使用 swap 空间了

但是因为双一参数的使用,每次事物都会刷磁盘,而这个机械磁盘的性能在随机读写的情况下不稳定。会依然存在时快时慢的问题。

 同一条sql insert 有时快有时慢 引发的血案_第7张图片

 

你可能感兴趣的:(同一条sql insert 有时快有时慢 引发的血案)