实验环境
OS: debian_version_8.11 64位
CPU: Intel(R) Xeon(R) CPU E5-2630 v4 @ 2.20GHz
Mem: 8GB
Kernel: 3.16.0-10-amd64
Mariadb: mariadb-10.2.30
说明:
1、MariaDB/MySQL的默认设置性能非常差,仅仅起一个功能测试的作用,不能用在生产环境中,因此要对一些参数进行调整优化。
2、但是配置文件各参数的调整需要根据实际环境,不同时期不同数量级的数据进行性能优化。
3、本文MySQL/MariaDB配置文件位于/etc/mysql/my.cnf。 每次更改此文件后你需要重启MySQL服务,以更改生效。
4、经供参考,在生产环境中进行任何变更之前需要慎重考虑。
配置文件参数解读
[client]
port = 3306
#客户端默认连接端口socket
socket = /apps/mysql/lock/mysql.sock
#用于本地连接的socket套接字
[mysqld]
#服务端基本配置
port = 3306
#mysql服务端监听端口
socket = /apps/mysql/lock/mysql.sock
#为mysql客户端程序和服务器之间的本地通讯指定一个套接字文件
basedir = /apps/mysql
#mysql安装目录
datadir = /apps/mysql/data
#mysql数据库数据文件存放目录
pid-file = /apps/mysql/run/mysql.pid
#pid所在的目录
log-error = /apps/mysql/logs/mysql-error.log
#记录mysql错误日志文件
user = mysql
#mysql启动用户
bind-address=192.168.1.146
#表示监听IPV4地址
skip_name_resolve = 1
#表示跳过主机名解析
skip-external-locking
#mysql选项以避免外部锁定。该选项默认开启。不使用系统锁定,要使用myisamchk,必须关闭服务器
key_buffer_size = 384M
#这个参数用来缓存MyISAM存储引擎的索引参数,增加它可得到更好处理的索引(对所有读和多重写)。默认为InnoDB存储引擎,该参数可以设置小点,64M即可。
#系统将开始换页并且真的变慢了。对于内存在4GB左右的服务器该参数可设置为384M或512M。通过检查状态值Key_read_requests和Key_reads,
#可以知道key_buffer_size设置是否合理。比例key_reads/key_read_requests应该尽可能的低,
#至少是1:100,1:1000更好(上述状态值可以使用SHOW STATUS LIKE 'key_read%'获得)。注意:该参数值设置的过大反而会是服务器整体效率降低
max_allowed_packet = 16M
#允许最大接收数据包的大小,防止服务器发送过大的数据包。增加该变量的值十分安全,这是因为仅当需要时才会分配额外内存。例如仅当你发出长查询或mysqld必须返回大的结果行时mysqld才会分配更多内存。可以设置为16MB或者更大,但设置的太大也可能有危险。
#该变量之所以取较小默认值是一种预防措施,以捕获客户端和服务器之间的错误信息包,并确保不会因偶然使用大的信息包而导致内存溢出。
table_open_cache = 512
#MySQL每打开一个表,都会读入一些数据到table_open_cache缓存中,当MySQL在这个缓存中找不到相应信息时,才会去磁盘上读取。默认值64,假定系统有200个并发连接,则需将此参数设置为200*N(N为每个连接所需的文件描述符数目);当把table_open_cache设置为很大时,如果系统处理不了那么多文件描述符,那么就会出现客户端失效,连接不上。
back_log = 600
#MySQL能有的连接数量。当主要MySQL线程在一个很短时间内得到非常多的连接请求,这就起作用,
#然后主线程花些时间(尽管很短)检查连接并且启动一个新线程。back_log值指出在MySQL暂时停止回答新请求之前的短时间内多少个请求可以被存在堆栈中。
#如果期望在一个短时间内有很多连接,你需要增加它。也就是说,如果MySQL的连接数据达到max_connections时,新来的请求将会被存在堆栈中,
#以等待某一连接释放资源,该堆栈的数量即back_log,如果等待连接的数量超过back_log,将不被授予连接资源。
#另外,这值(back_log)限于您的操作系统对到来的TCP/IP连接的侦听队列的大小。
#你的操作系统在这个队列大小上有它自己的限制(可以检查你的OS文档找出这个变量的最大值),试图设定back_log高于你的操作系统的限制将是无效的。
sort_buffer_size = 8M
#MySQL执行排序使用的缓冲大小。如果想要增加ORDER BY的速度,首先看是否可以让MySQL使用索引而不是额外的排序阶段。
#如果不能,可以尝试增加sort_buffer_size变量的大小,默认为256k。另外,一般出现Using filesort的时候,要通过增加索引来解决。
read_buffer_size = 2M
#该参数用于表的顺序扫描,表示每个线程分配的缓冲区大小。比如在进行全表扫描时,MySQL会按照数据的存储顺序依次读取数据块,每次读取的数据块首先会暂存在read_buffer_size中,当buffer空间被写满或者全部数据读取结束后,再将buffer中的数据返回给上层调用者,以提高效率。默认为128K,这个参数不要设置过大,一般在128~256之间。如果对表的顺序扫描请求非常频繁,并且你认为频繁扫描进行得太慢,可以通过增加该变量值以及内存缓冲区大小提高其性能
read_rnd_buffer_size = 8M
#该参数用于表的随机读取,表示每个线程分配的缓冲区大小。比如按照一个非索引字段做order by排序操作时,就会利用这个缓冲区来暂存读取的数据。默认为256KB,这个参数不要设置过大,一般在128~512KB。
#mysql会首先扫描一遍该缓冲,以避免磁盘搜索,提高查询速度,如果需要排序大量数据,可适当调高该值。但MySQL会为每个客户连接发放该缓冲空间,所以应尽量适当设置该值,以避免内存开销过大。
myisam_sort_buffer_size = 64M
#MyISAM设置恢复表之时使用的缓冲区的尺寸,当在REPAIR TABLE或用CREATE INDEX创建索引或ALTER TABLE过程中排序MyISAM索引分配的缓冲区设置太小时可能会遇到” myisam_sort_buffer_size is too small”
myisam_max_sort_file_size = 10G
#如果临时文件会变得超过索引,不要使用快速排序索引方法来创建一个索引。注释:这个参数以字节的形式给出
myisam_repair_threads = 1
#如果该值大于1,在Repair by sorting过程中并行创建MyISAM表索引(每个索引在自己的线程内)
thread_cache_size = 64
#线程池,线程缓存。用来缓存空闲的线程,以至于不被销毁,如果线程缓存在的空闲线程,需要重新建立新连接,则会优先调用线程池中的缓存,很快就能响应连接请求。每建立一个连接,都需要一个线程与之匹配。
#这个值(默认8)表示可以重新利用保存在缓存中线程的数量,当断开连接时如果缓存中还有空间,那么客户端的线程将被放到缓存中,
#如果线程重新被请求,那么请求将从缓存中读取,如果缓存中是空的或者是新的请求,那么这个线程将被重新创建,如果有很多新的线程,
#增加这个值可以改善系统性能.通过比较Connections和Threads_created状态的变量,可以看到这个变量的作用。(–>表示要调整的值)
#根据物理内存设置规则如下:
#1G —> 8
#2G —> 16
#3G —> 32
#大于3G —> 64
query_cache_size = 32M
#缓存select语句和结果集大小的参数,查询缓存会存储一个select查询的文本与被传送到客户端的相应结果。如果之后接收到一个相同的查询,服务器会从查询缓存中检索结果,而不是再次分析和执行这个同样的查询。如果你的环境中写操作很少,读操作频繁,那么打开query_cache_type=1,会对性能有明显提升。如果写操作频繁,则应该关闭它(query_cache_type=0)。
#今后对于同样的SELECT语句(区分大小写),将直接从缓冲区中读取结果。根据MySQL用户手册,使用查询缓冲最多可以达到238%的效率。
#通过检查状态值'Qcache_%',可以知道query_cache_size设置是否合理:如果Qcache_lowmem_prunes的值非常大,则表明经常出现缓冲不够的情况,
#如果Qcache_hits的值也非常大,则表明查询缓冲使用非常频繁,此时需要增加缓冲大小;如果Qcache_hits的值不大,则表明你的查询重复率很低,
#这种情况下使用查询缓冲反而会影响效率,那么可以考虑不用查询缓冲。此外,在SELECT语句中加入SQL_NO_CACHE可以明确表示不使用查询缓冲
query_cache_limit = 2M
#指定单个查询能够使用的缓冲区大小,默认1M。
tmp_table_size = 64M
#临时HEAP数据表的最大长度(默认设置是32M),
#MySQL的heap(堆积)表缓冲大小。所有联合在一个DML指令内完成,并且大多数联合甚至可以不用临时表即可以完成。
#大多数临时表是基于内存的(HEAP)表。具有大的记录长度的临时表 (所有列的长度的和)或包含BLOB列的表存储在硬盘上。
#如果某个内部heap(堆积)表大小超过tmp_table_size,MySQL可以根据需要自动将内存中的heap表改为基于硬盘的MyISAM表。还可以通过设置tmp_table_size选项来增加临时表的大小。也就是说,如果调高该值,MySQL同时将增加heap表的大小,可达到提高联接查询速度的效果
join_buffer_size = 64M
#联合查询操作所能使用的缓冲区大小,和sort_buffer_size一样,该参数对应的分配内存也是每连接独享
thread_concurrency = 4
#该值一般建议设定cpu的个数*2
ft_min_word_len = 4
#分词词汇最小长度,默认值为4
explicit_defaults_for_timestamp = true
#是否显示默认时间戳,true是显示
#skip-networking
max_connections = 1000
#该参数是用来设定mysql的最大连接数,默认为100,一般设置为512-1000即可。太多的连接会导致内存的使用量过高并且会锁住你的MySQL服务器。一般小型网站需要100-200的连接数,而较大可能需要500-800甚至更多。这里的值很大程度上取决于你 MySQL/MariaDB 的使用情况。
#如果服务器的并发连接请求量比较大,建议调高此值,以增加并行连接数量,当然这建立在机器能支撑的情况下,因为如果连接数越多,介于MySQL会为每个连接提供连接缓冲区,就会开销越多的内存,所以要适当调整该值,不能盲目提高设值。可以过'conn%'通配符查看当前状态的连接数量,以定夺该值的大小。
max_connect_errors = 1000
#如果有时网络异常或者应用配置错误,或者其他原因导致客户端短时间内不断的尝试连接,超出该参数值个数的中断错误连接。该主机将被禁止连接,可能会被列入黑名单。然后将无法连接,直到再次刷新主机缓存。如需对该主机进行解禁需执行FLUSH HOST。这个选项默认值太小了,可以考虑设的足够大(如果你的服务器配置够强大的话)。
open_files_limit = 65535
#设定mysql打开最大文件数,MySQL打开的文件描述符限制,默认最小1024,当open_files_limit没有被配置的时候,比较max_connections*5和ulimit -n的值,哪个大用哪个。
transaction_isolation = REPEATABLE-READ
#MySQL支持4种事务隔离级别,他们分别是:READ-UNCOMMITTED, READ-COMMITTED, REPEATABLE-READ, SERIALIZABLE。
#如没有指定,MySQL默认采用的是REPEATABLE-READ,ORACLE默认的是READ-COMMITTED
log-bin=mysql-bin
binlog_format=mixed
#指定日志格式为mixed
binlog_cache_size = 64M
#一个事务在没有提交的时候产生的日志会记录到Cache中;等到事务提交需要提交的时候,则把日志持久化到磁盘。该值默认大小32K,可以自行设定。
max_heap_table_size = 8M
#定义了用户可以创建的内存表(memory table)的大小。这个值用来计算内存表的最大行数值。这个变量支持动态改变
server-id = 1
#表示是本机的序号为1,给服务器分配一个独一无二的ID编号; n的取值范围是1~2的32次方启用二进制日志功能。在复制数据同步的时候会用到,一般来讲就是master的意思
expire_logs_days = 30
#表示超过30天的binlog删除,启用二进制日志后保留日志的天数。服务器会自动清理指定天数前的日志文件,如果不设置则会导致服务器空间耗尽。一般设置为7~30天。
default_storage_engine = InnoDB
#新数据表的默认存储引擎(默认设置是MyISAM)。这项设置还可以通过–default-table-type选项来设置。
innodb_file_per_table = 1
#InnoDB为独立表空间模式,每个数据库的每个表都会生成一个数据空间。当删除或截断一个数据库表时,你也可以回收未使用的空间。这样配置的另一个好处是你可以将某些数据库表放在一个单独的存储设备。这可以大大提升你磁盘的I/O负载。
#独立表空间优点:
#1.每个表都有自已独立的表空间。
#2.每个表的数据和索引都会存在自已的表空间中。
#3.可以实现单表在不同的数据库中移动。
#4.空间可以回收(除drop table操作处,表空不能自已回收)
#缺点:
#单表增加过大,如超过100G
#结论:
#共享表空间在Insert操作上少有优势。其它都没独立表空间表现好。当启用独立表空间时,请合理调整:innodb_open_files
innodb_data_home_dir = /apps/mysql/data
#InnoDB主目录,所有与InnoDB数据表有关的目录或文件路径都相对于这个路径。在默认的情况下,这个主目录就是MySQL的数据目录。
innodb_data_file_path = ibdata1:10M:autoextend
#用来容纳InnoDB为数据表的表空间: 可能涉及一个以上的文件; 每一个表空间文件的最大长度都必须以字节(B)、兆字节(MB)或千兆字节(GB)为单位给出; 表空间文件的名字必须以分号隔开; 最后一个表空间文件还可以带一个autoextend属性和一个最大长度(max:n)。
innodb_log_group_home_dir = /apps/mysql/logs
#用来存放InnoDB日志文件的目录路径(如ib_logfile0、ib_logfile1等)。在默认的情况下,InnoDB驱动程序将使用 MySQL数据目录作为自己保存日志文件的位置。
innodb_buffer_pool_size = 4G
#这个参数是InnoDB存储引擎的核心参数,默认为128KB
#InnoDB使用一个缓冲池来保存索引和原始数据, 不像MyISAM.
#这里你设置越大,你在存取表里面数据时所需要的磁盘I/O越少.
#在一个独立使用的数据库服务器上,你可以设置这个变量到服务器物理内存大小的60-80%
#不要设置过大,否则,由于物理内存的竞争可能导致操作系统的换页颠簸.
#注意在32位系统上你每个进程可能被限制在 2-3.5G 用户层面内存限制,
#所以不要设置的太高.
innodb_write_io_threads = 4
innodb_read_io_threads = 4
#Innodb使用后台线程处理数据页上的读写 I/O(输入输出)请求,根据你的 CPU 核数来更改,默认是4
#注:这两个参数不支持动态改变,需要把该参数加入到my.cnf里,修改完后重启MySQL服务,允许值的范围从1-64
innodb_thread_concurrency = 0
#默认设置为0,表示不限制并发数,这里推荐设置为0,更好去发挥CPU多核处理能力,提高并发量
innodb_purge_threads = 1
#InnoDB中的清除操作是一类定期回收无用数据的操作。在之前的几个版本中,清除操作是主线程的一部分,这意味着运行时它可能会堵塞其它的数据库操作。
#从MySQL5.5.X版本开始,该操作运行于独立的线程中,并支持更多的并发数。用户可通过设置innodb_purge_threads配置参数来选择清除操作是否使用单
#独线程,默认情况下参数设置为0(不使用单独线程),设置为 1 时表示使用单独的清除线程。建议为1
innodb_log_file_size = 1G
#事务日志文件写操作缓存区的最大长度(默认设置是1MB)。更大的设置可以提高性能,但也会增加恢复故障数据库所需的时间
innodb_log_files_in_group = 3
#为提高性能,MySQL可以以循环方式将日志文件写到多个文件。推荐设置为3
innodb_max_dirty_pages_pct = 90
#innodb主线程刷新缓存池中的数据,使脏数据比例小于90%
innodb_strict_mode = 0
innodb_log_buffer_size = 64M
#此参数确定些日志文件所用的内存大小,以M为单位。缓冲区更大能提高性能,但意外的故障将会丢失数据。事务日志所使用的缓存区。InnoDB在写事务日志的时候为了提高性能,先将信息写入Innodb Log Buffer中,当满足innodb_flush_log_trx_commit参数所设置的相应条件(或者日志缓冲区写满)时,再将日志写到文件(或者同步到磁盘)中。可以通过innodb_log_buffer_size参数设置其可以使用的最大内存空间。默认是8MB,一般为16~64MB即可。
innodb_flush_log_at_trx_commit = 1
#这个选项决定着什么时候把日志信息写入日志文件以及什么时候把这些文件物理地写(术语称为”同步”)到硬盘上。
#0: 如果innodb_flush_log_at_trx_commit的值为0,log buffer每秒就会被刷写日志文件到磁盘,提交事务的时候不做任何操作(执行是由mysql的master thread线程来执行的。
#主线程中每秒会将重做日志缓冲写入磁盘的重做日志文件(REDO LOG)中。不论事务是否已经提交)默认的日志文件是ib_logfile0,ib_logfile1
#1: 当设为默认值1的时候,每次提交事务的时候,都会将log buffer刷写到日志。
#2: 如果设为2,每次提交事务都会写日志,但并不会执行刷的操作。每秒定时会刷到日志文件。要注意的是,并不能保证100%每秒一定都会刷到磁盘,这要取决于进程的调度。
#每次事务提交的时候将数据写入事务日志,而这里的写入仅是调用了文件系统的写入操作,而文件系统是有 缓存的,所以这个写入并不能保证数据已经写入到物理磁盘
#默认值1是为了保证完整的ACID。当然,你可以将这个配置项设为1以外的值来换取更高的性能,但是在系统崩溃的时候,你将会丢失1秒的数据。
#设为0的话,mysqld进程崩溃的时候,就会丢失最后1秒的事务。设为2,只有在操作系统崩溃或者断电的时候才会丢失最后1秒的数据。InnoDB在做恢复的时候会忽略这个值。
#总结
#设为1当然是最安全的,但性能页是最差的(相对其他两个参数而言,但不是不能接受)。如果对数据一致性和完整性要求不高,完全可以设为2,如果只最求性能,例如高并发写的日志服务器,设为0来获得更高性能
innodb_lock_wait_timeout = 50
#如果某个事务在等待n秒(s)后还没有获得所需要的资源,就使用ROLLBACK命令放弃这个事务。这项设置对于发现和处理未能被InnoDB数据表驱动 程序识别出来的死锁条件有着重要的意义。
#InnoDB事务在被回滚之前可以等待一个锁定的超时秒数。InnoDB在它自己的锁定表中自动检测事务死锁并且回滚事务。InnoDB用LOCK TABLES语句注意到锁定设置。默认值是50秒
interactive_timeout = 28800
#服务器关闭交互式连接前等待活动的秒数。交互式客户端定义为在mysql_real_connect()中使用CLIENT_INTERACTIVE选项的客户端。默认值:28800秒(8小时)
wait_timeout = 28800
#服务器关闭非交互连接之前等待活动的秒数。在线程启动时,根据全局wait_timeout值或全局interactive_timeout值初始化会话wait_timeout值,
#取决于客户端类型(由mysql_real_connect()的连接选项CLIENT_INTERACTIVE定义)。参数默认值:28800秒(8小时)
#MySQL服务器所支持的最大连接数是有上限的,因为每个连接的建立都会消耗内存,因此我们希望客户端在连接到MySQL Server处理完相应的操作后,
#应该断开连接并释放占用的内存。如果你的MySQL Server有大量的闲置连接,他们不仅会白白消耗内存,而且如果连接一直在累加而不断开,
#最终肯定会达到MySQL Server的连接上限数,这会报'too many connections'的错误。对于wait_timeout的值设定,应该根据系统的运行情况来判断
#在系统运行一段时间后,可以通过show processlist命令查看当前系统的连接状态,如果发现有大量的sleep状态的连接进程,则说明该参数设置的过大,
#可以进行适当的调整小些。要同时设置interactive_timeout和wait_timeout才会生效。
[mysqldump]
quick
max_allowed_packet = 16M
#服务器发送和接受的最大包长度
[mysql]
no-auto-rehash
auto-rehash是自动补全的意思,就像我们在linux命令行里输入命令的时候,使用tab键的功能是一样的。
[myisamchk]
key_buffer_size = 384M
sort_buffer_size = 256M
read_buffer = 128M
write_buffer = 128M
[mysqlhotcopy]
interactive-timeout
#服务器关闭交互式连接前等待活动的秒数。交互式客户端定义为在mysql_real_connect()中使用CLIENT_INTERACTIVE选项的客户端。默认值:28800秒(8小时)
示例.内存8G的my.cnf完整配置:
cat /etc/mysql/my.cnf
#The following options will be passed to all MySQL clients
[client]
port = 3306
socket = /apps/mysql/lock/mysql.sock
#The MySQL server
[mysqld]
port = 3306
socket = /apps/mysql/lock/mysql.sock
basedir = /apps/mysql
datadir = /apps/mysql/data
pid-file = /apps/mysql/run/mysql.pid
log-error = /apps/mysql/logs/mysql-error.log
user = mysql
bind-address=192.168.1.146
skip_name_resolve = 1
skip-external-locking
key_buffer_size = 384M
max_allowed_packet = 16M
table_open_cache = 512
back_log = 600
sort_buffer_size = 8M
read_buffer_size = 2M
read_rnd_buffer_size = 8M
myisam_sort_buffer_size = 64M
myisam_max_sort_file_size = 10G
myisam_repair_threads = 1
thread_cache_size = 64
query_cache_size = 32M
query_cache_limit = 2M
tmp_table_size = 64M
join_buffer_size = 64M
thread_concurrency = 4
ft_min_word_len = 4
explicit_defaults_for_timestamp = true
#skip-networking
max_connections = 1000
max_connect_errors = 1000
open_files_limit = 65535
transaction_isolation = REPEATABLE-READ
log-bin=mysql-bin
binlog_format=mixed
binlog_cache_size = 64M
max_heap_table_size = 8M
server-id = 1
expire_logs_days = 30
default_storage_engine = InnoDB
innodb_file_per_table = 1
innodb_data_home_dir = /apps/mysql/data
innodb_data_file_path = ibdata1:10M:autoextend
innodb_log_group_home_dir = /apps/mysql/logs/
innodb_buffer_pool_size = 4G
innodb_write_io_threads = 4
innodb_read_io_threads = 4
innodb_thread_concurrency = 0
innodb_purge_threads = 1
innodb_log_file_size = 1G
innodb_log_files_in_group = 3
innodb_max_dirty_pages_pct = 90
innodb_strict_mode = 0
innodb_log_buffer_size = 64M
innodb_flush_log_at_trx_commit = 1
innodb_lock_wait_timeout = 50
interactive_timeout = 28800
wait_timeout = 28800
[mysqldump]
quick
max_allowed_packet = 16M
[mysql]
no-auto-rehash
[myisamchk]
key_buffer_size = 384M
sort_buffer_size = 256M
read_buffer = 128M
write_buffer = 128M
[mysqlhotcopy]
interactive-timeout
参考链接
https://blog.csdn.net/qq_1512...
https://linuxeye.com/379.html