【MySQL】我必须得告诉大家的MySQL优化原理3（中）配置+MyISAM配置

给你一个基本的MySQL配置

前面已经说到，MySQL可配置性太强，看起来需要花很多时间在配置上，但其实大多数配置的默认值已经是最佳的，最好不要轻易改动太多的配置，你甚至不需要知道某些配置的存在。这里有一个最小的示例配置文件，可以作为服务器配置文件的一个起点，其中有一些配置项是必须的。本节将为你详细剖析每个配置有何作用？为什么要配置它？怎么确定合适的值？

[mysql]

# CLIENT #
port                           = 3306
socket                         = /var/lib/mysql/mysql.sock

[mysqld]

# GENERAL #
user                           = mysql
port                           = 3306
default-storage-engine         = InnoDB
socket                         = /var/lib/mysql/mysql.sock
pid-file                       = /var/lib/mysql/mysql.pid

# DATA STORAGE #
datadir                        = /var/lib/mysql/

# MyISAM #
key-buffer-size                = 32M
myisam-recover                 = FORCE,BACKUP

# SAFETY #
max-allowed-packet             = 16M
max-connect-errors             = 1000000

# BINARY LOGGING #
log-bin                        = /var/lib/mysql/mysql-bin
expire-logs-days               = 14
sync-binlog                    = 1

# LOGGING #
log-error                      = /var/lib/mysql/mysql-error.log
log-queries-not-using-indexes  = 1
slow-query-log                 = 1
slow-query-log-file            = /var/lib/mysql/mysql-slow.log

# CACHES AND LIMITS #
tmp-table-size                 = 32M
max-heap-table-size            = 32M
query-cache-type               = 0
query-cache-size               = 0
max-connections                = 500
thread-cache-size              = 50
open-files-limit               = 65535
table-definition-cache         = 4096
table-open-cache               = 10240

# INNODB #
innodb-flush-method            = O_DIRECT
innodb-log-files-in-group      = 2
innodb-log-file-size           = 256M
innodb-flush-log-at-trx-commit = 1
innodb-file-per-table          = 1
innodb-buffer-pool-size        = 12G

 

分段

MySQL配置文件的格式为集中式，通常会分成好几部分，可以为多个程序提供配置，如[client]、[mysqld]、[mysql]等等。MySQL程序通常是读取与它同名的分段部分。

• [client] 客户端默认设置内容
• [mysql] 使用mysql命令登录mysql数据库时的默认设置
• [mysqld] 数据库本身的默认设置

例如服务器mysqld通常读取[mysqld]分段下的相关配置项。如果配置项位置不正确，该配置是不会生效的。

 

GENERAL

首先创建一个用户mysql来运行mysqld进程，请确保这个用户拥有操作数据目录的权限。设置默认端口为3306，可修改。默认选择Innodb存储引擎，在大多数情况下是最好的选择。但需要使用MyISAM存储引擎，请显式地进行配置。

接着设置数据文件的位置，这里把pid文件和socket文件放到相同的位置，当然也可以选择其它位置，但要注意的是不要将socket文件和pid文件放到MySQL编译的默认位置，因为不同版本的MySQL，这两个文件的默认路径可能会不一致，最好明确地设置这些文件的位置，以免版本升级时出现问题。

类UNIX系统下本地连接MySQL可以采用UNIX域套接字方式，这种方式需要一个套接字（socket）文件，即配置中的mysql.sock文件。
当MySQL实例启动时，会将自己的进程ID写入一个文件中——该文件即为pid文件。该文件可由参数pid-file控制，默认位于数据库目录下，文件名为主机名.pid

 

DATA STORAGE

datadir用于配置数据文件的存储位置，没有什么好说的。

为缓存分配内存

缓存的配置项，缓存设置多大，最直接的因素肯定是服务器内存的大小。如果服务器只运行MySQL，所有不需要为OS以及查询处理保留的内存都可以用在MySQL缓存。为MySQL缓存分配更多内存，可以有效的避免磁盘访问，提升数据库性能。大部分情况来说最为重要的缓存：

• InnoDB缓冲池
• InnoDB日志文件和MyISAM数据的操作系统缓存(MyISAM依赖于OS缓存数据)
• MyISAM键缓存
• 查询缓存
• 无法配置的缓存，比如：bin-log或者表定义文件的OS缓存

还有一些其他缓存，但它们通常不会使用太多内存。关于查询缓存，前面文章(参考本系列的第一篇)已有介绍，大多数情况下我们不建议开启查询缓存，因此上文的配置中query-cache-type=0表示禁用了查询缓存，相应的查询缓存大小query-cache-size=0。除开查询缓存，剩下关于InnoDB和MyISAM的相关缓存，在接下来会做详细介绍。

如果只使用单一存储引擎，配置服务器就会简单许多。如果只使用MyISAM表，就可以完全关闭InnoDB，而如果只使用InnoDB，就只需要分配最少的资源给MyISAM（MySQL内部系统表使用MyISAM引擎）。但如果是混合使用各种存储引擎，就很难在他们之间找到恰当的平衡，因此只能根据业务做一个猜测，然后在运行中观察服务器运行状况后做出调整。

 

MyISAM

key-buffer-size

key-buffer-size用于配置MyISAM键缓存大小，默认只有一个键缓存，但是可以创建多个。MyISAM自身只缓存索引，不缓存数据(依赖OS缓存数据)。如果大部分表都是MyISAM，那么应该为键缓存设置较多的内存。但如何确定该设置多大？

假设整个数据库中表的索引大小为X，肯定不需要把缓存设置得比X还大，所以当前的索引大小就成为这个配置项的重要依据。可以通过下面两种方式来查询当前索引的大小：

// 1.通过SQL语句查询
SELECT SUM(INDEX_LENGTH) FROM INFORMATION_SCHEMA.TABLES WHERE ENGINE = 'MYISAM'
// 2.统计索引文件的大小
$ du -sch `find /path/to/mysql/data/directory/ -name "*.MYI"`
比如：
root@dev-msc3:# du -sch `find /var/lib/mysql -name "*.MYI"`
72K        /var/lib/mysql/static/t_global_region.MYI
40K        /var/lib/mysql/mysql/db.MYI
12K        /var/lib/mysql/mysql/proxies_priv.MYI
12K        /var/lib/mysql/mysql/tables_priv.MYI
4.0K       /var/lib/mysql/mysql/func.MYI
4.0K       /var/lib/mysql/mysql/columns_priv.MYI
4.0K       /var/lib/mysql/mysql/proc.MYI
4.0K       /var/lib/mysql/mysql/event.MYI
4.0K       /var/lib/mysql/mysql/user.MYI
4.0K       /var/lib/mysql/mysql/procs_priv.MYI
4.0K       /var/lib/mysql/mysql/ndb_binlog_index.MYI
164K       total

你可能会问，刚创建好的数据库，根本就没什么数据，索引文件大小为0，那如何配置键缓存大小？这时候只能根据经验值：不超过为操作系统缓存保留内存的25% ~ 50%。设置一个基本值，等运行一段时间后，根据运行情况来调整键缓存大小。总结来说，索引大小与OS缓存的25%~50%两者间取小者。当然还可以计算键缓存的使用情况，如果一段时间后还是没有使用完所有的键缓存，就可以把缓冲区调小一点，

计算缓存区的使用率公式：

// key_blocks_unused的值可以通过 SHOW STATUS获取
// key_cache_block_size的值可以通过 SHOW VARIABLES获取 
(key_blocks_unused * key_cache_block_size) / key_buffer_size

键缓存块大小是一个比较重要的值，因为它影响MyISAM、OS缓存以及文件系统之间的交互。如果缓存块太小，可能会碰到写时读取(OS在写数据之前必须先从磁盘上读取一些数据)。

关于缓存命中率，其实这个数字没太大的作用。比如99%和99.9%之间看起来差距很小，但实际上代表了10倍的差距。缓存命中率的实际意义与应用也有很大关系，有些应用可以在命中率99%下良好的工作，有些I/O密集型应用，可能需要99.99%。所以从经验上来说，每秒未命中次数这个指标实际上会更有用一些。比如每秒5次未命中可能不会导致IO繁忙，但每秒100次缓存未命中则可能出现问题。

 

MyISAM键缓存的每秒未命中次数可以通过如下命令监控：

# 计算每隔10s缓存未命中次数的增量
# 使用此命令时请带上用户和密码参数：mysqladmin -uroot -pxxx extended-status -r -i 10 | grep Key_reads
$ mysqladmin extended-status -r -i 10 | grep Key_reads

最后，即使没有使用任何MyISAM表，依然需要将key-buffer-size设置为较小值，比如32M，因为MySQL内部会使用MyISAM表，比如GROUP BY语句可能会创建MyISAM临时表。

 

myisam-recover

配置MyISAM怎样寻找和修复错误。打开这个选项会通知MySQL在打开表时，检查表是否损坏，并在找到问题时进行修复，它可以设置如下值：

• DEFAULT：表示不设置，会尝试修复崩溃或者未完全关闭的表，但在恢复数据时不会执行其它动作
• BACKUP：将数据文件备份到.bak文件，以便随后进行检查
• FORCE：即使.myd文件中丢失的数据超过1行，也让恢复动作继续执行
• QUICK：除非有删除块，否则跳过恢复

可以设置多个值，每个值用逗号隔开，比如配置文件中的BACKUP,FORCE会强制恢复并且创建备份，这样配置在只有一些小的MyISAM表时有用，因为服务器运行着一些损坏的MyISAM表是非常危险的，它们有时可能会导致更多数据损坏，甚至服务器崩溃。然而如果有很大的表，它会导致服务器打开所有的MyISAM表时都检查和修复，大表的检查和修复可能会耗费大量时间，且在这段时间里，MySQL会阻止这个连接做其它任何操作，这显然是不切实际的。

因此，在默认使用InnoDB存储引擎时，数据库中只有非常小的MyISAM表时，只需要配置key-buffe-size于一个很小的值(32M)以及myisam-recover=BACKUP,FORCE。当数据库中大部分表为MyISAM表时，请根据上文的公式合理配置key-buffer-size，而myisam-recover则可以关闭，在启动后使用CHECK TABLES和REPAIR TABLES命令来做检查和修复，这样对服务器的影响比较小。

 

SAFETY

基本配置设置到位后，MySQL已经比较安全了，这里仅仅列出两个需要注意的配置项，如果需要启用一些使服务器更安全和可靠的设置，可以参考MySQL官方手册，但需要注意的是，它们其中的一些选项可能会影响性能，毕竟保证安全和可靠需要付出一些代价。

max-allowed-packet

max-allowed-packet防止服务器发送太大的数据包，也控制服务器可以接收多大的包。默认值4M，可能会比较小。如果设置太小，有时复制上会出问题，表现为从库不能接收主库发过来的复制数据。如果表中有Blob或者Text字段，且数据量较大的话，要小心，如果数据量超过这个变量的大小，它们可能被截断或者置为NULL，这里建议设置为16M。

 

max-connect-errors

与安全相关的计数器值，它主要防止客户端暴力破解密码。如果某一个客户端尝试连接MySQL服务器失败超过n次，则MySQL会无条件强制阻止此客户端连接，直到再次刷新主机缓存或者重启MySQL服务器。

这个值默认为10，太小了，有时候网络抽风或者应用配置出现错误导致短时间内不断尝试重连服务器，客户端就会被列入黑名单，导致无法连接。如果在内网环境，可以确认没有安全问题可以把这个值设置的大一点，默认值太容易导致问题。

 

LOGGING

接下来看下日志的配置，对于MySQL来说，慢日志和bin-log是非常重要的两种日志，前者可以帮助应用程序监控性能问题，后者在数据同步、备份等方面发挥着非常重要的作用。

关于bin-log的3个配置，log-bin用于配置文件存放路径，expire_logs_days让服务器在指定天数之后清理旧的日志，即配置保留最近多少天的日志。除非有运维手动备份清理bin-log，否则强烈建议打开此配置，如果不启用，服务器空间最终将会被耗尽，导致服务器卡住或者崩溃。

sync-binlog

当事务提交之后，MySQL是否将bin-log刷新到磁盘。如果其值等于0或者大于1时，当事务提交之后，MySQL不会将bin-log刷新到磁盘，其性能最高，但存在的风险也是最大的，因为一旦系统崩溃，bin-log将会丢失。而当其值等于1时，是最安全的，这时候即使系统崩溃，最多也就丢失本次未完成的事务，对实际的数据没有实质性的影响，但性能较差。

需要注意的是，在5.7.7之前的版本，这个选择的默认值为0，而后默认值为1，也就是最安全的策略。对于高并发的性能，需要关注这一点，防止版本升级后出现性能问题。

剩下的4个配置项就没太多要说的

• log-error：用于配置错误日志的存放目录
• slow-query-log：打开慢日志，默认关闭
• slow-query-log-file：配置慢日志的存放目录
• log-queries-not-using-indexes：如果该sql没有使用索引，会将其写入到慢日志，但是否真的执行很慢，需要区分，默认关闭。

 

CACHES AND LIMITS

tmp-table-size && max-heap-table-size

这两个配置控制使用Memory引擎的内存临时表可以使用多大的内存。如果隐式内存临时表的大小超过这两个值，将会被转为磁盘MyISAM表(隐式临时表由服务器创建，用户保存执行中的查询的中间结果)。

如果查询语句没有创建庞大的临时表(通过合理的索引和查询设计来避免)，可以把这个值设大一点，以免需要把内存临时表转换为磁盘临时表。但要谨防这个值设置得过大，如果查询确实会创建很大的临时表，那么还是使用磁盘比较好，毕竟并发数一起来，所需要的内存就会急剧增长。

应该简单的把这两个变量设为同样的值，这里选择了32M，可以通过仔细检查created-tmp-disk-tables和created-tmp-tables两个变量来指导你设置，这两个变量的值将展示临时表的创建有多频繁。

query-cache-type && query-cache-size

看前面

 

max-connections

用于设置用户的最大连接数，保证服务器不会应为应用程序激增的连接而不堪重负。如果应用程序有问题，或者服务器遇到连接延迟问题，会创建很多新连接。但如果这些连接不能执行查询，那打开一个连接没什么好处，所以被“太多的连接”错误拒绝是一种快速而且代价小的失败方式。

在服务器资源允许的情况下，可以把max-connections设置的足够大，以容纳正常可能达到的负载。若认为正常情况将有300或者更多连接，可以设置为500或者更多(应对高峰期)。默认值是100，太小了，这里设置为500，但并不意味着其是一个合理的值，应该监控应用有多少连接，然后根据监控值(观察max_used_connections随时间的变化)来设置。

 

thread-cache-size

线程缓存保存那些当前没有与连接关联但是准备为后面新连接服务的线程。当一个新的连接创建时，如果缓存中有线程存在，MySQL则从缓存中删除一个线程，并且把它分配给这个新连接。当连接关闭时，如果线程缓存还有空间的话，MySQL又会把线程放回缓存。如果没有空间的话，MySQL会销毁这个线程。只要MySQL在缓存里还有空闲的线程，它就可以迅速响应连接请求，因为这样就不用为每个连接创建新线程。thread-cache-size指定MySQL可以保存在缓存中的线程数量。如果服务器没有很多的连接请求，一般不需要配置这个值。

如何判断这个值该设置多大？

观察threads-connected变量，如果threads-connected在100-120，那么thread-cache-size设置为20。如果它保持在500-700，200的线程缓存应该足够大了。可以这么理解：当同时有700个连接时，可能缓存中没有线程。在500个连接时，有200个缓存的线程准备为负载再次增加到700个连接时使用。

 

open-files-limit

在类Uinux系统上我们把它设置得尽可能大。现代OS中打开句柄开销都很小，如果此参数设置过小，可能会遇到“打开的文件太多(too many open files)”错误。

table_cache_size

表缓存跟线程缓存类似，但存储的对象是表，其包含表.frm文件的解析结果和一些其他数据。准确的说，缓存的数据依赖于存储引擎，比如，对于MyISAM，缓存 表的数据和索引的文件描述符。表缓存对InnoDB的存储引擎来说，重要性会小很多，因为InnoDB不依赖它来做那么多的事。

从5.1版本及以后，表缓存就被分为两个部分：打开表缓存和定义表缓存，分别通过table-open-cache-size和table-definition-cache-size变量来配置。通常可以把table-definition-cache-size设置得足够高，以缓存所有的表定义，因为大部分存储引擎都能从table-definition-cache获益。

作者：CHEN川
链接：https://www.jianshu.com/p/78b6b7e2bb7f
來源：简书
简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。