MySQL相关的一些配置及操作

一 .常用配置解释

基本配置：

• datadir：指定mysql的数据目录位置，用于存放mysql数据库文件、日志文件等。
  配置示例：datadir=D:/wamp/mysqldata/Data

• default-character-set：mysql服务器默认字符集设置。
  配置示例：default-character-set=utf8

• skip-grant-tables：当忘记mysql用户密码的时候，可以在mysql配置文件中配置该参数，跳过权限表验证，不需要密码即可登录mysql。

日志相关：

• log-error：指定错误日志文件名称，用于记录当mysqld启动和停止时，以及服务器在运行过程中发生任何严重错误时的相关信息。
  配置示例：log-error="WJT-PC.err"（默认在mysql数据目录下）

• log-bin：指定二进制日志文件名称，用于记录对数据造成更改的所有查询语句。
  配置示例：log-bin="WJT-PC-bin.log"（默认在mysql数据目录下）

• binlog-do-db：指定将更新记录到二进制日志的数据库，其他所有没有显式指定的数据库更新将被忽略，不记录在日志中。
  配置示例：binlog-do-db=db_name

• binlog-ignore-db：指定不将更新记录到二进制日志的数据库，其他没有显式忽略的数据库都将进行记录。
  配置示例：binlog-ignore-db=db_name如果想记录或忽略多个数据库，可以对上面两个选项分别使用多次。

• sync-binlog：指定多少次写日志后同步磁盘。
  配置示例：sync-binlog=N

• general-log：是否开启查询日志记录。
  配置示例：general-log=1

• general_log_file：指定查询日志文件名，用于记录所有的查询语句。
  配置示例：general_log_file="WJT-PC.log"（默认在mysql数据目录下）

• slow-query-log：是否开启慢查询日志记录。
  配置示例：slow-query-log=1

• slow_query_log_file：指定慢查询日志文件名称，用于记录消耗时间较长的查询语句。
  配置示例：slow_query_log_file="WJT-PC-slow.log"（默认在mysql数据目录下）

• long_query_time：设置慢查询的时间，超过这个时间的查询语句才记录日志。
  配置示例：long_query_time=10（单位：秒）

• log-slow-admin-statements：是否将慢管理语句（例如OPTIMIZE TABLE、ANALYZE TABLE和ALTER TABLE）写入慢查询日志。

存储引擎相关：

• default-table-type：设置mysql的默认存储引擎。

• innodb_data_home_dir：InnoDB引擎的共享表空间数据文件根目录。若没有设置，则使用mysql的datadir目录作为缺省目录。

• innodb_data_file_path：单独指定共享表空间数据文件的路径与大小。数据文件的完整路径由innodb_data_home_dir与这里配置的值组合起来，文件大小以MB单位指定。
  配置示例：innodb_data_home_dir=innodb_data_file_path=ibdata1:12M;/data/mysql/mysql3306/data1/ibdata2:12M:autoextend
  如果想为innodb表空间指定不同目录下的文件，必须指定 innodb_data_home_dir =。这个例子中会在datadir下建立ibdata1，在/data/MySQL/mysql3306/data1/目录下创建ibdata2。

• innodb_file_per_table：是否开启独立表空间，若开启，InnoDB将使用独立的.idb文件创建新表而不是在共享表空间中创建。
  配置示例：innodb_file_per_table=1

• innodb_autoinc_lock_mode：配置在向有着auto_increment列的表插入数据时，相关锁的行为。该参数有3个取值：

  • 0：tradition传统，所有的insert语 句开始的时候得到一个表级的auto_inc锁，在语句结束的时候才能释放 这个锁，影响了并发的插入。

  • 1：consecutive连续，mysql可以一次生成 几个连续的auto_inc的值，auto_inc不需要一直保持到语句结束，只要 语句得到了相应的值后就可以提前释放锁（这也是mysql的默认模式）。

  • 2：interleaved交错，这个模式下已经没有了auto_inc锁，所以性能是最好的，但是对于同一个语句来说它得到的auto_inc的值可能不是连续的。

配置示例：innodb_autoinc_lock_mode=1

• low_priority_updates：在myisam引擎锁使用中，默认情况下写请求优先于读请求，可以通过将该参数设置为1来使myisam引擎给予读请求优先权限， 所有的insert、update、delete和lock table write语句将等待直到受影响的表没有挂起的select或lock table read。
  配置示例：low_priority_updates=0（默认配置）

• max_write_lock_count：当一个myisam表的写锁定达到这个值后，mysql就暂时 将写请求优先级降低，给部分读请求获得锁的机会。

• innodb_lock_wait_timeout：InnoDB锁等待超时参数，若事务在该时间内没有获 得需要的锁，则发生回滚。
  配置示例：innodb_lock_wait_timeout=50（默认50秒）

• max_heap_table_size：设置memory表的最大空间大小，该变量可以用来计算 memory表的max_rows值。在已有memory表上设置该参数是没有效果 的，除非重建表。

查询相关：

• max_sort_length：配置对blob或text类型的列进行排序时使用的字节数（只对配置的前max_sort_length个字节进行排序，其他的被忽略）

• max_length_for_sort：mysql有两种排序算法，两次传输排序和单次传输排序。当查询需要所有列的总长度不超过max_length_for_sort时，mysql使用 单次传输排序，否则使用两次传输排序。

• optimizer_search_depth：在关联查询中，当需要关联的表数量超过optimizer_search_depth的时候，优化器会使用“贪婪”搜索的方式查找“最优”的关联顺序。

二. 连接数,状态

//查询前100条数据（info字段中也只会保存100字符）
SHOW PROCESSLIST;  
//查询全部的详细信息
SHOW FULL PROCESSLIST;  
//查询数据库最大连接数
SHOW VARIABLES LIKE '%max_connections%';  

SHOW STATUS LIKE '%Connection%'; 

show processlist;

show processlist 是显示用户正在运行的线程，除了 root 用户能看到所有正在运行的线程外，其他用户都只能看到自己正在运行的线程，看不到其它用户正在运行的线程。除非单独个这个用户赋予了PROCESS 权限。

• root用户，可以看到全部线程运行情况
• 普通的activiti用户只能看到自己的
• 单独给activiti用户授PROCESS权限，（授权后需要退出重新登录）

show full processlist;

image.png

show processlist 显示的信息都是来自MySQL系统库 information_schema 中的 processlist 表。所以使用下面的查询语句可以获得相同的结果：

select * from information_schema.processlist

image.png

查询出来的结果都是什么意思。

• Id: 就是这个线程的唯一标识，当我们发现这个线程有问题的时候，可以通过 kill 命令，加上这个Id值将这个线程杀掉。前面我们说了show processlist 显示的信息时来自information_schema.processlist 表，所以这个Id就是这个表的主键。

• User: 就是指启动这个线程的用户。

• Host: 记录了发送请求的客户端的 IP 和 端口号。通过这些信息在排查问题的时候，我们可以定位到是哪个客户端的哪个进程发送的请求。

• DB: 当前执行的命令是在哪一个数据库上。如果没有指定数据库，则该值为 NULL 。

• Command: 是指此刻该线程正在执行的命令。这个很复杂，下面单独解释

• Time: 表示该线程处于当前状态的时间。

• State: 线程的状态，和 Command 对应，下面单独解释。

• Info: 一般记录的是线程执行的语句。默认只显示前100个字符，也就是你看到的语句可能是截断了的，要看全部信息，需要使用 show full processlist。

Command 的值：

通常是休眠（sleep），查询（query），连接（connect）
具体如下：

• Binlog Dump: 主节点正在将二进制日志 ，同步到从节点
• Change User: 正在执行一个 change-user 的操作
• Close Stmt: 正在关闭一个Prepared Statement 对象
• Connect: 一个从节点连上了主节点
• Connect Out: 一个从节点正在连主节点
• Create DB: 正在执行一个create-database 的操作
• Daemon: 服务器内部线程，而不是来自客户端的链接
• Debug: 线程正在生成调试信息
• Delayed Insert: 该线程是一个延迟插入的处理程序
• Drop DB: 正在执行一个 drop-database 的操作
• Execute: 正在执行一个 Prepared Statement
• Fetch: 正在从Prepared Statement 中获取执行结果
• Field List: 正在获取表的列信息
• Init DB: 该线程正在选取一个默认的数据库
• Kill : 正在执行 kill 语句，杀死指定线程
• Long Data: 正在从Prepared Statement 中检索 long data
• Ping: 正在处理 server-ping 的请求
• Prepare: 该线程正在准备一个 Prepared Statement
• ProcessList: 该线程正在生成服务器线程相关信息
• Query: 该线程正在执行一个语句
• Quit: 该线程正在退出
• Refresh：该线程正在刷表，日志或缓存；或者在重置状态变量，或者在复制服务器信息
• Register Slave： 正在注册从节点
• Reset Stmt: 正在重置 prepared statement
• Set Option: 正在设置或重置客户端的 statement-execution 选项
• Shutdown: 正在关闭服务器
• Sleep: 正在等待客户端向它发送执行语句
• Statistics: 该线程正在生成 server-status 信息
• Table Dump: 正在发送表的内容到从服务器
  -Time: Unused

state列 状态的值

• Checking table
  正在检查数据表（这是自动的）。
• Closing tables
  正在将表中修改的数据刷新到磁盘中，同时正在关闭已经用完的表。这是一个很快的操作，如果不是这样的话，就应该确认磁盘空间是否已经满了或者磁盘是否正处于重负中。
• Connect Out
  复制从服务器正在连接主服务器。
• Copying to tmp table on disk
  由于临时结果集大于 tmp_table_size，正在将临时表从内存存储转为磁盘存储以此节省内存。
• Creating tmp table
  正在创建临时表以存放部分查询结果。
• deleting from main table
  服务器正在执行多表删除中的第一部分，刚删除第一个表。
• deleting from reference tables
  服务器正在执行多表删除中的第二部分，正在删除其他表的记录。
• Flushing tables
  正在执行 FLUSH TABLES，等待其他线程关闭数据表。
• Killed
  发送了一个kill请求给某线程，那么这个线程将会检查kill标志位，同时会放弃下一个kill请求。MySQL会在每次的主循环中检查kill标志位，不过有些情况下该线程可能会过一小段才能死掉。如果该线程程被其他线程锁住了，那么kill请求会在锁释放时马上生效。
• Locked
  被其他查询锁住了。
• Sending data
  正在处理 SELECT 查询的记录，同时正在把结果发送给客户端。
• Sorting for group
  正在为 GROUP BY 做排序。
• Sorting for order
  正在为 ORDER BY 做排序。
• Opening tables
  这个过程应该会很快，除非受到其他因素的干扰。例如，在执 ALTER TABLE 或 LOCK TABLE 语句行完以前，数据表无法被其他线程打开。 正尝试打开一个表。
• Removing duplicates
  正在执行一个 SELECT DISTINCT 方式的查询，但是MySQL无法在前一个阶段优化掉那些重复的记录。因此，MySQL需要再次去掉重复的记录，然后再把结果发送给客户端。
• Reopen table
  获得了对一个表的锁，但是必须在表结构修改之后才能获得这个锁。已经释放锁，关闭数据表，正尝试重新打开数据表。
• Repair by sorting
  修复指令正在排序以创建索引。
• Repair with keycache
  修复指令正在利用索引缓存一个一个地创建新索引。它会比 Repair by sorting 慢些。
• Searching rows for update
  正在讲符合条件的记录找出来以备更新。它必须在 UPDATE 要修改相关的记录之前就完成了。
• Sleeping
  正在等待客户端发送新请求.
• System lock
  正在等待取得一个外部的系统锁。如果当前没有运行多个 mysqld 服务器同时请求同一个表，那么可以通过增加 --skip-external-locking参数来禁止外部系统锁。
• Upgrading lock
  INSERT DELAYED 正在尝试取得一个锁表以插入新记录。
• Updating
  正在搜索匹配的记录，并且修改它们。
• User Lock
  正在等待 GET_LOCK()。
• Waiting for tables
  该线程得到通知，数据表结构已经被修改了，需要重新打开数据表以取得新的结构。然后，为了能的重新打开数据表，必须等到所有其他线程关闭这个表。以下几种情况下会产生这个通知：FLUSH TABLES tbl_name, ALTER TABLE, RENAME TABLE, REPAIR TABLE, ANALYZE TABLE, 或 OPTIMIZE TABLE。
• waiting for handler insert
  INSERT DELAYED 已经处理完了所有待处理的插入操作，正在等待新的请求。
  大部分状态对应很快的操作，只要有一个线程保持同一个状态好几秒钟，那么可能是有问题发生了，需要检查一下。
  还有其他的状态没在上面中列出来，不过它们大部分只是在查看服务器是否有存在错误是才用得着。

max_connections和max_user_connections

max_connections 是数据库的最大连接数
max_user_connections 是当前账号的最大连接数

//查询数据库最大连接数
SHOW VARIABLES LIKE '%connections%';  

image.png

SHOW STATUS LIKE '%Connection%'; 

image.png

max_used_connections / max_connections * 100% （理想值≈ 85%）
17/1024=0.01660

如果max_used_connections跟max_connections相同 那么就是max_connections设置过低或者超过服务器负载上限了，低于10%则设置过大。

show status like  'Threads%';

image.png

• Threads_connected ：这个数值指的是打开的连接数.
• Threads_running ：这个数值指的是激活的连接数，这个数值一般远低于connected数值.
• Threads_connected 跟show processlist结果相同，表示当前连接数。准确的来说，Threads_running是代表当前并发数

查询数据库当前设置的最大连接数

设置这个最大连接数值

方法1：

set global max_connections=1024;
show variables like '%max_connections%';

这种 方式在Mysql重启后就失效。

方法2：
修改mysql配置文件my.cnf，在[mysqld]段中添加或修改max_connections值：
max_connections=1024
重启mysql服务即可。

方法3：

GRANT USAGE ON *.* TO 'root'@'localhost' WITH MAX_USER_CONNECTIONS 10;

三. sleep()函数

与Java中的Thread.sleep()类似；
但也有很大的不同，其休眠数字是针对的每条记录

//休眠两秒查询出结果
select sleep(2);

如product数据如下：

image.png

查询出两条数据如下：

image.png

如果加上sleep()函数：

image.png

如果查不到数据：

image.png

所以，耗时跟数据条数据有关；

四.创建用户并分配权限

创建新用户

//方法1   username:用户名；host：指定在哪个主机上可以登录，本机可用localhost，%通配所有远程主机；password：用户登录密码；
CREATE USER 'username'@'host' IDENTIFIED BY 'password';
//方法2
insert into mysql.user(Host,User,Password) values("localhost","userName",password("1q2w3e4r"));
flush privileges;

分配权限

//格式：grant 权限 on 数据库名.表名 to 用户@登录主机 identified by “用户密码”；.代表所有权；
// 后面是访问MySQL的客户端IP地址（或是 主机名） % 代表任意的客户端，如果填写 localhost 为本地访问（那此用户就不能远程访问该mysql数据库了）。
grant all privileges on databaseName.* to UserName@localhost identified by '1q2w3e4r';
flush privileges;

完成以上流程就实现了一个基本的用户生成并配置权限，如果需要控制用的CURD操作更改相关的权限即可

 all privileges包含以下权限:
 select,
 insert,
 update,
 delete,
 create,
 drop,
 references,
 index,
 alter,
 create temporary tables,
 lock tables,
 execute,
 create view,
 show view,
 create routine,
 alter routine,
 event,
 trigger

mysql的权限命令是grant，权限撤销的命令时revoke；
grant授权格式：grant 权限列表 on 库.表 to 用户名@'ip' identified by "密码";
revoke回收权限格式：revoke 权限列表 on 库.表 from 用户名@'ip';

一些备注sql

//------------------------
按客户端 IP 分组，看哪个客户端的链接数最多
select client_ip,count(client_ip) as client_num from (select substring_index(host,':' ,1) as client_ip from processlist ) as connect_info group by client_ip order by client_num desc;
//------------------------
查看正在执行的线程，并按 Time 倒排序，看看有没有执行时间特别长的线程
select * from information_schema.processlist where Command != 'Sleep' order by Time desc;
//------------------------
找出所有执行时间超过 5 分钟的线程，拼凑出 kill 语句，方便后面查杀
select concat('kill ', id, ';') from information_schema.processlist where Command != 'Sleep' and Time > 300 order by Time desc;
//------------------------
show processlist中kill锁表语句与慢sql
单个kill
mysql> show processlist;
mysql > kill 251;
//------------------------
批量kill
1)查找Lockd语句
mysql -uroot -p123456 -h 192.1.20.101 -e "show processlist" | grep -i 'Locked' > locked_log.txt
2）组合kill
for line in `cat locked_log.txt | awk '{print $1}'`
do 
   echo "kill $line;" >> kill_thread_id.sql
done
3)执行
mysql>source kill_thread_id.sql
//------------------------
1、kill所有慢查询进程：
#!/bin/bash
mysql -uroot -pMy_Password -e "show processlist" | grep -i "Query" > slow_query.log
for query in `cat slow_query.log | awk '{print $1}'`
do
   echo "kill $query;" > kill_slow_query.sql
done
登录mysql，执行：
mysql> source kill_slow_query.sql
//------------------------
或者：
#!/bin/bash
for query in `mysqladmin -uroot -pMy_Password processlist | grep -i 'Query' | awk '{print $2}'`
do
   mysqladmin kill ${query}
done
//------------------------
2、kill所有死锁进程：
#!/bin/bash
mysql -uroot -pMy_Password -e "show processlist" | grep -i "Locked" > locked.log

for lock in `cat locked.log | awk '{print $1}'`
do
   echo "kill $lock;" > kill_locked.sql
done
登录mysql，执行：
mysql> source kill_locked.sql
//------------------------
或者：
#!/bin/bash
for lock in `mysqladmin -uroot -pMy_Password processlist | grep -i 'Locked' | awk '{print $2}'`
do
   mysqladmin kill ${lock}
done

参考
mysql: show processlist 详解
Mysql 中 show full processlist
MySQL常用配置参数
预防MySQL宕机：合理设置MySQL最大用户连接数
MySQL中kill所有慢查询进程和锁表进程
MySQL 操作命令梳理（4）-- grant授权和revoke回收权限