mysql-todo

tranlation
事务：
从失败中回复到正常状态的方法
多个应用并发访问数据库时，提供隔离方法

acid
原子性：要么成功、要么失败
一致性：数据保持“合理性”
隔离型：多个事务同时并发执行，每个事务就像各自独立执行一样
持久性：数据持久化到硬盘

使用事务的话表的引擎为innodb引擎

默认是开启自动提交事务

engine:
存储引擎是基于表的
myisam: 不支持事务、表级锁、全文索引、奔溃恢复不好
innodb: 支持事务、行级锁、全文索引(5.6+)、奔溃恢复好

update table set id = 3 where name like 'a%';
更新行数不确定、此时采用表级锁

总结：一般来说myisam是适合不需要事务的时候：做很多count计算
innodb是适合要去事务，可靠性要求高的
推荐使用innodb

index

 

sql优化方案：
一、开启慢查询日志
第一步：show variables like '%slow%';
第二步：set slow_query_log = on;
slow_query_log_file:慢日志文件，只存放慢查询sql

show variables like '%long%';
long_query_time 10.00000s

第三步：set long_query_time = 0.4; 设置慢查询时间标准
注：重启mysql服务，配置会被恢复到默认。
永久生效方法，要在配置文件my.cnf中进行配置

执行sql,查找slow_query_log_file中执行慢的sql
分析：
mysql> explain select * from test where username = 'user799999';
+----+-------------+-------+------------+------+---------------+------+---------+------+--------+----------+-------------+
| id | select_type | table | partitions | type | possible_keys | key | key_len | ref | rows | filtered | Extra |
+----+-------------+-------+------------+------+---------------+------+---------+------+--------+----------+-------------+
| 1 | SIMPLE | test | NULL | ALL | NULL | NULL | NULL | NULL | 798401 | 10.00 | Using where |
+----+-------------+-------+------------+------+---------------+------+---------+------+--------+----------+-------------+

mysql> explain select * from test where id = '0799999';
+----+-------------+-------+------------+-------+---------------+---------+---------+-------+------+----------+-------+
| id | select_type | table | partitions | type | possible_keys | key | key_len | ref | rows | filtered | Extra |
+----+-------------+-------+------------+-------+---------------+---------+---------+-------+------+----------+-------+
| 1 | SIMPLE | test | NULL | const | PRIMARY | PRIMARY | 4 | const | 1 | 100.00 | NULL |
+----+-------------+-------+------------+-------+---------------+---------+---------+-------+------+----------+-------+

possible_keys:可能用到的索引
key:实际用到的索引
rows:扫描的行数

 

mysql> show variables like '%profiling%';
+------------------------+-------+
| Variable_name | Value |
+------------------------+-------+
| have_profiling | YES |
| profiling | OFF |
| profiling_history_size | 15 |
+------------------------+-------+
3 rows in set (0.00 sec)

mysql> set profiling = on;
Query OK, 0 rows affected, 1 warning (0.00 sec)

mysql> show profiles;
Empty set, 1 warning (0.00 sec)

mysql> select * from test where username = 'user799999';
+---------+------------+----------+-------------+---------------------+
| id | username | password | servnumber | createtime |
+---------+------------+----------+-------------+---------------------+
| 0799999 | user799999 | | 18111818911 | 2020-01-13 22:31:18 |
+---------+------------+----------+-------------+---------------------+
1 row in set (0.31 sec)

mysql> select * from test where id = '0799999';
+---------+------------+----------+-------------+---------------------+
| id | username | password | servnumber | createtime |
+---------+------------+----------+-------------+---------------------+
| 0799999 | user799999 | | 18111818911 | 2020-01-13 22:31:18 |
+---------+------------+----------+-------------+---------------------+
1 row in set (0.00 sec)

mysql> show profiles;
+----------+------------+--------------------------------------------------+
| Query_ID | Duration | Query |
+----------+------------+--------------------------------------------------+
| 1 | 0.31259775 | select * from test where username = 'user799999' |
| 2 | 0.00039600 | select * from test where id = '0799999' |
+----------+------------+--------------------------------------------------+
2 rows in set, 1 warning (0.00 sec)

mysql> show profile cpu,block io for query 1;
+----------------------+----------+----------+------------+--------------+---------------+
| Status | Duration | CPU_user | CPU_system | Block_ops_in | Block_ops_out |
+----------------------+----------+----------+------------+--------------+---------------+
| starting | 0.000084 | 0.000050 | 0.000027 | 0 | 0 |
| checking permissions | 0.000010 | 0.000006 | 0.000003 | 0 | 0 |
| Opening tables | 0.000029 | 0.000019 | 0.000010 | 0 | 0 |
| init | 0.000035 | 0.000023 | 0.000012 | 0 | 0 |
| System lock | 0.000010 | 0.000006 | 0.000003 | 0 | 0 |
| optimizing | 0.000011 | 0.000008 | 0.000004 | 0 | 0 |
| statistics | 0.000020 | 0.000012 | 0.000007 | 0 | 0 |
| preparing | 0.000018 | 0.000013 | 0.000006 | 0 | 0 |
| executing | 0.000005 | 0.000003 | 0.000002 | 0 | 0 |
| Sending data | 0.312217 | 0.307165 | 0.000000 | 0 | 0 |
| end | 0.000026 | 0.000017 | 0.000000 | 0 | 0 |
| query end | 0.000014 | 0.000013 | 0.000000 | 0 | 0 |
| closing tables | 0.000012 | 0.000012 | 0.000000 | 0 | 0 |
| freeing items | 0.000028 | 0.000028 | 0.000000 | 0 | 0 |
| logging slow query | 0.000064 | 0.000065 | 0.000000 | 0 | 8 |
| cleaning up | 0.000015 | 0.000015 | 0.000000 | 0 | 0 |
+----------------------+----------+----------+------------+--------------+---------------+

查看性能详情是否开启
show variables like '%profiling%';
开启性能记录功能
set profiling = on;
查看性能的记录
show profiles;
show profile cpu,block io for query 4;

优化小建议：
查询* 与查询单个字段 查看性能
1、尽量避免使用select * from,尽量精确到想要的结果字段
查询两个条件 用or连接 查看执行计划
2、尽量避免使用or
3、加上limit 限制行数
4、使用like时，%放在前面是会使索引失效 查看执行计划
查询条件字段类型varchar,但条件值类型int时，会进行类型转换 查看执行计划
5、注意条件字段类型的转换会使索引失效

什么是二进制日志binlog：
记录着mysql数据库中的一些写入性操作，比如一些增删改，但不包括查询！
二进制日志有哪些功能：
数据复制和数据恢复的功能

查看网络状态：
netstat -natp
查看master或slave状态：
show processlist; // 配置主从连接后，根据状态判断是否配置成功
1、binlog(二进制日志)：主机配置
relaylog(中继日志)：从机
2、每个服务器都有id,也就是Mysql集群每个机器有一个唯一的标识
3、授权信息（用户、密码、ip地址）【微信sdk,将系统在平台申请，获取微信平台秘钥】
3.1、主服务器开通账户，设置权限
create user 'repl'@'172.17.0.%' identified by '123456';
grant replication slave on *.* to 'repl'@'172.17.0.%' identified by '123456';
所有库.所有表
flush privileges;
3.2、从服务器设置访问信息
stop slave; // 关闭同步线程(I/O thread):停止从主服务器继续同步主服务器的binarylog文件
show slave status\G; // 查看从服务器与主服务器通信情况
change master to master_host='主机IP',master_user='repl',master_password='123456',
master_log_file='mysql-bin.000001',master_log_pos=154;

start slave; // 开启同步线程
show slave status\G;
// show master status; 找到binlog文件
mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000001 | 154 | | | |
+------------------+----------+--------------+------------------+-------------------+

// 查看binlog文件内容
mysql> show binlog events in 'binlog文件名' from 0;



show slave status\G;
发现如下问题
Slave_IO_Running: No
Slave_SQL_Running: Yes

原因：1、The slave I/O thread stops because master and slave have equal MySQL server ids(主从服务器id相同了)
在主机这边，操作：
vim /etc/my.cfg文件中server_id
service mysql restart;
在从机那边，操作：
start slave;


2、Got fatal error 1236 from master when reading data from binary log: 'Could not find first log file name in binary log index file'
在主机那边，执行：
mysql> flush logs;
Query OK, 0 rows affected (0.01 sec)
mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000003 | 154 | | | |
+------------------+----------+--------------+------------------+-------------------+

记下File, Position。
在从机这边，执行：
mysql> change master to master_log_file='mysql-bin.000003',master_log_pos=154;
Query OK, 0 rows affected (0.01 sec)
mysql> start slave; // 开启同步IO线程
Query OK, 0 rows affected (0.00 sec)

mysql> show slave status\G;
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: 47.105.49.219
Master_User: repl
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysql-bin.000003
Read_Master_Log_Pos: 154
Relay_Log_File: iZwz97y9qoykzzotubitq3Z-relay-bin.000002
Relay_Log_Pos: 320
Relay_Master_Log_File: mysql-bin.000003
Slave_IO_Running: Yes // io线程开启了
Slave_SQL_Running: Yes
Seconds_Behind_Master: NULL //从属服务器SQL线程和从属服务器I/O线程之间的时间差距，单位以秒计

4、查看是否配置成功
从服务器：
mysql> show processlist;
+----+-------------+-----------+------+---------+------+--------------------------------------------------------+------------------+
| Id | User | Host | db | Command | Time | State | Info |
+----+-------------+-----------+------+---------+------+--------------------------------------------------------+------------------+
| 8 | root | localhost | NULL | Query | 0 | starting | show processlist |
| 10 | system user | | NULL | Connect | 36 | Slave has read all relay log; waiting for more updates | NULL |
| 11 | system user | | NULL | Connect | 37 | Waiting for master to send event | NULL |
+----+-------------+-----------+------+---------+------+--------------------------------------------------------+------------------+
主服务器：
mysql> show processlist;
+----+------+----------------------+------+-------------+------+---------------------------------------------------------------+------------------+
| Id | User | Host | db | Command | Time | State | Info |
+----+------+----------------------+------+-------------+------+---------------------------------------------------------------+------------------+
| 2 | root | localhost | NULL | Query | 0 | starting | show processlist |
| 4 | repl | 39.108.130.154:45454 | NULL | Binlog Dump | 62 | Master has sent all binlog to slave; waiting for more updates | NULL |
+----+------+----------------------+------+-------------+------+---------------------------------------------------------------+------------------+

5、测试主从同步

在主服务器上创建一张表c,查看binlog文件内容如下：
mysql> show binlog events in'mysql-bin.000004' from 0;
+------------------+-----+----------------+-----------+-------------+------------------------------------------------------------+
| Log_name | Pos | Event_type | Server_id | End_log_pos | Info |
+------------------+-----+----------------+-----------+-------------+------------------------------------------------------------+
| mysql-bin.000004 | 4 | Format_desc | 1 | 123 | Server ver: 5.7.24-log, Binlog ver: 4 |
| mysql-bin.000004 | 123 | Previous_gtids | 1 | 154 | |
| mysql-bin.000004 | 154 | Anonymous_Gtid | 1 | 219 | SET @@SESSION.GTID_NEXT= 'ANONYMOUS' |
| mysql-bin.000004 | 219 | Query | 1 | 336 | use `a`; create table c (id int not null,name varchar(20)) |
| mysql-bin.000004 | 336 | Anonymous_Gtid | 1 | 401 | SET @@SESSION.GTID_NEXT= 'ANONYMOUS' |
| mysql-bin.000004 | 401 | Query | 1 | 470 | BEGIN |
| mysql-bin.000004 | 470 | Table_map | 1 | 514 | table_id: 110 (a.c) |
| mysql-bin.000004 | 514 | Write_rows | 1 | 563 | table_id: 110 flags: STMT_END_F |
| mysql-bin.000004 | 563 | Xid | 1 | 594 | COMMIT /* xid=93 */ |
+------------------+-----+----------------+-----------+-------------+------------------------------------------------------------+

在从服务器上查询是否存在这张表c
mysql> show tables;
+-------------+
| Tables_in_a |
+-------------+
| c |
+-------------+
1 row in set (0.00 sec)

结论：主从同步(复制)配置成功了！！！
注意点：从服务器只读，不要进行写操作。如果插入了数据，主服务器与从服务器插入的数据重复了，同步binlog日志后，
在解析完中继文件执行sql时，可能会发生Duplicate entry '1' for key 'PRIMARY'等问题

6、主从同步延时问题
延迟情况分析：
● show slave status显示参数Seconds_Behind_Master不为0，这个数值可能会很大
● show slave status显示参数Relay_Master_Log_File和Master_Log_File显示bin-log的编号相差很大，说明bin-log在从库上没有及时同步，所以近期执行的bin-log和当前IO线程所读的bin-log相差很大
● mysql的从库数据目录下存在大量mysql-relay-log日志，该日志同步完成之后就会被系统自动删除，存在大量日志，说明主从同步延迟很厉害

使用并行复制解决：
mysql5.6支持从服务器sql线程并行复制，但并行是库级别的，对于单个库的操作，Thread SQL还是串行执行。
mysql5.7支持从服务器sql线程并行复制，并行是事务组级别的，对于单个库的一事务组操作，Thread SQL可以并行执行。
(硬件方面：考虑从服务器性能(cpu,硬盘)、考虑网络带宽)

7、主从同步数据丢失问题
分析：默认情况下，Mysql复制是异步的。主机将事件写入其二进制日志中，但不知道从机是否或何时检索并处理了它们，使用异步复制，如果主服从器奔溃，则它提交的事务可能不会传输到任何从服务器。
因此，在这种情况下，从服务器就无法同步到主服务器上的部分数据了。

● 如果在主服务器端启用了半同步复制，并且至少有一个半同步从服务器，则在主服务器上执行事务提交的线程将阻塞并等待，直到至少一个半同步从服务器确认已接收到该事务的所有事件为止，或者直到发生超时。
● 从属仅在将事件写入其中继日志并刷新到磁盘后，才确认接收到事务的事件。
● 如果发生超时而没有任何从属服务器确认该事务，则主服务器将还原为异步复制。当至少有一个半同步从属服务器赶上时，主服务器将返回到半同步复制。
● 必须在主服务器和从服务器上都启用半同步复制。如果在主服务器上禁用了半同步复制，或者在主服务器上但没有从属服务器上启用了半同步复制，则主服务器将使用异步复制。

使用半同步复制解决：
主服务器事务线程在提交时会被阻塞并等待，从服务器读取binlog日志，然后写入replay中继日志到硬盘，最后给主服务器一个ack通知，此时主服务器才继续进行下一次会话。
(或者等待到配置的超时时间后，半同步复制将会自动关闭，转为异步复制)