运维的问题解决和思路排查

tomcat服务器连接数问题解决：

当使用工具进行压力测试时，如果连接数到100个，2、3分钟后几乎所有访问都出现404错误，无法访问此页面。这就是我接到 问题时候的状况。

问题解决：

首先我们需要知道产生瓶颈的地方，分析后可能影响效率的地方有如下几处：

1. Struts产生的瓶颈
2. 数据库的设置，最大连接数问题
3. Tomcat服务器的配置问题
4. Linux OS的配置问题
5. 服务器的机器硬件配置问题
6. 服务器的带宽不够

一个一个调整这些设置，每设置一个就进行测试，直到发现问题。（注意，硬件放在最后，所有原因排查完之后在确定是不是硬件造成的。）

---

mysql主从不同步的原因分析：

1、网络的延迟

由于mysql主从复制是基于binlog的一种异步复制，通过网络传送binlog文件，理所当然网络延迟是主从不同步的绝大多数的原因，特别是跨机房的数据同步出现这种几率非常的大，所以做读写分离，注意从业务层进行前期设计。

2、主从两台机器的负载不一致

由于mysql主从复制是主数据库上面启动1个io线程，而从上面启动1个sql线程和1个io线程，当中任何一台机器的负载很高，忙不过来，导致其中的任何一个线程出现资源不足，都将出现主从不一致的情况。

3、max_allowed_packet设置不一致

主数据库上面设置的max_allowed_packet比从数据库大，当一个大的sql语句，能在主数据库上面执行完毕，从数据库上面设置过小，无法执行，导致的主从不一致。

4、key自增键开始的键值跟自增步长设置不一致引起的主从不一致。

5、mysql异常宕机情况下，如果未设置sync_binlog=1或者innodb_flush_log_at_trx_commit=1很有可能出现binlog或者relaylog文件出现损坏，导致主从不一致。

6、mysql本身的bug引起的主从不同步。

7、数据库版本不一致，特别是高版本是主，低版本为从的情况下，主数据库上面支持的功能，从数据库上面不支持该功能。

---

解决方案：

方法一：忽略错误后，继续同步

该方法适用于主从库数据相差不大，或者要求数据可以不完全统一的情况，数据要求不严格的情况

解决：

1	stop slave;

表示跳过一步错误，后面的数字可变

1 2	set global sql_slave_skip_counter =1; start slave;

之后再用mysql> show slave status\G 查看：

1 2	Slave_IO_Running: Yes Slave_SQL_Running: Yes

ok，现在主从同步状态正常了。。。

方式二：重新做主从，完全同步

该方法适用于主从库数据相差较大，或者要求数据完全统一的情况

解决步骤如下：

1.先进入主库，进行锁表，防止数据写入

使用命令：

1	mysql> flush tables with read lock;

注意：该处是锁定为只读状态，语句不区分大小写

2.进行数据备份

把数据备份到mysql.bak.sql文件

1	mysqldump -uroot -p -hlocalhost > mysql.bak.sql

这里注意一点：数据库备份一定要定期进行，可以用shell脚本或者python脚本，都比较方便，确保数据万无一失

3.查看master 状态

1 2 3 4 5 6 7

mysql> show master status; +-------------------+----------+--------------+-------------------------------+ | File | Position | Binlog_Do_DB | Binlog_Ignore_DB | +-------------------+----------+--------------+-------------------------------+ | mysqld-bin.000001 | 3260 | | mysql,test,information_schema | +-------------------+----------+--------------+-------------------------------+ 1 row in set (0.00 sec)

4.把mysql备份文件传到从库机器，进行数据恢复

使用scp命令

1	scp mysql.bak.sql [email protected]:/tmp/

5.停止从库的状态

1	mysql> stop slave;

6.然后到从库执行mysql命令，导入数据备份

mysql> source /tmp/mysql.bak.sql

7.设置从库同步，注意该处的同步点，就是主库show master status信息里的| File| Position两项

1	change master to master_host = '192.168.128.100', master_user = 'rsync', master_port=3306, master_password='', master_log_file = 'mysqld-bin.000001', master_log_pos=3260;

8.重新开启从同步

1	mysql> start slave;

9.查看同步状态

1	mysql> show slave status\G

查看：

1 2	Slave_IO_Running: Yes Slave_SQL_Running: Yes