MySQL结构自动同步工具-schemasync
背景：
最近项目处于开发期，基本每天都有测试版本提交测试，为保证测试顺利进行，测试库也需要进行同步，一开始是直接拿开发库的备份库进行恢复，覆盖掉测试库，但是随着测试的进行，测试人员开始反馈他们制造的测试数据没有了，就改变了数据库同步方法，使用navicat的结构同步功能进行结构同步，但是每次都点来点去的实在太麻烦，更改回滚是个麻烦事而且没有技术含量。无意间寻觅到一个工具schemasync，可以对比开发库与测试库的差别生成patch和revert两个sql文件，其中path是正向更改，revert是更改后的回滚脚本，自此同步数据库结构只需要潇洒的敲一个命令执行一个脚本。
安装要求：
Python 2.4,2.5,2.6其他版本没试过，我用的是2.6
MySQL要求是5.0以上，我使用的是Percona5.6
MySQLdb，1.2.1p2以上
SchemaObject 0.5.3以上，安装时会自动安装，为解决中文乱码问题，需要安装前，下源码更改源码手动安装，下面会讲到怎么更改
安装依赖包：
yum install -y MySQL-python python
安装：
下载wget http://www.schemasync.org/downloads/SchemaSync-0.9.2.tar.gz
tar -zxvf tar -zxvf SchemaSync-0.9.2.tar.gz
cd SchemaSync-0.9.2
sudo python setup.py install
使用方法：
Usage:
schemasync [options] <source> <target>
source/target format: mysql://user:pass@host:port/database
A MySQL Schema Synchronization Utility
Options:
-h, --help show this help message and exit
-V, --version show version and exit.
-r, --revision 如果要生成的文件名称已经存在了，启用这个参数会给新文件加个序列号
-a, --sync-auto-inc 同步自增长值，一般都不需要
-c, --sync-comments 同步备注，备注对于后期数据库维护比较重要，建议启用
--tag=TAG 为生成的文件打tag，会在文件名中体现
--output-directory=OUTPUT_DIRECTORY
生成patch和revert文件的路径，必须是绝对路径，默认为当前 工作路径
--log-directory=LOG_DIRECTORY 设置日志文件的路径，必须是绝对路径，默认是output- directory，文件名为schemasync.log
选项都很简单，没什么值得需要强调的。
为了后期维护方便，我们要求每个字段都有注释，但是用英文注释建表的人痛苦，看的人也不舒服，注释还是中文大家使用起来更好一些。那么问题就来了，使用--sync-comments参数中文会乱码，导致字段备注不可用了。在之前公司也也遇到过此类问题，表的注释使用中文会导致一些工具操作后变成乱码，大家也没在技术上去解决乱码问题，而是强制要求开发注释使用英文，但是执行效果并不好，最后导致很多表注释就变成个一堆乱码。究其根源是程序作者根本就没考虑中文等字符集的事，python脚本里根本就没指定字符集，链接数据库默认使用了latin1字符集，导致最后生成的两个文件是ansi编码的。解决中文乱码就需要指定链接数据库字符集并且指定程序使用utf8编码。
避免中文乱码的安装及更改源代码过程如下：
安装SchemaObject
wget https://github.com/mmatuson/SchemaObject/archive/master.zip
unzip master.zip
cd SchemaObject-master/
将此目录及子目录下的py文件全部添加#--coding:utf8--!--指定utf8编码
schemaobject/connection.py添加红色代码，指定链接数据库时字符集
def connect(self, connection_url):
"""Connect to the database"""
kwargs = parse_database_url(connection_url)
if not (kwargs and kwargs['protocol'] == 'mysql'):
raise TypeError("Connection protocol must be MySQL!")
kwargs['charset']='utf8'
self.db = kwargs.get('db', None)
self.host = kwargs.get('host', 'localhost')
self.port = kwargs.get('port', 3306)
self.user = kwargs.get('user', None)
# can't pass protocol to MySQLdb
del kwargs['protocol']
self._db = MySQLdb.connect(**kwargs)
schemasync/utils.py文件头部添加
#--!--coding:utf8--!--
import sys
if sys.getdefaultencoding() != 'utf8':
reload(sys)
sys.setdefaultencoding('utf8')
修改完成成执行如下命令安装软件
python setup.py install
安装SchemaSync：
下载wget http://www.schemasync.org/downloads/SchemaSync-0.9.2.tar.gz
tar -zxvf tar -zxvf SchemaSync-0.9.2.tar.gz
cd SchemaSync-0.9.2
把下载下来的源码包中的py文件全部指定utf8字符集，即如下文件
[root@vm-template-centos10022 SchemaSync-0.9.2]# find ./ -name '*.py'
./ez_setup.py
./setup.py
./schemasync/schemasync.py
./schemasync/syncdb.py
./schemasync/utils.py
./schemasync/__init__.py
均添加#-*- coding:utf-8 -*-
修改完成后执行如下命令安装软件：
python setup.py install
安装完成后验证中文乱码问题已解决
每次都指定密码也比较麻烦,自己写了一个shell脚本，每次只需要指定源ip，目标ip，端口号，库名就可以
mysqlha_sync2test.sh
#!/bin/bash
s_host=$1
d_host=$2
port=$3
db=$4
mysql_path="/usr/local/mysql-5.6.24"
sync_time=`date +"%H%M%S"`
sync_date=`date +"%Y%m%d"`
s_user='db_read_user'
s_pwd='123456'
d_user='root'
d_pwd='123456'
schemasync --tag="${sync_time}" --output-dir="/data/mysql_schemasync" --sync-comments mysql://${s_user}:${s_pwd}@${s_host}:${port}/${db} mysql://${d_user}:${d_pwd}@${d_host}:${port}/${db}
patch_file="/data/mysql_schemasync/${db}_${sync_time}.${sync_date}.patch.sql"
if [ -f $patch_file ]
then
cd ${mysql_path}&&./bin/mysql -h${d_host} -P${port} -u${d_user} -p${d_pwd} $db < "${patch_file}"
else
echo "结构一致，不需要Migration操作"
fi