转义字符导致sqlite迁移至mysql少了15w数据

Sqlite迁移至mysql

一、             准备工作

相关sqlite语句 

进入sqlite数据库，如数据库名为mobi.db

[root@localhost ~]# sqlite3 mobi.db

SQLite version 3.6.23.1

Enter ".help" for instructions

Enter SQL statements terminated with a ";"

1）查看数据库

sqlite> .database

seq  name             file                                                     

---  ---------------  ----------------------------------------------------------

0    main             /root/mobi.dbbak                                          

2）查看库里的表

sqlite> .tables

account_alias  devprop        selffund       userdevbind 

accountmap     misc           selfstock      yyblist     

appupdate      qs_qs          sync_queue     yyblist2 

3）查看表结构

sqlite> .schema devprop

CREATE TABLE devprop(

devid varchar(48) primary key,

devprop text,

checksum varchar(16),

update_time varchar(16)

);

 

二、从sqlite dump出需要迁移的数据库。

把当前数据库导出文件名为mobi.sql

sqlite>.output mobi.sql

sqlite>.dump

 

三、遇到的第一个问题，mysql比sqlite的表结构新，多了字段

导入mysql数据库语句,并做相关修改

注意：如果你是把最新的mysql表创建语句导入后，请检查该数据库里的表与sqlite里相同的表的字段是否一致，如果不一致先删除掉多余的字段后导数据，删除字段语句：alter table devprop drop column flag;

导完数据后，再加上该字段即可

 

四、遇到的第二个问题，mysql导入里不允许表名以“”引住

[root@localhost ~]# vi  mobi.sql

1）把里面的CREATE TABLE相关语句查找出来去掉

2）删除INTO与VALUES之间的引号

sed -i 's/INTO "/INTO /g' mobi.sql && sed -i 's/" VALUES/ VALUES/g' mobi.sql

五、遇到的第三个问题，由于之前的程序开发不严谨居然用户里有转义字符（\ ）

INSERT INTO selfstock VALUES('身了Uk\','','1266411514',NULL);

在未处理这\特殊字符之前，mysql里count出来的selfstock数与sqlite对比少了15w行，由于用户量过大这种错误提示较为难找，我的对比方法是先count看下两数据量是不是一致

不一致时

a)       mysql的日志开启出来（log_bin=mysql-bin开启日志）

b)       过滤相关selfstock 表数据

msyql过滤

mysqlbinlog /var/lib/mysql/mysql-bin.000001 ｜grep selfstock > selfstock.mysql 后面生成的日志追加至selfstock.mysql

   sqlite过滤

grep selfstock mobi.sql > selfstock.sqlite

对比相关数据

diff selfstock.sqlite selfstock.mysql >diff.sql

1.     对比时使用到的shell正则：g/^$/d vi里去除空行，：1,$s/[0-9][0-9a-z]//g vi里去掉diff不必要的数据

mysql在shell情况下导入时\这个转义字符时，须先将其转义：

sed -i 's#\\#\\\\#g' mobi.sql

由于转义字符的原因对比少了15w数据，数据量过大检查并未发现明显错误，于是采用上面的对比方法找出，由于这个问题的出现，刚开始一直以为是乱码问题，搞得莫名其妙。

查看相关数据差异数据，重置mysql日志reset master,查看mysql日志名show binary logs

六、第四个问题mysql插入用户时大小写忽略

由于导出mysql在运行的表结构出来的时候不会保存控制表内容大小写

在建表时时候加以标识

CREATE TABLE devprop(

devid varchar(48) binary primary key,

devprop text,

checksum varchar(16),

update_time varchar(16)

);

 

由于大小写的原因少了70多条数据

 

七、第五个问题，末尾空格用户

上面的问题都解决了之后，发现用户还是少了四条，实在不解于是再次采用对比方法，发现有用户是重名，对于mysql来说，即前面的字符都一样但有个用户后面多了一个或多个空格如下：

INSERT INTO misc VALUES('18970171896 ','','1267243148',NULL);

INSERT INTO misc VALUES('18970171896','','1269091519',NULL);

由于此用户为不合法用户也就没有导入了。

 

 

补充知识及参考资料：

lower_case_table_names=1  mysql默认表名区分大小写，列名不区分，默认值为1

http://firefore.com/2008/01/lower-case-table-names.html

http://www.linuxpig.com/2010/08/mysqlchaxunbuqufendaxiaoxiewentifenxihejiejue/

 

注意事项：需要把使用sqlite数据库的相关程序停止掉

[root@hxmobi-dell mobiauth]#ps aux|grep mobia

root      6303  0.0  0.0   4572  1008 ?        S    Nov20   0:00 sh /root/mobile/mobiauth/mobia.sh

root     16361  0.5  1.4 127884 58060 ?        Sl   Nov22   5:31 obj/mobia -abc

root     19997  0.0  0.0   4004   688 pts/1    S+   10:42   0:00 grep mobia  

[root@hxmobi-dell mobiauth]#kill -9  6303 16361

[root@hxmobi-dell db]# cd /root/mobile/mobiauth/config/db

[root@hxmobi-dell db]# cp mobi.ab mobi.ab-2010-11-23

拷贝完后把原sqlite认证程序启动。让用户可以登录，如果认证程序不停掉操作sqlite数据库，会导致数据损坏问题