处理myloader导入数据提示主键重复问题

一.问题描述
 将abc和abcb两个库的mydumper备份，利用myloader导入abc数据库时提示主键重复错误(很多表都有这个错误):
* (myloader:15557): CRITICAL **: Error restoring abcb.status_flow from file abcb.status_flow.sql: Duplicate entry '10203' for key 'PRIMARY'
** (myloader:15557): CRITICAL **: Error restoring abcb.task_creation_master from file abcb.task_creation_master.sql: Duplicate entry '280' for key 'PRIMARY'
导入脚本如下：
  myloader -h localhost -P 3306 -u dba -p xxxx -S /tmp/mysql3306.sock -B abc  -e -d /apps/mydumper_import/20171225010001 -o -t 8
版本：mariadb 10.1.18 + myloader 0.9.1

二.问题分析
 从报错来看提示主键重复，先想到的是原来的库和表是否有drop掉,其实在导入前已经做了drop操作，不存在有库和表没有drop掉的问题，而且检查导入命令是正常的。尝试改成导入abcb库，同样提示主键重复，如是猜测abc库和abcb库两个库的名字前三个字相同，会有冲突引起？或是两个库下有相同的表冲突引起？再检查mydumper的备份文件，果然发现两个库存在相同表名:
apps@hcp50019 20171225010001]$ ls -al|grep status_flow
-rw-r--r--. 1 apps apps      1546 Dec 26 17:37 abcb.status_flow_detail-schema.sql
-rw-r--r--. 1 apps apps    162320 Dec 26 17:37 abcb.status_flow_detail.sql
-rw-r--r--. 1 apps apps      1509 Dec 26 17:37 abcb.status_flow-schema.sql
-rw-r--r--. 1 apps apps     19513 Dec 26 17:37 abcb.status_flow.sql
-rw-r--r--. 1 apps apps      1546 Dec 26 17:37 abc.status_flow_detail-schema.sql
-rw-r--r--. 1 apps apps     25078 Dec 26 17:37 abc.status_flow_detail.sql
-rw-r--r--. 1 apps apps      1509 Dec 26 17:37 abc.status_flow-schema.sql
-rw-r--r--. 1 apps apps      2825 Dec 26 17:37 abc.status_flow.sql
分别查看abc和abcb下的status_flow表定义和结构都相同:
show create table abcb.status_flow\G
*************************** 1. row ***************************
       Table: status_flow
Create Table: CREATE TABLE `status_flow` (
  `........
  PRIMARY KEY (`id`),
  KEY `idx1` (`code`,`WCode`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8
show create table abc.status_flow\G
*************************** 1. row ***************************
       Table: status_flow
Create Table: CREATE TABLE `status_flow` (
  .......
  PRIMARY KEY (`id`),
  KEY `idx1` (`code`,`WCode`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8
所以猜测为myloader导入时对两个库的相同表进行了重复导入处理，所以报主键重复。

通过上面的对比分析，大致清楚报错原因：在导出备份存在多个库，且多个库存在相同的表名和表结构时，myloader工具将两个库导入到一个库，而两个库中的表结构相同，所以就发生了这一问题。

重新查看一下-B参数的作用：

-B, --database                    An alternative database to restore into

在这里的作用就是将来源多个库合并导入到-B后面的库中。

三.问题解决

  查看myloader命令带有的参数：
myloader --help
Application Options:
  -d, --directory                   Directory of the dump to import
  -q, --queries-per-transaction     Number of queries per transaction, default 1000
  -o, --overwrite-tables            Drop tables if they already exist
  -B, --database                    An alternative database to restore into
  -s, --source-db                   Database to restore
  -e, --enable-binlog               Enable binary logging of the restore data
  -h, --host                        The host to connect to
  -u, --user                        Username with privileges to run the dump
  -p, --password                    User password
  -P, --port                        TCP/IP port to connect to
  -S, --socket                      UNIX domain socket file to use for connection
  -t, --threads                     Number of threads to use, default 4
  -C, --compress-protocol           Use compression on the MySQL connection
  -V, --version                     Show the program version and exit
  -v, --verbose                     Verbosity of output, 0 = silent, 1 = errors, 2 = warnings, 3 = info, default 2

发现-s参数可以指定来源数据库名，所以用下面命令导入后，问题不再发生：

 myloader -h localhost -P 3306 -u dba -p xxxx -S /tmp/mysql3306.sock -s db1 -B db1 -e -d /apps/mydumper_import/20171225010001 -o -t 8

四.总结

  当从来源多个库导入一个库到目标mysql时，推荐-s和-B参数组合使用，且在从库上设置复制过滤：set global replicate_do_db=abc.