使用Load Data命令对MySQL千万级数据量快速迁移

1.环境设置

load data使用前需查看secure_file_priv该变量的设置，secure_file_priv的路径就是导出数据的路径，如果没有可以在windows的my.ini）或者linux的my.cnf中添加secure_file_priv的值指定具体路径

SHOW GLOBAL VARIABLES LIKE '%secure%'

2.导出

导出语句：
/var/lib/mysql-files/data.txt ：是我secure_file_priv的路径，data是导出文件名
journal_paper：需要导出的表

SELECT * INTO OUTFILE '/var/lib/mysql-files/data.txt' FIELDS TERMINATED BY ',' FROM journal_paper;  

执行效率
共3200万数据，耗时458.06s，导出约13GB数据

SELECT * INTO OUTFILE '/var/lib/mysql-files/data.txt' FIELDS TERMINATED BY ',' FROM journal_paper
> OK
> 时间: 458.06s

可能的导出报错：

> 1290 - The MySQL server is running with the --secure-file-priv option so it cannot execute this statement

解决办法：导出的目录必须在secure_file_priv设置的目录下！

3.导入

导入语句：文本文件中的数据字段与表结构中的字段定义顺序相同可直接使用以下语句，导入时把这表的外键和索引去除，否则会非常耗时

LOAD DATA INFILE '/var/lib/mysql-files/data.txt' INTO TABLE journal_paper FIELDS TERMINATED BY ',';

导入指定字段：

load data infile '/var/lib/mysql-files/data.txt' into table tableName(id,title,isbn);

丢弃无用字段
导入时可以使用@dummy丢弃不需要的字段，例如丢弃isbn字段值

load data infile '/var/lib/mysql-files/data.txt' into table tableName(ID,NAME,@dummy);

LOAD DATA INFILE 语句用数据库的方式载入数据，这种方式远比INSERT语句运行快得多。原因很简单：LOAD DATA INFILE语句比INSERT语句干扰MySQL少：例如， LOAD DATA INFILE语句能够跳过行、列，或者如果我们希望的话，可以只载入指定的列，跳过所有其他的