mysql load data 慢_如何提高mysql load data infile的速度

如何提高mysql load data infile的速度

版权声明

：转载时请以超链接形式标明文章原始出处和作者信息及本声明

http://bbayou.blogbus.com/logs/37045617.html

测试数据2.5G，共有数据9427567条。用的mysql的large服务器的配置。

load

一次需要大概10分钟左右。

建的表用的是MYISAM，调整了几个session的参数值

SET

SESSION

BULK_INSERT_BUFFER_SIZE

=

256217728

;

SET

SESSION

MYISAM_SORT_BUFFER_SIZE

=

256217728

;

运行结果如下

Query OK, 9427567 rows affected, 1558 warnings (3 min 55.21 sec)

Records: 9427567 Deleted: 0 Skipped: 0 Warnings: 0

google到的还可以

set

global

KEY_BUFFER_SIZE

=

256217728

;

alter

table

tablename

disable

keys

;

如何load

数据里面带反斜杠(backslash)”\” 的数据

由于如果你没有指定FIELDS子句，则默认值为假设您写下如下语句时的值：

FIELDS TERMINATED BY ‘\t’ ENCLOSED BY ” ESCAPED BY ‘\\’

所以，如果你的数据里面有反斜杠(backslash)”\”的时候，数据会出现被截断的问题。出现这种问题，只要写上如下的fields子句即可

FIELDS TERMINATED BY ‘\t’ ENCLOSED BY ” ESCAPED BY ”

如何load

不同编码的数据

原来用的4.X的mysql，我是select INTO OUTFILE ，只后用iconv,或者其他软件来做。可以参考这里

，但是由于这次数据大，用ultraedit等软件打开都要半天。好在新版的mysql可以增加一个新的参数

CHARACTER SET gbk

我的文本数据是GBK的编码，数据表是utf8的，用这种方法测试成功。

如何load

的时候只insert特定的列

比如表里面有比元数据多的列。可以在load

的时候指定要插入的字段名字。

示例的代码如下：

LOAD

DATA

INFILE

'

~/data.txt

'

INTO

TABLE

fb0505

CHARACTER

SET

gbk

FIELDS

TERMINATED

BY

'

\t

'

ENCLOSED

BY

''

ESCAPED

BY

''

LINES

TERMINATED

BY

'

\n

'

STARTING

BY

''

(

seller_id

,

fb_type

,

fb_date

,

item_url

)

;

其中表fb0505里面还有一列是id。

相关文档：

gNBpPFgyOw9Rwt/ozsnjgM7tJNo2 bhaaAThangemMkaz2tQhq3/f7dZ7 Vj29WeGHjuupj/AhYqymjAuokhYi X1T/fG+q1yR22PdcEP39dxU3ovEo lLLzwIZlQr9oJYwUf5eG4x5e1bMP nfIaIl8reszQPHFNbrxBjCVrBEXL TyBLehxzUpVI672t3LjX8q4ytCRC ezcoZQfMAc0DulJzNREbwlcf0Rco N0zW3ojBUxGsplBBZZPrD7/bPhkM rjtS8Bxym+HeV1TJDTXuiL8QLg== ......

# cd /home/tmp (进入压缩包所在目录)

# groupadd mysql (建立mysql组)

# useradd -g mysql mysql (在mysql组中建立mysql用户)

# tar -zxvf mysql-5.0.37.tar.gz (解压mysql源码,bz2压缩包请用“tar -jvxf 文件名”指令)

# cd mysql-5.0.37 (进入解压目录)

# ./configure --prefix=/usr/local/mysql (p ......

1、新建动态web项目。

2、添加jar包

将mysql jdbc驱动添加到tomcat安装目录下的lib目录。

3、在META-INF下添加content.xml文件。内容如下：