关于Infobright的数据导入

FROM : http://www.mysqlsky.com/201109/infobright-data-load-error

题记

对于DW系统而言,庞大数据的迁移成本很高;所以导入和导出的速率及容忍性也是考量数据仓库产品的重要标准。Infobright基于MySQL所以在数据格式上有比较成型的解决办法,IB原厂对速率进行了优化。在4.0企业版中推出了DLP分布式导入选件,极大的减少了迁移时间,目前世界最大的光通信提供商JDSU也选用了IB产品,并以DLP为主要选件进行配置。不过本文主要针对IB基本的导入导出进行介绍,加上在项目中遇到的特殊问题和解决办法。(在结尾处哦,呵呵)

1,简介

IB提供了专用的高性能loader,不同于传统的mysql。IB loader是为了提高导入速度而设计的,所以仅支持特有的mysqlloader语法,而且只支持导入格式化的变量和文本源文件

IEE也支持mysqlloader和insert语句

2,默认Loader

ICE仅支持IB lorder

IEE默认使用的是是mysql loader,它能更多的容错,但速度稍慢。为了最快的导入,使用IB loader,做以下环境的设置

Mysql>

set @bh_dataformat = ‘txt_variable’;

–使用IB loader来导入CSV格式的变量定长文本

set @bh_dataformat = ‘binary’;

–二进制文件

set @bh_dataformat = ‘mysql’;

–使用mysql loader

3,IB loader语法

IB仅支持load data infile,其他的mysql导入方式不支持

LOAD DATA INFILE ‘/full_path/file_name’

INTO TABLE tbl_name

[FIELDS

[TERMINATED BY 'char']

[ENCLOSED BY 'char']

[ESCAPED BY 'char']

];

导入前关闭

set AUTOCOMMIT=0;

完成后

COMMIT;

set AUTOCOMMIT=1;

4,区域分隔符

.区域分隔符是可选的,默认设置为

CLAUSE DEFAULT VALUE

FIELDS TERMINATED BY ‘;’ (semicolon)

FIELDS ENCLOSED BY ‘”‘ (double quote)

FIELDS ESCAPED BY ” (none)

5,导入经验

a.当导入表格列数很多时,修改brighthouse.ini中LoaderMainHeapSize

b使用并发导入

c容忍性排序为txt_variables<binary<mysql

d bh_loader不支持多分隔符

e 大量数据时,DLP是必要选择

你可能感兴趣的:(infobright)