达梦数据库dmfldr快速装载工具的使用
在达梦数据库中，有几种常用的数据迁移工具。1.DTS 2.DEXP 3.DMETL 4.DMHS 5.DMFLDR
在进行数据迁移时，需根据不同情况选择不同的迁移工具。dmfldr适合数据量特别巨大的情况，且性能相比其他工具更好，但是功能性方面较差。本文主要介绍如何使用dmfldr快速装载工具进行DM数据库中表数据的快速载入和导出。
1 概述
1.1功能简介
dmfldr（DM Fast Loader）是DM提供的快速数据装载命令行工具。用户通过使用dmfldr工具能够把按照一定格式排序的文本数据以简单、快速、高效的方式载入到DM数据库中，或把DM数据库中的数据按照一定格式写入文本文件。
1.2系统结构
dmfldr的系统结构如下图所示。
如图所示，dmfldr实际上除了客户端工具，还包含一个在数据库服务器中的dmfldr功能模块，它们共同完成dmfldr的各项功能。
- 当进行数据载入时，dmfldr客户端接收用户提交的命令与参数，分析控制文件与数据文件，将数据打包发送给服务器端的dmfldr模块，由服务器完成数据的真正装载工作。并分析服务器返回的消息，必要时根据用户参数指定生成日志文件与错误数据文件。
- 当进行数据导出时，dmfldr客户端接收用户提交的命令与参数，分析控制文件，将用户要求转换成相应消息发送给服务器端的dmfldr模块。服务器解析并打包需要导出的数据，发送给dmfldr客户端，客户端将数据写入指定的数据文件，必要时根据用户参数指定生成日志文件。
2 dmfldr入门
2.1启动dmfldr
安装好 DM7 数据库管理系统后，在安装目录的“bin”子目录下可找到 dmfldr 执行文件。
启动操作系统的命令行窗口，进入“dmfldr”所在目录，如果配置了环境变量，则可以在任何位置启动，可以准备启动 dmfldr 工具了。
dmfldr 的使用必须指定必要的参数，否则工具会报错“无效的参数个数”并退出。为dmfldr指定参数的格式为：
dmfldrkeyword=value [keyword=value ...]
例如：
dmfldr USERID=SYSDBA/SYSDBACONTROL='c:\fldr.ctl'
如例子所示，USERID 和CONTROL 是启动 dmfldr 必须要指定的参数，且 USERID 必须是第一个参数，CONTROL 必须是第二个参数。
2.2查看dmfldr参数
dmfldr 使用较为灵活，参数较多，用户可以使用“dmfldr help”查看各参数的简单信息。
dmfldr help
格式: DMFLDR KEYWORD=value
例程: DMFLDR SYSDBA/SYSDBACONTROL='c:\fldr.ctl'
USERID 必须是命令行中的第一个参数
CONTROL 必须是命令行中的第二个参数
字符串类型参数必须以引号封闭
关键字 说明（默认值）
------------------------------------------------------------------------------------------------------------------------------------------
USERID 用户名/口令格式:USER/PWD@SERVER:PORT#SSL_PATH@SSL_PWD
CONTROL 控制文件，字符串类型
LOG 日志文件，字符串类型 (fldr.log)
BADFILE 错误数据记录文件，字符串类型 (fldr.bad)
SKIP 初始忽略逻辑行数 (0)
LOAD 需要装载的行数 (ALL)
ROWS 提交频次 (50000), DIRECT为FALSE有效
DIRECT 是否使用快速方式装载 (TRUE)
SET_IDENTITY 是否插入自增列 (FALSE)
SORTED 数据是否已按照聚集索引排序 (FALSE)
INDEX_OPTION 索引选项 (1)
1 不刷新二级索引，数据按照索引先排序，装载完后再将排序的数据插入索引
2 不刷新二级索引，数据装载完成后重建所有二级索引
3 刷新二级索引, 数据装载的同时将数据插入二级索引
ERRORS 允许的最大数据错误数 (100)
CHARACTER_CODE 字符编码，字符串类型 (GBK, GB18030,UTF-8, SINGLE_BYTE, EUC-KR)
MODE 装载方式，字符串类型 IN表示载入，OUT表示载出，OUTORA表示载出 ORACLE (IN)
CLIENT_LOB 大字段目录是否在本地 (FALSE)
LOB_DIRECTORY 大字段数据文件存放目录
LOB_FILE_NAME 大字段数据文件名称，仅导出有效 (dmfldr.lob)
BUFFER_NODE_SIZE 读入文件缓冲区的大小 (10),有效值范围1~2048
READ_ROWS 工作线程一次最大处理的行数 (100000)，最大支持2^26-10000
NULL_MODE 载入时NULL字符串是否处理为NULL
载出时空值是否处理为NULL字符串 (FALSE)
NULL_STR 载入时视为NULL值处理的字符串
SEND_NODE_NUMBER 运行时发送节点的个数 (20)，有效值范围16~65535
TASK_THREAD_NUMBER 处理用户数据的线程数目，默认与处理器核数量相同，有效值范围1~128
BLDR_NUM 服务器BLDR数目 (64),有效值范围1~1024
BDTA_SIZE bdta的大小 (5000)，有效值范围100~10000
COMPRESS_FLAG 是否压缩bdta (FALSE)
MPP_CLIENT MPP环境，是否本地分发 (TRUE)
SINGLE_FILE MPP环境，是否只生成单个数据文件(FALSE)
LAN_MODE MPP环境，是否以内网模式装载数据(FALSE)
UNREP_CHAR_MODE 非法字符处理选项(0),为0时表示跳过该数据行，为1时表示使用(*)替换错
误字节
SILENT 是否静默方式装载数据(FALSE)
BLOB_TYPE BLOB类型字段数据值的实际类型，字符串类型 (HEX_CHAR)
HEX表示值为十六进制，HEX_CHAR表示值为十六进制字符类型
仅在direct=FALSE有效
OCI_DIRECTORY OCI动态库所在的目录
DATA 指定数据文件路径
ENABLE_CLASS_TYPE 允许用户导入CLASS类型数据 (FALSE)
FLUSH_FLAG 提交时是否立即刷盘 (FALSE)
IGNORE_BATCH_ERRORS 是否忽略错误数据继续导入 (FALSE)
SINGLE_HLDR_HP 是否使用单个HLDR装载HUGE水平分区表 (FALSE)
EP 指定需要发送数据的站点序号列表，仅向MPP环境导入数据时有效
HELP 打印帮助信息
3 dmfldr实战
3.1 dmfldr控制文件
控制文件CONTROL是启动dmfldr必须要指定的参数，用于指定数据文件中数据的格式。在数据载入时，dmfldr根据控制文件指定的格式来解析数据文件；导出数据时，dmfldr也会根据控制文件指定的列分隔符、行分隔符等生成数据文件。
控制文件中还可以指定其他dmfldr参数值。
dmfldr控制文件的语法如下所示：
[OPTIONS(
=
……
)]
LOAD [DATA]
INFILE < | >
[BADFILE ]
[APPEND|REPLACE|INSERT]
::=参数
::=值
::= [LIST] [] [, []]
::= DIRECTORY []
::=文件地址
::=STR [X]
::= {}
::=INTO TABLE [.]
[EP ]
[WHEN ]
[FIELDS [TERMINATED BY] [X] ]
[]
[]
::=模式名
::=表名
::=()
::=整型数字列表，以逗号分隔
::= { AND }
::= [(] [)]
::= | (p1:p2)
::= = | <> | !=
::= [X] '<字符串常量>' | BLANKS | WHITESPACE
::='<字符串常量>'
::=({ ,})
::= [FILLER][][][][][][]
::=列名
::= | NULL
::=position(p1:p2) | position(p1)
::=DATE FORMAT '<时间日期格式串>'
::= TERMINATED [BY]
::= WHITESPACE|[X]
::= [OPTIONALLY] ENCLOSE [BY] [X]
::= CONSTANT "<常量>"
::= "函数名称()" 对于上述控制文件语法，需要说明的是：
- dmfldr在处理数据文件中换行符时windows默认为0x0D0A(\r\n)，非windows默认为0x0A(\n)，用户应该根据现有的数据文件中的换行符做相应的调整。对应选项为
，若指定的 值为十六进制的字符串值需要指明[X]选项， 值不再需要以0x开头。若没有指明[X]选项，则 值为指定的字符串； - 关于列分隔符，用户应当指定FIELDS或者coldef_option中的至少一种。若两者均存在，则以coldef_option中的设置为准，若分隔符指明[X]选项，则表明此分隔符为十六进制格式的字符串；
- 关于file_option，用来指定单个文件；
- 关于directory_option，用来指定整个文件夹。指定此选项后，dmfldr会自动扫描指定文件夹下的所有文件，这些文件数据将被导入到服务器；
- 关于LIST选项，INFILE使用LIST选项时，表明实际的数据文件路径存储在INFILE指定的文件中，该文件可以存储多个实际的数据文件路径，使用逗号或者换行分割；
- 关于APPEND|REPLACE|INSERT选项，表示将数据装载时采用的加载方式。INSERT，插入方式，向空表插入新记录（如果不是空表则会报错无效的装载模式）；APPEND，追加方式，为缺省方式，在表中追加新记录；REPLACE，替代方
式，先清空表再插入新记录；
当dmfldr处于导出数据模式时，设置为APPEND时，dmfldr会检查导出数据文件是否存在，若存在，则以追加的方式写入数据；若不存在，则新建数据文件；设置为其他值时，dmfldr将直接创建新数据文件。选项默认值为APPEND； - 关于OPTIONS选项，该选项支持命令行参数中除userid，control，help以外的所有参数的指定，每个参数值对使用空格或者换行分割。对于option中出现的参数，在dmfldr的指定执行参数中也出现的，dmfldr会选择option中对应参数的值执行；
- 关于col_def，FILLER表示跳过处理数据文件中指定列的值；
- 关于property_option选项
✓ position(p1:p2)：从数据文件中每行数据的第p1个字节到第p2个字节为该列值，包含边界p1,p2；
✓ position(p1)：从数据文件中每行数据的第p1个字节开始，到下一个列分隔符之间的数据为该列值，包含边界p1；
✓ position选项对大字段数据无效，若对大字段类型指定此选项会报错；
✓ NULL：指定的值为NULL，忽略数据文件中的值；
property_option参数仅对导入有效； - 关于term_option选项，该选项用来指定数据文件中指定列的结束标志。列的结束标志可以是WHITESPACE（空格）或者用户自定义的字符串或十六进制串。指定了term_option后，该列不需要用FIELDS分隔；
- 关于enclosed_option选项，此参数指定封闭符，为可选参数，默认不存在封闭符。若在into_table_clause和coldef_option中均设置了封闭符，则以coldef_option中的设置为准，若封闭符前指定[X]选项，则表明此封闭符为十六进制格式的字符串；
- 分隔符或封闭符字符串的长度均不能超过255个字节；
- 关于constant_option选项，指定constant关键字后，数据文件中不需要为该列准备数据，如果指定了，该列数据将作为下一字段数据装载而导致数据混乱。constant选项对大字段类型无效；
- 关于fun_option选项，目前只支持trim()和replace(colname, srcStr, destStr)函数。trim()函数用于去除列数据的前后空格；replace()函数用于将colname列名指定的列数据中的srcStr替换为destStr，其中srcStr和destStr参数可使用chr(int)函数将数字转换成字符串，要求chr()的参数和返回值均不超过4个字节；
- 关于ep_option选项，用于指定数据将要发送的目的站点，仅适用于MPP环境。
3.2指定数据文件
3.2.1在控制文件中指定数据文件
可以在控制文件的LOAD节点中指定数据文件。
例如：
1) 建表TEST
DROP TABLE TEST;
CREATE TABLE TEST(C1 INT,C2 INT,C3 DATE); 2) 编辑数据文件test.txt，存放路径为/opt/data/test.txt，文件内容如下
1 1|2015-11-06
2 2|2015-11-05
3 3|2015-11_043) 编辑控制文件test.ctrl，存放路径为/opt/data/test.ctrl，内容如下：
LOAD DATA
INFILE '/opt/data/test.txt'
INTO TABLE test
FIELDS '|'
(
C1 TERMINATED BY ' ',
C2,
C3 DATE FORMAT 'yyyy-mm-dd'
)4) 使用dmfldr进行数据载入
./dmfldr userid=SYSDBA/SYSDBA@localhost:5236 control=\'/opt/data/test.ctrl\'3.2.2使用DATA参数指定数据文件
也可以使用DATA参数指定dmfldr的数据文件，数据文件路径的优先选择顺序为先控制文件，后参数选项。如果控制文件中数据文件路径指定为‘*’，在命令行通过DATA参数指定数据文件路径，DATA所指定的文件路径会替换‘*’。
例如：
1) 建表TEST
DROP TABLE TEST;
CREATE TABLE TEST(C1 INT,C2 INT,C3 DATE);2) 编辑数据文件test.txt，存放路径为/opt/data/test.txt，文件内容如下
1 1|2015-11-06
2 2|2015-11-05
3 3|2015-11_043) 编辑控制文件test.ctrl，存放路径为/opt/data/test.ctrl，内容如下：
LOAD DATA
INFILE *
INTO TABLE test
FIELDS '|'
(
C1 TERMINATED BY ' ',
C2,
C3 DATE FORMAT 'yyyy-mm-dd'
)4) 使用dmfldr进行数据载入
./dmfldr userid=SYSDBA/SYSDBA@localhost:5236 control=\'/opt/data/test.ctrl\' data=\'/opt/data/test.txt \'补充：
1.在使用dmfldr时根据系统和数据的具体情况对一些参数进行调整，可以获得更好的性能，这些参数包括：BUFFER_NODE_SIZE 、READ_ROWS、SEND_NODE_NUMBER、TASK_THREAD_NUMBER、BLDR_NUM、BDTA_SIZE、INDEX_OPTION，在实际使用时比较常用的有READ_ROWS 、BUFFER_NODE_SIZE、BDTA_SIZE三个参数。
2.在使用dmfldr导数据的过程中，对于导入失败的数据，dmfldr会记录到指定的bad文件，导入失败的数据可在bad文件中查看。
3.编码问题，在进行导入导出时，可使用参数CHARACTER_CODE指定纯文本文件的编码，特别是在导入数据的时候，建议先确认文件的编码，例如通过命令file -i a.txt 的方式查看文件编码，然后指定文件的编码再进行导入操作。对于导入失败的数据可在第2点中说到的bad文件中查看，如果是编码问题可尝试转换编码的方式解决。
4.关于控制文件中INFILE参数也可以写成如下形式
LOAD DATA
INFILE '/home/dmdba/test1_*.txt'
INTO TABLE test
FIELDS '|'
(
C1 TERMINATED BY ' ',
C2,
C3 DATE FORMAT 'yyyy-mm-dd'
)即当一张表有多个纯文本文件时，可以一次性读取该目录下该所有属于该表的纯文本文件。
5.控制文件中的参数FIELDS 可以指定自定义的分隔符，例如’|‘，’+‘，'|+|'，’，‘等等，由Oracle等数据库导出来的纯文本文件可以完美导入达梦数据库中。
6.dmfldr支持多表装载，通过在控制文件中指定多个INTO TABLE子句，可以将一批数据同时向多个表进行装载。每个INTO TABLE子句中都可以指定WHEN过滤条件、FIELDS子句和列定义子句。
对于多表装载的使用需注意以下几点：
- 每个INTO TABLE子句的目标表必须是不同的表；
- 每个INTO TABLE子句的目标表必须是不同的表；
- 对于第二个及其之后的INTO TABLE子句，在其coldef_option中，必须为第一列指定POSITION选项；
例如：
1) 建表TEST1、TEST2
DROP TABLE TEST1;
DROP TABLE TEST2;
CREATE TABLE TEST1(C1 INT,C2 INT);
CREATE TABLE TEST2(C1 INT,C2 INT);2) 编辑数据文件test.txt，存放路径为/opt/data/test.txt，文件内容如下
1,2
2,3
3,2
4,8
9,13) 编辑控制文件test.ctrl，存放路径为/opt/data/test.ctrl，内容如下：
LOAD DATA
INFILE '/opt/data/test.txt'
INTO TABLE test1
WHEN C1 != '1'
FIELDS ','
(
c1 position (1:1),
c2
)
INTO TABLE test2
WHEN (3:3) = '2' AND c1 != '3'
FIELDS ','
(
c1 position (1:1),
c2
)4) 使用dmfldr进行数据载入
./dmfldr userid=SYSDBA/SYSDBA@localhost:5236 control=\'/opt/data/test.ctrl\'5) 查看表TEST1和TEST2的数据如下
SELECT * FROM TEST1;
行号 C1 C2
---------- ----------- -----------
1 2 3
2 3 2
3 4 8
4 9 1
SELECT * FROM TEST2; 更多详细使用信息请参考达梦数据库官方文档--dmfldr使用手册。欢迎访问达梦数据库官网下载开发版体验，点这里直达下载地址。