semiter

DM7数据库数据快速加载(dmfldr) 详解

一概述

1.1 功能

dmfldr（DM Fast Loader）是 DM7 提供的快速数据装载命令行工具。用户通过使用 dmfldr 工具能够把按照一定格式排序的文本数据以简单、快速、高效的方式载入到 DM数据库中，或把 DM 数据库中的数据按照一定格式写入文本文件。

1.2 架构

如图所示，dmfldr 实际上除了客户端工具，还包含一个在 DM7 数据库服务器中的dmfldr 功能模块，它们共同完成 dmfldr 的各项功能。

1、当进行数据载入时，dmfldr 客户端接收用户提交的命令与参数，分析控制文件与数据文件，将数据打包发送给服务器端的 dmfldr 模块，由服务器完成数据的真正装载工作。并分析服务器返回的消息，必要时根据用户参数指定生成日志文件与错误数据文件。

2、当进行数据导出时，dmfldr 客户端接收用户提交的命令与参数，分析控制文件，将用户要求转换成相应消息发送给服务器端的 dmfldr 模块。服务器解析并打包需要导出的数据，发送给 dmfldr 客户端，客户端将数据写入指定的数据文件，必要时根据用户参数指定生成日志文件。

二 dmfldr入门

2.1 启动

安装好 DM7 数据库管理系统后，在安装目录的“bin”子目录下可找到 dmfldr 执行文件。

启动操作系统的命令行窗口，进入“dmfldr”所在目录，如果配置了环境变量，则可以在任何位置启动，可以准备启动 dmfldr 工具了。

dmfldr 的使用必须指定必要的参数，否则工具会报错“无效的参数个数”并退出。为dmfldr 指定参数的格式为：

dmfldr keyword=value [keyword=value ...]

例如：

dmfldr USERID=SYSDBA/SYSDBA CONTROL='c:\fldr.ctl'

如例子所示，USERID 和 CONTROL 是启动 dmfldr 必须要指定的参数，且 USERID 必须是第一个参数，CONTROL 必须是第二个参数。

2.2 dmfldr语法

dmfldr 使用较为灵活，参数较多，用户可以使用“dmfldr help”查看各参数的简单信息。

dmfldr help

格式: DMFLDR KEYWORD=value

例程: DMFLDR SYSDBA/SYSDBA CONTROL='c:\fldr.ctl'

USERID 必须是命令行中的第一个参数

CONTROL 必须是命令行中的第二个参数

字符串类型参数必须以引号封闭

关键字说明（默认值）

---------------------------------------------------------------------------

USERID 用户名/口令格式:USER/PWD@SERVER:PORT#SSL_PATH@SSL_PWD

CONTROL 控制文件，字符串类型

LOG 日志文件，字符串类型 (dfldr.log)，不指定默认放在文件位置

BADFILE 错误数据记录文件，字符串类型 (dfldr.bad)

SKIP 初始忽略逻辑行数 (0)

LOAD 需要装载的行数 (ALL)

ROWS 提交频次 (50000), DIRECT 为 FALSE 有效

DIRECT 是否使用快速方式装载 (TRUE)

SET_IDENTITY 是否插入自增列 (FALSE)

SORTED 数据是否已按照聚集索引排序 (FALSE)

INDEX_OPTION 索引选项 (1)

1 不刷新二级索引，数据按照索引先排序，装载完后再

将排序的数据插入索引

2 不刷新二级索引，数据装载完成后重建所有二级索引

ERRORS 允许的最大数据错误数 (100)

CHARACTER_CODE 字符编码，字符串类型 (GBK, UTF-8, SINGLE_BYTE, EUC-KR)

MODE 装载方式，字符串类型 IN 表示载入，OUT 表示载出，默认为IN；

OUTORA 表示载出 ORACLE (IN)

CLIENT_LOB 大字段目录是否在本地 (FALSE)

LOB_DIRECTORY 大字段数据文件存放目录

LOB_FILE_NAME 大字段数据文件名称，仅导出有效 (dmfldr.lob)

BUFFER_NODE_SIZE 读入文件缓冲区的大小 (10),有效值范围 1~2048

READ_ROWS 工作线程一次最大处理的行数 (100000)，最大支持 2^26-10000

SILENT 是否静默方式装载数据(FALSE)

NULL_MODE 载入时 NULL 字符串是否处理为 NULL

载出时空值是否处理为 NULL 字符串 (FALSE)

NULL_STR 载入时视为 NULL 值处理的字符串

SEND_NODE_NUMBER 运行时发送节点的个数 (20)，有效值范围 16~65535

TASK_THREAD_NUMBER 处理用户数据的线程数目，默认与处理器核数量相同，有效值范围 1~128

BLDR_NUM 服务器 BLDR 数目 (64),有效值范围 1~1024

BDTA_SIZE bdta 的大小 (5000)，有效值范围 100~10000

COMPRESS_FLAG 是否压缩 bdta (FALSE)

MPP_CLIENT mpp 环境，是否本地分发 (TRUE)

BLOB_TYPE BLOB 类型字段数据值的实际类型，字符串类型 (HEX_CHAR)

HEX 表示值为十六进制，HEX_CHAR 表示值为十六进制字符类型

仅在 direct=FALSE 有效

OCI_DIRECTORY OCI 动态库所在的目录

DATA 指定数据文件路径

ENABLE_CLASS_TYPE 允许用户导入 CLASS 类型数据 (FALSE)

FLUSH_FLAG 提交时是否立即刷盘 (FALSE)

IGNORE_BATCH_ERRORS 是否忽略错误数据继续导入 (FALSE)

SINGLE_HLDR_HP 是否使用单个 HLDR 装载 HUGE 水平分区表 (FALSE)

HELP 打印帮助信息

2.3 控制文件语法

控制文件 CONTROL 是启动 dmfldr 必须要指定的参数，用于指定数据文件中数据的格式。在数据载入时，dmfldr 根据控制文件指定的格式来解析数据文件；导出数据时，dmfldr 也会根据控制文件指定的列分隔符、行分隔符等生成数据文件。

控制文件中还可以指定其他 dmfldr 参数值。

dmfldr 控制文件的语法如下所示：

[OPTIONS(

……

)]

LOAD [DATA]

INFILE [LIST] [] [,

[]]

[BADFILE ]

[APPEND|REPLACE|INSERT]

INTO TABLE [.]

[FIELDS ]

[]

::=参数

::=值

::=文件地址

::=含文件列表文件地址

::=STR [X]

::= {}

::=INTO TABLE [.]

[WHEN ]

[FIELDS [TERMINATED BY] [X] ]

[]

::=模式名

::=表名

::= { AND }

< field_condition> ::= [(] [)]

::= | (p1:p2)

::= = | <> | !=

::= [X]'<字符串常量>' | BLANKS | WHITESPACE

::='<字符串常量>'

::=({ ,})

::= [FILLER][][][]

[][][]

::=列名

::= | NULL

::=position(p1:p2) | position(p1)

::=DATE FORMAT '<时间日期格式串>'

::= TERMINATED [BY]

::= WHITESPACE|[X]

::= [OPTIONALLY] ENCLOSE [BY] [X]

::= CONSTANT "<常量>"

::= "函数名称()"

对于上述控制文件语法，需要说明的是：

 1、dmfldr 在处理数据文件中换行符时 windows 默认为 0x0D0A(\r\n)，非windows 默认为 0x0A(\n)，用户应该根据现有的数据文件中的换行符做相应的调整。对应选项为，若指定的值为十六进制的字符串值需要指明[X]选项，值不再需要以 0x 开头。若没有指明[X]选项，则值为指定的字符串；

 2、关于列分隔符，用户应当指定 FIELDS 或者 coldef_option 中的至少一种。若两者均存在，则以 coldef_option 中的设置为准，若分隔符指明[X]选项，则表明此分隔符为十六进制格式的字符串；

 3、关于 LIST 选项，INFILE 使用 LIST 选项时，表明实际的数据文件路径存储在INFILE 指定的文件中，该文件可以存储多个实际的数据文件路径，使用逗号或者换行分割；

 4、关于 OPTIONS 选项，该选项支持命令行参数中除 userid，control，help 以外的所有参数的指定，每个参数值对使用空格或者换行分割。对于 option 中出现的参数，在 dmfldr 的指定执行参数中也出现的，dmfldr 会选择 option 中对应参数的值执行；

 5、关于 col_def，FILLER 表示跳过处理数据文件中指定列的值；

 6、关于 property_option 选项

 A、position(p1:p2)：从数据文件中每行数据的第 p1 个字节到第 p2 个字节为该列值，包含边界 p1,p2；

 B、 position(p1)：从数据文件中每行数据的第 p1 个字节开始，到下一个列分

隔符之间的数据为该列值，包含边界 p1；

 C、position 选项对大字段数据无效，若对大字段类型指定此选项会报错；

 D、NULL：指定的值为 NULL，忽略数据文件中的值；

property_option 参数仅对导入有效；

 7、关于 term_option 选项，该选项用来指定数据文件中指定列的结束标志。列的结束标志可以是 WHITESPACE（空格）或者用户自定义的字符串或十六进制串。指定了 term_option 后，该列不需要用 FIELDS 分隔；

 8、关于 enclosed_option 选项，此参数指定封闭符，为可选参数，默认不存在封闭符。若在 into_table_clause 和 coldef_option 中均设置了封闭符，则以 coldef_option 中的设置为准，若封闭符前指定[X]选项，则表明此封闭符为十六进制格式的字符串；

 9、分隔符或封闭符字符串的长度均不能超过 255 个字节；

 10、关于 constant_option 选项，指定 constant 关键字后，数据文件中不需要为该列准备数据，如果指定了，该列数据将作为下一字段数据装载而导致数据混乱。constant 选项对大字段类型无效；

 11、关于 fun_option 选项，目前只支持 trim()函数。

三 dmfldr实例

3.1 普通文件（文本文件）

3.1.1 创建测试表

SQL> drop table test;

操作已执行

已用时间: 29.165(毫秒). 执行号:1174.

SQL>

SQL> create table test(c1 int,c2 int,c3 date);

操作已执行

已用时间: 21.497(毫秒). 执行号:1175.

SQL>

3.1.2 创建源数据文件test.txt

[dmdba@dm3 ~]$ cat /home/dmdba/test.txt

1|1 2019-09-22

2|2 2019-09-22

3|3 2019-09-22

[dmdba@dm3 ~]$

3.1.3 创建控制文件test.ctl

[dmdba@dm3 ~]$ cat /home/dmdba/test.ctl

LOAD DATA

INFILE '/home/dmdba/test.txt'

INTO TABLE test

FIELDS '|'

(

c1,

c2 TERMINATED BY ' ',

c3 DATE FORMAT 'yyyy-mm-dd'

)

[dmdba@dm3 ~]$

3.1.4 使用 dmfldr 进行数据载入

[dmdba@dm3 ~]$ dmfldr userid=sysdba/SYSDBA control=\'/home/dmdba/test.ctl\' log=\'/home/dmdba/dmfldr_test.log\'

dmfldr V7.6.0.171-Build(2019.07.02-109059)ENT

dmfldr:

控制文件：

加载行数:全部

每次提交服务器行数:50000

跳过行数:0

允许错误数:100

是否直接加载:Yes

是否插入自增列:No

数据是否已按照聚集索引排序:No

字符集:GBK

数据文件共1个:

/home/dmdba/test.txt

错误文件:fldr.bad

目标表:TEST

列名包装数据类型终止

C1 CHARACTER |

C2 CHARACTER WHT

C3 yyyy-mm-dd |

行缓冲区数量: 2

任务线程数量: 1

3行记录已提交

目标表:TEST

3 行加载成功。

由于数据格式错误,0行丢弃。

由于数据错误,0行没有加载。

跳过的逻辑记录总数:0

读取的逻辑记录总数:3

拒绝的逻辑记录总数:0

用时:10.231(ms)

从日志输出，告诉我们成功导入3行.

3.1.5 查询验证

SQL> select * from test;

行号 c1 c2 c3

---------- ----------- ----------- ----------

1 1 1 2019-09-22

2 2 2 2019-09-22

3 3 3 2019-09-22

已用时间: 10.354(毫秒). 执行号:1178.

SQL>

3.2 大字段数据处理

3.2.1 大字段数据的导出

当 dmfldr 工作在导出模式即 MODE 为 OUT 时，dmfldr 生成大字段对应的数据文件名由 LOB_FILE_NAME 指定，若未指定默认为 dmfldr.lob，文件存放于LOB_DIRECTORY 指定的目录，如果未指定 LOB_DIRECTORY 则存放于指定的导出数据文件同一目录。

3.2.1.1 创建测试表

SQL> drop table test;

操作已执行

已用时间: 29.165(毫秒). 执行号:1174.

SQL>

SQL> create table test(c1 int,c2 blob,c3 clob);

操作已执行

已用时间: 21.497(毫秒). 执行号:1175.

SQL>

3.2.1.2 插入数据

INSERT INTO TEST VALUES(1,0XAB121032DE,'abcdefg');

INSERT INTO TEST VALUES(2,0XAB121032DE,'abcdefg');

COMMIT;

SQL> select * from test;

行号 c1 c2 c3

---------- ----------- ------------ -------

1 1 0xAB121032DE abcdefg

2 2 0xAB121032DE abcdefg

已用时间: 0.489(毫秒). 执行号:1184.

SQL>

3.2.1.3 创建控制文件test.ctl

[dmdba@dm3 ~]$ cat /home/dmdba/test.ctl

LOAD DATA

INFILE '/home/dmdba/test.txt'

INTO TABLE test

FIELDS '|'

(

c1,

c2,

)

[dmdba@dm3 ~]$

3.2.1.4 使用 dmfldr 进行数据导出

[dmdba@dm3 ~]$ dmfldr userid=sysdba/SYSDBA control=\'/home/dmdba/test.ctl\' lob_directory=\'/home/dmdba\' mode=\'out\' log=\'/home/dmdba/dmfldr_test.log\'

dmfldr V7.6.0.171-Build(2019.07.02-109059)ENT

2 rows is load out

总共导出 2 行数据

用时:199.145(ms)

[dmdba@dm3 ~]$

3.2.1.5 验证

[dmdba@dm3 ~]$ cat test.txt

1|dmfldr.lob:0:5 dmfldr.lob:5:7

2|dmfldr.lob:12:5 dmfldr.lob:17:7

[dmdba@dm3 ~]$

[dmdba@dm3 ~]$ ls

dmfldr_test.log test.ctl 公共的视频文档音乐 dmfldr.lob test.txt 模板图片下载桌面

[dmdba@dm3 ~]$

在这个例子中，指定了 LOB_DIRECTORY，而没有指定 LOB_FILE_NAME，导出的大字段数据文件将存放在 LOB_DIRECTORY 指定的/opt/data 目录，文件名为dmfldr.lob。

3.2.2 DIRECT为TRUE时大字段数据的载入

当 MODE 为 IN 且 DIRECT 为 TRUE 时，此时数据载入若涉及到大字段对象，需要用户指定大字段数据文件。若 CLIENT_LOB 为 TRUE，LOB_DIRECTORY 应指定大字段数据文件所在的客户端本地目录；若 CLIENT_LOB 为 FALSE，用户必须先把相关文件传送到 DM服务器所在主库，然后使用 LOB_DIRECTORY 指明存放目录

大字段数据文件在数据文件中指定，可以是任意格式的文件。在数据文件中，大字段以“文件名：起始偏移：长度”的形式记录在数据文件中。指定的文件名无效时，dmfldr 会报错，装载失败。对于 CLOB 类型字段，当指定的偏移、长度范围内带有不完整字符时，dmfldr 将装载失败。

3.2.2.1 创建测试表

SQL> drop table test;

操作已执行

已用时间: 29.165(毫秒). 执行号:1174.

SQL>

SQL> create table test(c1 int,c2 blob,c3 clob);

操作已执行

已用时间: 21.497(毫秒). 执行号:1175.

SQL>

3.2.2.2 创建源数据文件test.txt

[dmdba@dm3 ~]$ cat /home/dmdba/test.txt

1|testblob.txt:0:1|testclob.txt:0:1

2|testblob.txt:1:2|testclob.txt:1:2

3|testblob.txt:2:3|testclob.txt:2:3

[dmdba@dm3 ~]$

其中testblob.txt、testclob.txt 为文本文件，长度大于 3 字节，存放路径

为/home/dmdba。

3.2.2.3 创建控制文件test.ctl

[dmdba@dm3 ~]$ cat /home/dmdba/test.ctl

LOAD DATA

INFILE '/home/dmdba/test.txt'

INTO TABLE test

FIELDS '|'

(

c1,

c2,

)

[dmdba@dm3 ~]$

3.2.2.4 使用 dmfldr 进行数据载入

[dmdba@dm3 ~]$ dmfldr userid=sysdba/SYSDBA control=\'/home/dmdba/test.ctl\' lob_directory=\'/home/dmdba\' log=\'/home/dmdba/dmfldr_test.log\'

dmfldr V7.6.0.171-Build(2019.07.02-109059)ENT

dmfldr:

控制文件：

加载行数:全部

每次提交服务器行数:50000

跳过行数:0

允许错误数:100

是否直接加载:Yes

是否插入自增列:No

数据是否已按照聚集索引排序:No

字符集:GBK

数据文件共1个:

/home/dmdba/test.txt

错误文件:fldr.bad

目标表:TEST

列名包装数据类型终止

C1 CHARACTER |

C2 CHARACTER |

C3 CHARACTER |

行缓冲区数量: 2

任务线程数量: 1

3行记录已提交

目标表:TEST

3 行加载成功。

由于数据格式错误,0行丢弃。

由于数据错误,0行没有加载。

跳过的逻辑记录总数:0

读取的逻辑记录总数:3

拒绝的逻辑记录总数:3

用时:37.195(ms)

[dmdba@dm3 ~]$

从日志输出，告诉我们成功导入3行.

3.2.2.5 查询验证

SQL> select * from test;

行号 c1 c2 c3

---------- ----------- ----------- ----------

1 1 1 2019-09-22

2 2 2 2019-09-22

3 3 3 2019-09-22

已用时间: 10.354(毫秒). 执行号:1178.

SQL>

3.2.3 DIRECT为FALSE时大字段数据的载入

当 MODE 为 IN 且 DIRECT 为 FALSE 时，数据文件中大字段列数据即字段内容。BLOB_TYPE 参数指定 BLOB 列内容为十六进制或者字符串：

l BLOB_TYPE 为 HEX_CHAR 时，数据文件中 BLOB 列当作为十六进制内容；

l BLOB_TYPE 为 HEX 时，数据文件中 BLOB 列为字符串形式内容，导入后会转换为十六进制。

BLOB_TYPE 参数只对 DIRECT 为 FALSE 时有效，默认为 HEX_CHAR。

3.2.3.1 创建测试表

SQL> drop table test;

操作已执行

已用时间: 29.165(毫秒). 执行号:1174.

SQL>

SQL> create table test(c1 int,c2 blob,c3 clob);

操作已执行

已用时间: 21.497(毫秒). 执行号:1175.

SQL>

3.2.3.2 创建源数据文件test.txt

[dmdba@dm3 ~]$ cat /home/dmdba/test.txt

1|0x12d3c8a7|abcdefg

2|0x12a4cbac|hijlkmn

3|0x22d3c8b3|adefhjd

[dmdba@dm3 ~]$

3.2.3.3 创建控制文件test.ctl

[dmdba@dm3 ~]$ cat /home/dmdba/test.ctl

LOAD DATA

INFILE '/home/dmdba/test.txt'

INTO TABLE test

FIELDS '|'

(

c1,

c2,

)

[dmdba@dm3 ~]$

3.2.3.4 使用 dmfldr 进行数据载入

[dmdba@dm3 ~]$ dmfldr userid=sysdba/SYSDBA control=\'/home/dmdba/test.ctl\' direct=false blob_type=\'hex_char\' log=\'/home/dmdba/dmfldr_test.log\'

dmfldr V7.6.0.171-Build(2019.07.02-109059)ENT

dmfldr:

控制文件：

加载行数:全部

每次提交服务器行数:50000

跳过行数:0

允许错误数:100

是否直接加载:No

是否插入自增列:No

数据是否已按照聚集索引排序:No

字符集:GBK

数据文件共1个:

/home/dmdba/test.txt

错误文件:fldr.bad

目标表:TEST

列名包装数据类型终止

C1 CHARACTER |

C2 CHARACTER |

C3 CHARACTER |

3 rows processed.

目标表:TEST

3 行加载成功。

由于数据格式错误,0行丢弃。

由于数据错误,0行没有加载。

跳过的逻辑记录总数:0

读取的逻辑记录总数:3

拒绝的逻辑记录总数:0

用时:1364.220(ms)

从日志输出，告诉我们成功导入3行.

3.2.3.5 查询验证

SQL> select * from test;

行号 c1 c2 c3

---------- ----------- ---------- -------

1 1 0x12D3C8A7 abcdefg

2 2 0x12A4CBAC hijlkmn

3 3 0x22D3C8B3 adefhjd

已用时间: 25.011(毫秒). 执行号:1198.

SQL>

对于blog_type为hex的情形，读者可以自行测试，方法与上面相同。

四特殊应用

4.1 文本文件第一行为列名

SKIP 参数用来设置跳过数据文件起始的逻辑行数，int数值。默认的跳过起始行数为0 行。

继续使用之前的test.txt文件，修改文件如下：

[dmdba@dm3 ~]$ cat /home/dmdba/test.txt

col1 col2 col3

1|1 2019-09-22

2|2 2019-09-22

3|3 2019-09-22

[dmdba@dm3 ~]$

对于此类文件的导入，需要设置跳过文本文件的第一行，设置方法有两种：

1、通过控制文件

创建控制文件test.ctl：

[dmdba@dm3 ~]$ cat /home/dmdba/test.ctl

OPTIONS

(

SKIP = 1

)

LOAD DATA

INFILE '/home/dmdba/test.txt'

INTO TABLE test

FIELDS '|'

(

c1,

c2 TERMINATED BY ' ',

c3 DATE FORMAT 'yyyy-mm-dd'

)

[dmdba@dm3 ~]$

2、在导入时直接指定skip参数

dmfldr userid=sysdba/SYSDBA control=\'/home/dmdba/test.ctl\' log=\'/home/dmdba/dmfldr_test.log\' skip=1

我们这里选择第一种方式：

执行数据导入：

[dmdba@dm3 ~]$ dmfldr userid=sysdba/SYSDBA control=\'/home/dmdba/test.ctl\' log=\'/home/dmdba/dmfldr_test.log\'

dmfldr V7.6.0.171-Build(2019.07.02-109059)ENT

dmfldr:

控制文件：

加载行数:全部

每次提交服务器行数:50000

跳过行数:0

允许错误数:100

是否直接加载:Yes

是否插入自增列:No

数据是否已按照聚集索引排序:No

字符集:GBK

数据文件共1个:

/home/dmdba/test.txt

错误文件:fldr.bad

目标表:TEST

列名包装数据类型终止

C1 CHARACTER |

C2 CHARACTER WHT

C3 yyyy-mm-dd |

行缓冲区数量: 2

任务线程数量: 1

3行记录已提交

目标表:TEST

3 行加载成功。

由于数据格式错误,0行丢弃。

由于数据错误,0行没有加载。

跳过的逻辑记录总数:0

读取的逻辑记录总数:3

拒绝的逻辑记录总数:0

用时:10.231(ms)

从日志输出，告诉我们成功导入3行.

验证：

SQL> select * from test;

行号 c1 c2 c3

---------- ----------- ----------- ----------

1 1 1 2019-09-22

2 2 2 2019-09-22

3 3 3 2019-09-22

已用时间: 0.721(毫秒). 执行号:1203.

SQL>

4.2 最后一行格式不正确而无法导入

dmfldr 使用的数据文件都是文本格式的，其中的列值都是以字符串的方式保存在数据文件中。要想将这些数据载入数据库表中，需要将字符串转换成数据库表各列对应的数据类型。dmfldr 支持所有 DM 数据库支持的列定义类型，包括字符串、数值、时间日期、时间

日期间隔、大字段类型等。

若数据文件的编码方式与 DM 数据库服务器的编码方式不一样，dmfldr 还需要进行字符编码的转换。dmfldr 支持 UTF8 和 GBK 编码之间的相互转换。

数据类型和编码转换工作由 dmfldr 客户端进行，在这个过程中如果出现错误，dmfldr 会跳过该行继续后面的工作，并记录错误行到 BADFILE 指定的文件。

4.2.1 创建测试表

SQL> drop table test;

操作已执行

已用时间: 29.165(毫秒). 执行号:1174.

SQL>

SQL> create table test(c1 int,c2 int,c3 date);

操作已执行

已用时间: 21.497(毫秒). 执行号:1175.

SQL>

4.2.2 创建源数据文件test.txt

[dmdba@dm3 ~]$ cat /home/dmdba/test.txt

1|1 2019-09-22

2|2 2019-09-22

3|3 2019-09-22

4|4 yyyy-mm-dd

[dmdba@dm3 ~]$

4.2.3 创建控制文件test.ctl

[dmdba@dm3 ~]$ cat /home/dmdba/test.ctl

LOAD DATA

INFILE '/home/dmdba/test.txt'

INTO TABLE test

FIELDS '|'

(

c1,

c2 TERMINATED BY ' ',

c3 DATE FORMAT 'yyyy-mm-dd'

)

[dmdba@dm3 ~]$

4.2.4 使用 dmfldr 进行数据载入

[dmdba@dm3 ~]$ dmfldr userid=sysdba/SYSDBA control=\'/home/dmdba/test.ctl\' log=\'/home/dmdba/dmfldr_test.log\' badfile=\'/home/dmdba/test.bad\'

dmfldr V7.6.0.171-Build(2019.07.02-109059)ENT

dmfldr:

控制文件：

加载行数:全部

每次提交服务器行数:50000

跳过行数:1

允许错误数:100

是否直接加载:Yes

是否插入自增列:No

数据是否已按照聚集索引排序:No

字符集:GBK

数据文件共1个:

/home/dmdba/test.txt

错误文件:/home/dmdba/test.bad

目标表:TEST

列名包装数据类型终止

C1 CHARACTER |

C2 CHARACTER WHT

C3 yyyy-mm-dd |

行缓冲区数量: 2

任务线程数量: 1

2行记录已提交

目标表:TEST

2 行加载成功。

由于数据格式错误,0行丢弃。

由于数据错误,1行没有加载。

跳过的逻辑记录总数:1

读取的逻辑记录总数:3

拒绝的逻辑记录总数:1

用时:18.103(ms)

[dmdba@dm3 ~]$

从日志输出，告诉我们成功导入3行，跳过1行.

4.2.5 查询验证

SQL> select * from test;

行号 c1 c2 c3

---------- ----------- ----------- ----------

1 1 1 2019-09-22

2 2 2 2019-09-22

3 3 3 2019-09-22

已用时间: 10.354(毫秒). 执行号:1178.

SQL>

4.3 多表装载

通过在控制文件中指定多个 INTO TABLE 子句，可以将一批数据同时向多个表进行装载。每个 INTO TABLE 子句中都可以指定 WHEN 过滤条件、FIELDS 子句和列定义子句。对于多表装载的使用需注意以下几点：

l 每个 INTO TABLE 子句的目标表必须是不同的表；

l 多表装载时不支持直接装载分区表子表；

 对于第二个及其之后的 INTO TABLE 子句，在其 coldef_option 中，必须为第一列指定 POSITION 选项；

4.3.1 创建测试表

SQL> drop table test1;

SQL> drop table test2;

SQL> create table test1(c1 int,c2 int);

操作已执行

已用时间: 11.497(毫秒). 执行号:1209.

SQL> create table test2(c1 int,c2 int);

操作已执行

已用时间: 12.779(毫秒). 执行号:1210.

SQL>

4.3.2 创建源数据文件test.txt

[dmdba@dm3 ~]$ cat /home/dmdba/test.txt

1,2

2,3

3,2

4,8

9,1

[dmdba@dm3 ~]$

4.3.3 创建控制文件test.ctl

[dmdba@dm3 ~]$ cat /home/dmdba/test.ctl

LOAD DATA

INFILE '/home/dmdba/test.txt'

INTO TABLE test1

WHEN C1 != '1'

FIELDS ','

(

c1 position (1:1),

)

INTO TABLE test2

WHEN (3:3) = '2' AND c1 != '3'

FIELDS ','

(

c1 position (1:1),

)

[dmdba@dm3 ~]$

4.3.4 使用 dmfldr 进行数据载入

[dmdba@dm3 ~]$ dmfldr userid=sysdba/SYSDBA control=\'/home/dmdba/test.ctl\' log=\'/home/dmdba/dmfldr_test.log\' badfile=\'/home/dmdba/test.bad\'

dmfldr V7.6.0.171-Build(2019.07.02-109059)ENT

dmfldr:

控制文件：

加载行数:全部

每次提交服务器行数:50000

跳过行数:0

允许错误数:100

是否直接加载:Yes

是否插入自增列:No

数据是否已按照聚集索引排序:No

字符集:GBK

数据文件共1个:

/home/dmdba/test.txt

错误文件:/home/dmdba/test.bad

目标表:TEST1

列名包装数据类型终止

C1 CHARACTER ,

C2 CHARACTER ,

行缓冲区数量: 2

任务线程数量: 1

数据文件共1个:

/home/dmdba/test.txt

错误文件:/home/dmdba/test.bad

目标表:TEST2

列名包装数据类型终止

C1 CHARACTER ,

C2 CHARACTER ,

行缓冲区数量: 2

任务线程数量: 1

1行记录已提交

4行记录已提交

目标表:TEST1

4 行加载成功。

由于数据格式错误,0行丢弃。

由于数据错误,0行没有加载。

跳过的逻辑记录总数:0

读取的逻辑记录总数:5

拒绝的逻辑记录总数:0

用时:21.305(ms)

目标表:TEST2

1 行加载成功。

由于数据格式错误,0行丢弃。

由于数据错误,0行没有加载。

跳过的逻辑记录总数:0

读取的逻辑记录总数:5

拒绝的逻辑记录总数:0

用时:21.305(ms)

从日志输出，告诉我们成功导入两个表的数据.

4.3.5 查询验证

SELECT * FROM TEST1;

行号 C1 C2

---------- ----------- -----------

1 2 3

2 3 2

3 4 8

4 9 1

SELECT * FROM TEST2;

行号 C1 C2

---------- ----------- -----------

1 1 2

4.4 控制文件中导入表的三种模式

以下面的控制文件为例：

[dmdba@dm3 ~]$ cat /home/dmdba/test.ctl

LOAD DATA

INFILE '/home/dmdba/test.txt'

INTO TABLE test

FIELDS '|'

(

c1,

c2 TERMINATED BY ' ',

c3 DATE FORMAT 'yyyy-mm-dd'

)

控制文件中导入表的模式有三种：append,insert,replace,这个与oracle的sqlloader类似，默认为append方式，所以上面的控制语句也可以写为：

[dmdba@dm3 ~]$ cat /home/dmdba/test.ctl

LOAD DATA

INFILE '/home/dmdba/test.txt'

APPEND INTO TABLE test

FIELDS '|'

(

c1,

c2 TERMINATED BY ' ',

c3 DATE FORMAT 'yyyy-mm-dd'

)

其它模式与此类似，不再举例。

4.5 其它注意事项

对于控制文件中的OPTION部分的内容，也可以在dmfldr命令行下直接指定，以日志文件log为例：

dmfldr 的日志文件路径由 LOG 参数设置，默认日志文件名为 fldr.log。文件记录了装载过程中的装载信息和错误信息以及统计信息。用户也可以通过设置控制文件中的OPTION 选项来指定日志路径。如果参数及 OPTION 中同时指定了日志路径则其将以OPTION 中指定的路径为最终路径。

控制文件中关于 OPTIONS 选项，该选项支持命令行参数中除 userid，control，help 以外的所有参数的指定，每个参数值对使用空格或者换行分割。对于 option 中出现的参数，在 dmfldr 的指定执行参数中也出现的，dmfldr 会选择 option 中对应参数的值执行；

有如下的控制文件：

[dmdba@dm3 ~]$ cat /home/dmdba/test.ctl

OPTIONS

(

LOG = '/tmp/dmfldr.log'

)

LOAD DATA

INFILE '/home/dmdba/test.txt'

INTO TABLE test

FIELDS '|'

(

c1,

c2 TERMINATED BY ' ',

c3 DATE FORMAT 'yyyy-mm-dd'

)

[dmdba@dm3 ~]$

执行数据载入时也指定log选项：

dmfldr userid=sysdba/SYSDBA control=\'/home/dmdba/test.ctl\' log=\'/home/dmdba/dmfldr_test.log\' badfile=\'/home/dmdba/test.bad\'

此时日志的生成以控制文件中OPTIONS中指定的路径为准！！！

你可能感兴趣的:(DM,达梦,数据库,国产数据库)

LocalDateTime 转 String igotyback java 开发语言
importjava.time.LocalDateTime;importjava.time.format.DateTimeFormatter;publicclassMain{publicstaticvoidmain(String[]args){//获取当前时间LocalDateTimenow=LocalDateTime.now();//定义日期格式化器DateTimeFormatterformat
2022-04-18 Apbenz
语重心长的和我说，不要老是说不行，人至而立之年危机四伏，内在的，外在的，感觉就是心力憔悴，让人无所适从。面对职场的无情，突然好羡慕干体力劳动的外卖小哥。难道命运是想让我去送外卖了吗？干体力活才能让我活下去？fastadmin打卡成功,淘宝金币任务完成。ㅏㅓㅗㅜㅡㅣㅐㅔㅑㅕㅛㅠㅢㅒㅖY行。야자여자요리우유의사얘기예
Google earth studio 简介陟彼高冈yu 旅游
GoogleEarthStudio是一个基于Web的动画工具，专为创作使用GoogleEarth数据的动画和视频而设计。它利用了GoogleEarth强大的三维地图和卫星影像数据库，使用户能够轻松地创建逼真的地球动画、航拍视频和动态地图可视化。网址为https://www.google.com/earth/studio/。GoogleEarthStudio是一个基于Web的动画工具，专为创作使用G
关于提高复杂业务逻辑代码可读性的思考编程经验分享开发经验 java 数据库开发语言
目录前言需求场景常规写法拆分方法领域对象总结前言实际工作中大部分时间都是在写业务逻辑，一般都是三层架构，表示层（Controller）接收客户端请求，并对入参做检验，业务逻辑层（Service）负责处理业务逻辑，一般开发都是在这一层中写具体的业务逻辑。数据访问层（Dao）是直接和数据库交互的，用于查数据给业务逻辑层，或者是将业务逻辑层处理后的数据写入数据库。简单的增删改查接口不用多说，基本上写好一
SQL Server_查询某一数据库中的所有表的内容 qq_42772833 SQL Server 数据库 sqlserver
1.查看所有表的表名要列出CrabFarmDB数据库中的所有表（名），可以使用以下SQL语句：USECrabFarmDB;--切换到目标数据库GOSELECTTABLE_NAMEFROMINFORMATION_SCHEMA.TABLESWHERETABLE_TYPE='BASETABLE';对这段SQL脚本的解释：SELECTTABLE_NAME：这个语句的作用是从查询结果中选择TABLE_NAM
深入理解 MultiQueryRetriever：提升向量数据库检索效果的强大工具 nseejrukjhad 数据库 python
深入理解MultiQueryRetriever：提升向量数据库检索效果的强大工具引言在人工智能和自然语言处理领域，高效准确的信息检索一直是一个关键挑战。传统的基于距离的向量数据库检索方法虽然广泛应用，但仍存在一些局限性。本文将介绍一种创新的解决方案：MultiQueryRetriever，它通过自动生成多个查询视角来增强检索效果，提高结果的相关性和多样性。MultiQueryRetriever的工
MongoDB Oplog 窗口喝醉酒的小白 MongoDB 运维
在MongoDB中，oplog（操作日志）是一个特殊的日志系统，用于记录对数据库的所有写操作。oplog允许副本集成员（通常是从节点）应用主节点上已经执行的操作，从而保持数据的一致性。它是MongoDB副本集实现数据复制的基础。MongoDBOplog窗口oplog窗口是指在MongoDB副本集中，从节点可以用来同步数据的时间范围。这个窗口通常由以下因素决定：Oplog大小：oplog的大小是有限
python os 环境变量 CV矿工 python 开发语言 numpy
环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
【PG】常见数据库、表属性设置江无羡数据库
PG的常见属性配置方法数据库复制、备份相关表的复制标识单表操作批量表操作链接数据库复制、备份相关表的复制标识单表操作通过ALTER语句单独更改一张表的复制标识。ALTERTABLE[tablename]REPLICAIDENTITYFULL;批量表操作通过代码块的方式，对某个schema中的所有表一起更新其复制标识。SELECTtablename,CASErelreplidentWHEN'd'TH
docker igotyback eureka 云原生
Docker容器的文件系统是隔离的，但是可以通过挂载卷（Volumes）或绑定挂载（BindMounts）将宿主机的文件系统目录映射到容器内部。要查看Docker容器的映射路径，可以使用以下方法：查看容器配置：使用dockerinspect命令可以查看容器的详细配置信息，包括挂载的卷。例如：bashdockerinspect在输出的JSON格式中，查找"Mounts"部分，这里会列出所有的挂载信息
nosql数据库技术与应用知识点皆过客，揽星河 NoSQL nosql 数据库大数据数据分析数据结构非关系型数据库
Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
insert into select 主键自增_mybatis拦截器实现主键自动生成 weixin_39521651 insert into select 主键自增 mybatis delete返回值 mybatis insert返回主键 mybatis insert返回对象 mybatis plus insert返回主键 mybatis plus 插入生成id
前言前阵子和朋友聊天，他说他们项目有个需求，要实现主键自动生成，不想每次新增的时候，都手动设置主键。于是我就问他，那你们数据库表设置主键自动递增不就得了。他的回答是他们项目目前的id都是采用雪花算法来生成，因此为了项目稳定性，不会切换id的生成方式。朋友问我有没有什么实现思路，他们公司的orm框架是mybatis，我就建议他说，不然让你老大把mybatis切换成mybatis-plus。mybat
关于Mysql 中 Row size too large (＞ 8126) 错误的解决和理解秋刀prince mysql mysql 数据库
提示：啰嗦一嘴，数据库的任何操作和验证前，一定要记得先备份！！！不会有错；文章目录问题发现一、问题导致的可能原因1、页大小2、行格式2.1compact格式2.2Redundant格式2.3Dynamic格式2.4Compressed格式3、BLOB和TEXT列二、解决办法1、修改页大小（不推荐）2、修改行格式3、修改数据类型为BLOB和TEXT列4、其他优化方式（可以参考使用）4.1合理设置数据
Java爬虫框架（一）--架构设计狼图腾-狼之传说 java 框架 java 任务 html解析器存储电子商务
一、架构图那里搜网络爬虫框架主要针对电子商务网站进行数据爬取，分析，存储，索引。爬虫：爬虫负责爬取，解析，处理电子商务网站的网页的内容数据库：存储商品信息索引：商品的全文搜索索引Task队列：需要爬取的网页列表Visited表：已经爬取过的网页列表爬虫监控平台：web平台可以启动，停止爬虫，管理爬虫，task队列，visited表。二、爬虫1.流程1)Scheduler启动爬虫器，TaskMast
MongoDB知识概括 GeorgeLin98 持久层 mongodb
MongoDB知识概括MongoDB相关概念单机部署基本常用命令索引-IndexSpirngDataMongoDB集成副本集分片集群安全认证MongoDB相关概念业务应用场景：传统的关系型数据库（如MySQL），在数据操作的“三高”需求以及应对Web2.0的网站需求面前，显得力不从心。解释：“三高”需求：①Highperformance-对数据库高并发读写的需求。②HugeStorage-对海量数
Mongodb Error: queryTxt ETIMEOUT xxxx.wwwdz.mongodb.net 佛一脚 error react mongodb 数据库
背景每天都能遇到奇怪的问题，做个记录，以便有缘人能得到帮助！换了一台电脑开发nextjs程序。需要连接mongodb数据，对数据进行增删改查。上一台电脑好好的程序，新电脑死活连不上mongodb数据库。同一套代码，没任何修改，搞得我怀疑人生了，打开浏览器进入mongodb官网毫无问题，也能进入线上系统查看数据，网络应该是没问题。于是我尝试了一下手机热点，这次代码能正常跑起来，连接数据库了！！！是不
入门MySQL——查询语法练习 K_un
前言：前面几篇文章为大家介绍了DML以及DDL语句的使用方法，本篇文章将主要讲述常用的查询语法。其实MySQL官网给出了多个示例数据库供大家实用查询，下面我们以最常用的员工示例数据库为准，详细介绍各自常用的查询语法。1.员工示例数据库导入官方文档员工示例数据库介绍及下载链接：https://dev.mysql.com/doc/employee/en/employees-installation.h
博客网站制作教程 2401_85194651 java maven
首先就是技术框架：后端：Java+SpringBoot数据库：MySQL前端：Vue.js数据库连接：JPA(JavaPersistenceAPI)1.项目结构blog-app/├──backend/│├──src/main/java/com/example/blogapp/││├──BlogApplication.java││├──config/│││└──DatabaseConfig.java
ubuntu安装wordpress lissettecarlr
1安装nginx网上安装方式很多，这就就直接用apt-get了apt-getinstallnginx不用启动啥，然后直接在浏览器里面输入IP:80就能看到nginx的主页了。如果修改了一些配置可以使用下列命令重启一下systemctlrestartnginx.service2安装mysql输入安装前也可以更新一下软件源，在安装过程中将会让你输入数据库的密码。sudoapt-getinstallmy
深入浅出 -- 系统架构之负载均衡Nginx的性能优化 xiaoli8748_软件开发系统架构系统架构负载均衡 nginx
一、Nginx性能优化到这里文章的篇幅较长了，最后再来聊一下关于Nginx的性能优化，主要就简单说说收益最高的几个优化项，在这块就不再展开叙述了，毕竟影响性能都有多方面原因导致的，比如网络、服务器硬件、操作系统、后端服务、程序自身、数据库服务等，对于性能调优比较感兴趣的可以参考之前《JVM性能调优》中的调优思想。优化一：打开长连接配置通常Nginx作为代理服务，负责分发客户端的请求，那么建议开启H
【RabbitMQ 项目】服务端：数据管理模块之绑定管理月夜星辉雪 rabbitmq 分布式
文章目录一.编写思路二.代码实践一.编写思路定义绑定信息类交换机名称队列名称绑定关键字：交换机的路由交换算法中会用到没有是否持久化的标志，因为绑定是否持久化取决于交换机和队列是否持久化，只有它们都持久化时绑定才需要持久化。绑定就好像一根绳子，两端连接着交换机和队列，当一方不存在，它就没有存在的必要了定义绑定持久化类构造函数：如果数据库文件不存在则创建，打开数据库，创建binding_table插入
COCO 格式的数据集转化为 YOLO 格式的数据集 QYQY77 YOLO python
"""--json_path输入的json文件路径--save_path保存的文件夹名字，默认为当前目录下的labels。"""importosimportjsonfromtqdmimporttqdmimportargparseparser=argparse.ArgumentParser()parser.add_argument('--json_path',default='./instances
计算机毕业设计PHP仓储综合管理系统（源码+程序+VUE+lw+部署） java毕设程序源码王哥 php 课程设计 vue.js
该项目含有源码、文档、程序、数据库、配套开发软件、软件安装教程。欢迎交流项目运行环境配置：phpStudy+Vscode+Mysql5.7+HBuilderX+Navicat11+Vue+Express。项目技术：原生PHP++Vue等等组成，B/S模式+Vscode管理+前后端分离等等。环境需要1.运行环境：最好是小皮phpstudy最新版，我们在这个版本上开发的。其他版本理论上也可以。2.开发
3.增删改查--连接查询问女何所忆
关系型数据库的一个特点就是，多张表之间存在关系，以致于我们可以连接多张表进行查询操作，所以连接查询会是关系型数据库中最常见的操作。连接查询主要分为三种，交叉连接、内连接和外连接，我们一个个说。1、交叉连接交叉连接其实连接查询的第一个阶段，它简单表现为两张表的笛卡尔积形式，具体例子：如果你没学过数学中的笛卡尔积概念，你可以这样简单的理解这里的交叉连接：两张表的交叉连接就是一个连接合并的过程，T1表中
docker from指令的含义_多个FROM-含义 weixin_39722188 docker from指令的含义
小编典典什么是基本图片？一组文件，加上EXPOSE端口ENTRYPOINT和CMD。您可以添加文件并基于该基础图像构建新图像，Dockerfile并以FROM指令开头：后面提到的图像FROM是新图像的“基础图像”。这是否意味着如果我neo4j/neo4j在FROM指令中声明，则在运行映像时，neo数据库将自动运行并且可在端口7474的容器中使用？仅当您不覆盖CMD和时ENTRYPOINT。但是图像
Redis:缓存击穿我的程序快快跑啊缓存 redis java
缓存击穿(热点key)：部分key(被高并发访问且缓存重建业务复杂的)失效,无数请求会直接到数据库，造成巨大压力1.互斥锁：可以保证强一致性线程一：未命中之后，获取互斥锁，再查询数据库重建缓存，写入缓存，释放锁线程二：查询未命中，未获得锁(已由线程一获得)，等待一会，缓存命中互斥锁实现方式：redis中setnxkeyvalue:改变对应key的value,仅当value不存在时执行，以此来实现互
mysql学习教程，从入门到精通，TOP 和MySQL LIMIT 子句（15）知识分享小能手大数据数据库 MySQL mysql 学习 oracle 数据库开发语言 adb 大数据
1、TOP和MySQLLIMIT子句内容在SQL中，不同的数据库系统对于限制查询结果的数量有不同的实现方式。TOP关键字主要用于SQLServer和Access数据库中，而LIMIT子句则主要用于MySQL、PostgreSQL（通过LIMIT/OFFSET语法）、SQLite等数据库中。下面将分别详细介绍这两个功能的语法、语句以及案例。1.1、TOP子句（SQLServer和Access）1.1
从门氏元素周期表看三皇五帝在关中论霜叶红似二月花y
世间所有物质，都是由不同元素组成的，科学家们”认识物质初期，所有元素也是多年逐一认识的。著名的俄罗斯化学家门捷列耶夫(DmitriMendeleev1834－1907)，在1869年首创的元素周期表，想必大家都很熟悉。他是怎么发现元素周期规律并制成表的？最权威的说法是他自己笔记中所记载的，是他做梦所得。门氏元素周期表这个表开始并不完善，但已经有个雏形了。当时只有已知的63种元素。但门氏预测应该有1
ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your †徐先森® Oracle数据库 Web相关错误集
createtablestudents(idintunsignedprimarykeyauto_increment,namevarchar(50)notnull,ageintunsigned,highdecimal(3,2),genderenum('男','女','中性','保密','妖')default'保密',cls_idintunsigned);在对数据库插入如上带有中文带有默认值的字段的时
《Veronika decides to die》 Ooutstanding
Whatismadness？——Madnessistheinabilitytocommunicate.Betweennormalityandmadness,whicharebasicallythesamething,thereexistsanintermediarystage：itiscalled"beingdifferent."Andpeoplewerebecomingmoreandmoreaf
tomcat基础与部署发布暗黑小菠萝 Tomcat java web
从51cto搬家了，以后会更新在这里方便自己查看。做项目一直用tomcat，都是配置到eclipse中使用，这几天有时间整理一下使用心得，有一些自己配置遇到的细节问题。 Tomcat：一个Servlets和JSP页面的容器，以提供网站服务。一、Tomcat安装安装方式：①运行.exe安装包 &n
网站架构发展的过程 ayaoxinchao 数据库应用服务器网站架构
1.初始阶段网站架构：应用程序、数据库、文件等资源在同一个服务器上 2.应用服务和数据服务分离：应用服务器、数据库服务器、文件服务器 3.使用缓存改善网站性能：为应用服务器提供本地缓存，但受限于应用服务器的内存容量，可以使用专门的缓存服务器，提供分布式缓存服务器架构 4.使用应用服务器集群改善网站的并发处理能力：使用负载均衡调度服务器，将来自客户端浏览器的访问请求分发到应用服务器集群中的任何
[信息与安全]数据库的备份问题 comsci 数据库
如果你们建设的信息系统是采用中心-分支的模式,那么这里有一个问题如果你的数据来自中心数据库,那么中心数据库如果出现故障,你的分支机构的数据如何保证安全呢? 是否应该在这种信息系统结构的基础上进行改造,容许分支机构的信息系统也备份一个中心数据库的文件呢? &n
使用maven tomcat plugin插件debug关联源代码商人shang maven debug 查看源码 tomcat-plugin
*首先需要配置好'''maven-tomcat7-plugin'''，参见[[Maven开发Web项目]]的'''Tomcat'''部分。 *配置好后，在[[Eclipse]]中打开'''Debug Configurations'''界面，在'''Maven Build'''项下新建当前工程的调试。在'''Main'''选项卡中点击'''Browse Workspace...'''选择需要开发的
大访问量高并发 oloz 大访问量高并发
大访问量高并发的网站主要压力还是在于数据库的操作上，尽量避免频繁的请求数据库。下面简要列出几点解决方案： 01、优化你的代码和查询语句，合理使用索引 02、使用缓存技术例如memcache、ecache将不经常变化的数据放入缓存之中 03、采用服务器集群、负载均衡分担大访问量高并发压力 04、数据读写分离 05、合理选用框架，合理架构(推荐分布式架构)。
cache 服务器小猪猪08 cache
Cache 即高速缓存.那么cache是怎么样提高系统性能与运行速度呢？是不是在任何情况下用cache都能提高性能？是不是cache用的越多就越好呢？我在近期开发的项目中有所体会，写下来当作总结也希望能跟大家一起探讨探讨，有错误的地方希望大家批评指正。　　1.Cache 是怎么样工作的? 　　Cache 是分配在服务器上
mysql存储过程香水浓 mysql
Description:插入大量测试数据 use xmpl; drop procedure if exists mockup_test_data_sp; create procedure mockup_test_data_sp( in number_of_records int ) begin declare cnt int; declare name varch
CSS的class、id、css文件名的常用命名规则 agevs JavaScript UI 框架 Ajax css
CSS的class、id、css文件名的常用命名规则 (一)常用的CSS命名规则　　头：header 　　内容：content/container 　　尾：footer 　　导航：nav 　　侧栏：sidebar 　　栏目：column 　　页面外围控制整体布局宽度：wrapper 　　左右中：left right
全局数据源 AILIKES java tomcat mysql jdbc JNDI
实验目的：为了研究两个项目同时访问一个全局数据源的时候是创建了一个数据源对象，还是创建了两个数据源对象。 1：将diuid和mysql驱动包（druid-1.0.2.jar和mysql-connector-java-5.1.15.jar）copy至%TOMCAT_HOME%/lib下；2：配置数据源，将JNDI在%TOMCAT_HOME%/conf/context.xml中配置好,格式如下：&l
MYSQL的随机查询的实现方法 baalwolf mysql
MYSQL的随机抽取实现方法。举个例子，要从tablename表中随机提取一条记录，大家一般的写法就是：SELECT * FROM tablename ORDER BY RAND() LIMIT 1。但是，后来我查了一下MYSQL的官方手册，里面针对RAND()的提示大概意思就是，在ORDER BY从句里面不能使用RAND()函数，因为这样会导致数据列被多次扫描。但是在MYSQL 3.23版本中，
JAVA的getBytes()方法 bijian1013 java eclipse unix OS
在Java中，String的getBytes()方法是得到一个操作系统默认的编码格式的字节数组。这个表示在不同OS下，返回的东西不一样！ String.getBytes(String decode)方法会根据指定的decode编码返回某字符串在该编码下的byte数组表示，如： byte[] b_gbk = "
AngularJS中操作Cookies bijian1013 JavaScript AngularJS Cookies
如果你的应用足够大、足够复杂，那么你很快就会遇到这样一咱种情况：你需要在客户端存储一些状态信息，这些状态信息是跨session(会话)的。你可能还记得利用document.cookie接口直接操作纯文本cookie的痛苦经历。幸运的是，这种方式已经一去不复返了，在所有现代浏览器中几乎
[Maven学习笔记五]Maven聚合和继承特性 bit1129 maven
Maven聚合在实际的项目中，一个项目通常会划分为多个模块，为了说明问题，以用户登陆这个小web应用为例。通常一个web应用分为三个模块： 1. 模型和数据持久化层user-core, 2. 业务逻辑层user-service以 3. web展现层user-web， user-service依赖于user-core user-web依赖于user-core和use
【JVM七】JVM知识点总结 bit1129 jvm
1. JVM运行模式 1.1 JVM运行时分为-server和-client两种模式，在32位机器上只有client模式的JVM。通常，64位的JVM默认都是使用server模式，因为server模式的JVM虽然启动慢点，但是，在运行过程，JVM会尽可能的进行优化 1.2 JVM分为三种字节码解释执行方式：mixed mode, interpret mode以及compiler
linux下查看nginx、apache、mysql、php的编译参数 ronin47
在linux平台下的应用，最流行的莫过于nginx、apache、mysql、php几个。而这几个常用的应用，在手工编译完以后，在其他一些情况下（如：新增模块），往往想要查看当初都使用了那些参数进行的编译。这时候就可以利用以下方法查看。 1、nginx [root@361way ~]# /App/nginx/sbin/nginx -V nginx: nginx version: nginx/
unity中运用Resources.Load的方法？ brotherlamp unity视频 unity资料 unity自学 unity unity教程
问：unity中运用Resources.Load的方法？答：Resources.Load是unity本地动态加载资本所用的方法,也即是你想动态加载的时分才用到它,比方枪弹,特效,某些实时替换的图像什么的,主张此文件夹不要放太多东西,在打包的时分,它会独自把里边的一切东西都会集打包到一同,不论里边有没有你用的东西,所以大多数资本应该是自个建文件放置 1、unity实时替换的物体即是依据环境条件
线段树-入门 bylijinnan java 算法线段树
/** * 线段树入门 * 问题：已知线段[2,5] [4,6] [0,7]；求点2,4,7分别出现了多少次 * 以下代码建立的线段树用链表来保存，且树的叶子结点类似[i,i] * * 参考链接：http://hi.baidu.com/semluhiigubbqvq/item/be736a33a8864789f4e4ad18 * @author lijinna
全选与反选 chicony 全选
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd"> <html> <head> <title>全选与反选</title>
vim一些简单记录 chenchao051 vim
mac在/usr/share/vim/vimrc linux在/etc/vimrc 1、问：后退键不能删除数据，不能往后退怎么办？答：在vimrc中加入set backspace=2 2、问：如何控制tab键的缩进？答：在vimrc中加入set tabstop=4 (任何
Sublime Text 快捷键 daizj 快捷键 sublime
[size=large][/size]Sublime Text快捷键：Ctrl+Shift+P：打开命令面板Ctrl+P：搜索项目中的文件Ctrl+G：跳转到第几行Ctrl+W：关闭当前打开文件Ctrl+Shift+W：关闭所有打开文件Ctrl+Shift+V：粘贴并格式化Ctrl+D：选择单词，重复可增加选择下一个相同的单词Ctrl+L：选择行，重复可依次增加选择下一行Ctrl+Shift+L：
php 引用(&)详解 dcj3sjt126com PHP
在PHP 中引用的意思是：不同的名字访问同一个变量内容. 与Ｃ语言中的指针是有差别的．Ｃ语言中的指针里面存储的是变量的内容在内存中存放的地址变量的引用 PHP 的引用允许你用两个变量来指向同一个内容复制代码代码如下: <? $a="ABC"; $b =&$a; echo
SVN中trunk,branches,tags用法详解 dcj3sjt126com SVN
Subversion有一个很标准的目录结构，是这样的。比如项目是proj，svn地址为svn://proj/，那么标准的svn布局是svn://proj/|+-trunk+-branches+-tags这是一个标准的布局，trunk为主开发目录，branches为分支开发目录，tags为tag存档目录（不允许修改）。但是具体这几个目录应该如何使用，svn并没有明确的规范，更多的还是用户自己的习惯。
对软件设计的思考 e200702084 设计模式数据结构算法 ssh 活动
软件设计的宏观与微观软件开发是一种高智商的开发活动。一个优秀的软件设计人员不仅要从宏观上把握软件之间的开发，也要从微观上把握软件之间的开发。宏观上，可以应用面向对象设计，采用流行的SSH架构，采用web层，业务逻辑层，持久层分层架构。采用设计模式提供系统的健壮性和可维护性。微观上，对于一个类，甚至方法的调用，从计算机的角度模拟程序的运行情况。了解内存分配，参数传
同步、异步、阻塞、非阻塞 geeksun 非阻塞
同步、异步、阻塞、非阻塞这几个概念有时有点混淆，在此文试图解释一下。同步：发出方法调用后，当没有返回结果，当前线程会一直在等待（阻塞）状态。场景：打电话，营业厅窗口办业务、B/S架构的http请求-响应模式。异步：方法调用后不立即返回结果，调用结果通过状态、通知或回调通知方法调用者或接收者。异步方法调用后，当前线程不会阻塞，会继续执行其他任务。实现：
Reverse SSH Tunnel 反向打洞實錄 hongtoushizi ssh
實際的操作步驟： # 首先，在客戶那理的機器下指令連回我們自己的 Server，並設定自己 Server 上的 12345 port 會對應到幾器上的 SSH port ssh -NfR 12345:localhost:22 [email protected] # 然後在 myhost 的機器上連自己的 12345 port，就可以連回在客戶那的機器 ssh localhost -p 1
Hibernate中的缓存 Josh_Persistence 一级缓存 Hiberante缓存查询缓存二级缓存
Hibernate中的缓存一、Hiberante中常见的三大缓存：一级缓存，二级缓存和查询缓存。 Hibernate中提供了两级Cache，第一级别的缓存是Session级别的缓存，它是属于事务范围的缓存。这一级别的缓存是由hibernate管理的，一般情况下无需进行干预；第二级别的缓存是SessionFactory级别的缓存，它是属于进程范围或群集范围的缓存。这一级别的缓存
对象关系行为模式之延迟加载 home198979 PHP 架构延迟加载
形象化设计模式实战 HELLO!架构一、概念 Lazy Load：一个对象，它虽然不包含所需要的所有数据，但是知道怎么获取这些数据。延迟加载貌似很简单，就是在数据需要时再从数据库获取，减少数据库的消耗。但这其中还是有不少技巧的。二、实现延迟加载实现Lazy Load主要有四种方法：延迟初始化、虚
xml 验证 pengfeicao521 xml xml解析
有些字符，xml不能识别，用jdom或者dom4j解析的时候就报错 public static void testPattern() { // 含有非法字符的串 String str = "Jamey친Ñ&#1282
div设置半透明效果 spjich css 半透明
为div设置如下样式： div{filter:alpha(Opacity=80);-moz-opacity:0.5;opacity: 0.5;} 说明： 1、filter：对win IE设置半透明滤镜效果，filter:alpha(Opacity=80)代表该对象80%半透明，火狐浏览器不认2、-moz-opaci
你真的了解单例模式么？ w574240966 java 单例设计模式 jvm
单例模式，很多初学者认为单例模式很简单，并且认为自己已经掌握了这种设计模式。但事实上，你真的了解单例模式了么。一，单例模式的5中写法。（回字的四种写法，哈哈。） 1，懒汉式（1）线程不安全的懒汉式 public cla

DM7数据库数据快速加载(dmfldr) 详解

一 概述

1.1 功能

1.2 架构

二 dmfldr入门

2.1 启动

2.2 dmfldr语法

2.3 控制文件语法

三 dmfldr实例

3.1 普通文件（文本文件）

3.1.1 创建测试表

3.1.2 创建源数据文件test.txt

3.1.3 创建控制文件test.ctl

3.1.4 使用 dmfldr 进行数据载入

3.1.5 查询验证

3.2 大字段数据处理

3.2.1 大字段数据的导出

3.2.1.1 创建测试表

3.2.1.2 插入数据

3.2.1.3 创建控制文件test.ctl

3.2.1.4 使用 dmfldr 进行数据导出

3.2.1.5 验证

3.2.2 DIRECT为TRUE时大字段数据的载入

3.2.2.1 创建测试表

3.2.2.2 创建源数据文件test.txt

3.2.2.3 创建控制文件test.ctl

3.2.2.4 使用 dmfldr 进行数据载入

3.2.2.5 查询验证

3.2.3 DIRECT为FALSE时大字段数据的载入

3.2.3.1 创建测试表

3.2.3.2 创建源数据文件test.txt

3.2.3.3 创建控制文件test.ctl

3.2.3.4 使用 dmfldr 进行数据载入

3.2.3.5 查询验证

四 特殊应用

4.1 文本文件第一行为列名

4.2 最后一行格式不正确而无法导入

4.2.1 创建测试表

4.2.2 创建源数据文件test.txt

4.2.3 创建控制文件test.ctl

4.2.4 使用 dmfldr 进行数据载入

4.2.5 查询验证

4.3 多表装载

4.3.1 创建测试表

4.3.2 创建源数据文件test.txt

4.3.3 创建控制文件test.ctl

4.3.4 使用 dmfldr 进行数据载入

4.3.5 查询验证

4.4 控制文件中导入表的三种模式

4.5 其它注意事项

你可能感兴趣的:(DM,达梦,数据库,国产数据库)

一概述

四特殊应用