简介
设想您是一个 DB2 商业数据库系统的管理员。您被给予一项任务,支持业务开发和测试团队对商业系统的持续开发,为他们创建一套独立于产品环境的数据库系统,从而不影响日常的商业运作。由于种种原因,这套开发和测试数据库系统将运行在一个不同于产品环境的操作系统。我们知道 DB2 提供了一些方便的数据库管理工具,比如数据库的整体备份和恢复功能,用户可以用它很方便的将一个 DB2 数据库从一台物理节点迁移到另一个物理节点,但是 DB2 的备份和恢复功能目前只支持同构操作系统平台间的迁移,比如从 Windows 平台到 Windows 平台,AIX 平台到 AIX 平台。对于上述任务要求的跨平台的数据库迁移,就没有一个专门的工具可以很方便的实现。
迁移步骤
经过笔者的实践,总结 DB2 数据库的跨平台迁移步骤如下:
下面给出一个遵循上述步骤的具体例子,其中将给出执行这些步骤的具体 DB2 命令以供参考。
1. 记录源数据库管理系统配置参数。这些是很重要的数据环境设置,其中的一些设置关系到迁移能否成功。
db2 get dbm cfg |
db2 get db cfg for source_db_name |
注意:Italic part should be replaced by your settings.
注意:对于比较复杂的源数据库,要注意它的应用程序组内存大小参数(appgroup_memo_sz)。如果它的大小不够,后面生成数据对象定义的时候会有问题。
db2set -all |
db2 list tablespaces show detail |
db2 list packages |
上述显示表空间和程序包的命令都需要先建立到源数据库的连接。
2. 检查源数据库系统对象,明确要迁移哪些数据库系统对象
如何检查源数据库系统对象?一个最直观的方法就是使用DB2控制中心(db2cc)浏览查看表,视图,触发器,用户定义的函数,存储过程等数据库对象。尤其要注意有无大的表,比如一行数据的表定义可能大于8K的表。 这样的表需要在目标数据库上建立具有足够页大小的表空间。下面的步骤中将会给出列子。还需要注意的是有无外部定义的存储过程,这些存储过程所关联的外部程序包需要手工重新关联。
3. 导出源数据库系统的数据集
DB2 提供了一个工具叫作 db2move,用户通过它可以把所有用户定义的表中的数据导出到 IXF(集成交换格式)的文件中。同时,在导入数据的时候,它还可以生成表上的所定义的索引。具体的导出执行命令如下:
db2move dbname export -u username -p password |
根据数据库大小,机器性能的不同,这个导出过程可能耗时几分钟到几个小时不等。在笔者的经历中,这个导出过程就长达 2 个多小时。
4. 生成源数据库系统的数据对象定义语句
在导出了数据之后,要做的就是导出数据对象定义。DB2提供了一个工具叫db2look,用户可以通过它来生成数据库中的数据对象定义,包括别名,表,索引,视图,触发器,用户定义函数,存储过程等。具体的命令如下:
db2look -d dbname -e -o ddlfile -i username -w password |
如果数据库非常复杂,包含很多的数据对象定义,那么在执行上述命令前,用户有可能要先调整参数appgroup_memo_sz,才能够顺利的生成数据对象定义文件。下面是笔者修改这个参数的命令示例:
db2 update db cfg for dbname using appgroup_mem_sz 51368 |
5. 在目标平台创建新的数据库,参照源系统设置参数
在源平台上完成了数据导出和数据对象定义语句生成之后,下面就是要在目标平台建立目标数据库了。参考源数据库的设置为新创建的数据库配置适当的参数,通常需要调整的参数有:
笔者使用的调整语句如下:
db2 update db cfg for dbname using dbheap 41599 db2 update db cfg for dbname using catalogcache_sz 38049 db2 update db cfg for dbname using logbufsz 256 db2 update db cfg for dbname using util_heap_sz 20000 db2 update db cfg for dbname using buffpage 1000 db2 update db cfg for dbname using sortheap 4096 db2 update db cfg for dbname using stmtheap 16384 db2 update db cfg for dbname using applheapsz 10242 |
对于非常复杂的数据库,目标数据库的日志参数还需要做出调整,以便在导入数据和生成数据对象时,系统不至于日志溢出。由于笔者要迁移的数据库比较复杂,所以使用了较大的日志配置,命令示例如下:
db2 update db cfg for dbname using logfilsiz 8192 db2 update db cfg for dbname using mincommit 1 db2 update db cfg for dbname using logprimary 24 db2 update db cfg for dbname using logsecond 108 |
6. 导入源数据集
细心的读者可能会发现,这里总结的步骤6和8看似不太符合一般的逻辑顺序。对于数据库系统,通常都是先生成数据系统对象,如表,视图,触发器等,然后再导入数据集。而上述步骤中却是先导入数据集,然后再生成数据对象定义。 这能行的通吗?对于DB2来说,这完全行得通,因为db2move命令在导入数据集时,会自动生成表和索引。这样的顺序对于复杂数据对象定义的数据库迁移是唯一可行的顺序,因为复杂数据库中往往包含诸多复杂的数据约束语句, 它们会造成数据集导入时的种种问题。
db2move targetdbname import -u username -p password |
如果数据量非常大,这个过程将会非常耗时。
7. 检查数据集导入过程日志,排除可能的错误。
导入完成后,你需要检查导入过程日志,查看有无错误发生。如果有错误,你需要找出解决方法,然后从步骤 5 重新开始。
8. 在目标系统执行数据系统对象定义语句
修改步骤 4 生成的 ddl 语句文件,去除文件前端的数据库连接语句,保存后执行如下命令:
db2 connect to targetdbname user username using password db2 -tvf ddlfile > createSchema.log db2 connect reset |
9. 检查数据对象生成日志,排除可能的错误
通常你会发现有很多创建表的语句执行失败的记录,不要紧张,这是正常的,因为前面的步骤中已经生成了所有的用户表。所以检查的焦点应该放在其他数据库对象(如视图和触发器等)的生成语句上。 如果数据库非常复杂,可能需要非常细致的检查日志,以确保所有数据对象都正确创建。
10. 执行后期检查
通常,用户可能碰到两种需要处理的情况。其一,如果数据库系统中有用 Java 编写的存储过程,那么需要注册存储过程的外部程序包。命令示例如下:
db2 call sqlj.install_jar ('jar_url','jar_id') db2 drop procedure procedurename db2 create procedure procedurename external name 'jar_id:classname' language java parameter style DB2GENERAL FENCED modifies sql data db2 grant execute on procedure procedurename to public |
其二,如果表定义中有数据库管理的自动增长列,比如表定义语句含有 "GENERATED BY DEFAULT AS IDENTITY"。那么你需要更新这些列的起始计数。命令示例如下:
db2 alter table tabname alter column colname restart with newstartnumber |
这个 newstartnumber 的多少是要根据目前表中该列的最大值来定的,具体公式是 newstartnumber = currentmaxnumber + 1。
11. 配置应用程序,连接数据库,测试迁移是否成功。
上述就是完整的 DB2 跨平台数据库迁移步骤,笔者使用的 DB2 版本是 8.2。无论如何,数据库迁移是个复杂的问题,其中难免有些情况笔者未曾遇到,欢迎有过类似经验的高手指教和共同讨论。
具体导出导入路径参考下面:
(一)使用db2move导出全部数据
db2move是一个集成式的数据移动工具,它支持导出(export)、导入(import)、装入(load)三种操作方式。其实db2move的这三种工作方式分别是通过简单使用db2 export, db2 import, db2 load指令来完成的。
此部分仅仅介绍其export功能,import和load将在稍后的部分介绍。使用db2move导出的数据文件格式是IXF。
建立并进入数据存放目录:
$ mkdir /home/backup/mydata
$ cd /home/backup/mydata
导出指定的数据库中的全部数据:
$ db2move testdb export –u db2inst1 –p thepasswd
说明:
1,这将会把数据库testdb中的全部数据提取到当前目录(/home/backup/mydata)中。每个表的内容都存储在一个.ixf文件中,每个.ixf文件都有一个与之相对应的.msg文件,.msg文件是描述从表中导出数据时的信息的。另外还有两个文件,db2move.lst用来记录.ixf文件、.msg文件与表的一一对应关系,EXPORT.out记录的是导出数据时的屏幕输出。
2,有关db2move指令更多的细节,请直接执行该指令,将会打印出其帮助信息。
(二)使用db2move导入(import)数据
以db2inst1用户身份登录到Host 2。
创建数据库mytestdb:
$ db2
db2 => create database mytestdb on ‘/home/db2inst1’ using codeset UTF-8 territory CN
db2 => connect to mytestdb user db2inst1 using thepasswd
创建一个pagesize为16K的bufferpool,名为mybigpool:
db2 => create bufferpool mybigpool immediate size 1000 pagesize 16K
创建一个tablespace使用上面创建的bufferpool,名为mybigspace:
db2 => create regular tablespace mybigspace pagesize 16K managed by system using (‘/home/db2inst1/db2inst1/NODE0000/SQL00004/SQLT0003.0’) extentsize 16 overhead 12.67 prefetchsize 16 transferrate 0.18 bufferpool mybigpool dropped table recovery off
注:
extentsize, overhead, prefetchsize, transferrate这几个参数值与所使用的服务器有关,我这里使用的值是基于普通的、使用SCSI硬盘的PC服务器的。
完成空库的创建:
db2 => commit work
db2 => connect reset
db2 => terminate
导入(import)数据:
使用import方式不需要先建表结构,即,准备好一个空库就行了。这一点与load方式不一样,load方式需要先建立表结构。
我将从Host1上导出的全部数据文件(位于Host1的 /home/backup/mydata下)复制到Host2下某个目录下,假定为 /home/movedata
$ cd /home/movedata
$ db2move mytestdb import –u db2inst1 –p thepasswd
此时屏幕上会显示有关导入数据的信息。
存在的问题:
db2move import方式只能导入“普通”的表,如果表中存在自增长的IDENTITY列,那么使用db2move import时,会出错。这是因为,如果IDENTITY列创建表的时候都是定义成always的话,那么在导入数据的时候该列数据是不能被赋值的,而是应该由系统生成,使用db2move无法导入这样的表。对于这种含有IDENTITY列的表,只能使用db2 import指令来进行导入,相关的参数是IDENTITYIGNORE,IDENTITYMISSING。我将在下一部分给出具体的指令操作。
一句题外话:
如果需要实现唯一主键,可以不必使用IDENTITY列,改而使用sequence,这样比较便于维护和管理。