data migration -2 构造 临时数据仓库，用于提取数据

构造 临时数据仓库，用于提取数据

 

设想在这个阶段完成大部分的商业逻辑转换工作，使用 pentaho 工具， 帮助转换数据到临时表

环境设置：

1.临时表尽可能与新数据库表结构相同，但是当中会加几个帮助做逻辑的column 类似flag

 优点： 集中转换工作，方便开发和维护

 困难：构造临时表工作量大而且繁琐。

 解决方案：花2个钟头 利用 sqldevelpoer :desc table output format 直接解析 生成 create table 语句

 

 

2. 转换 id，旧数据id全部使用 number(20,0) 递增作为 主键， 搬到新系统将会统一 rpad(index,32,'#')

 优点： 可以直接在新数据库追踪旧数据

 困难： 新系统，有控制表 储存了id，hardcode Id 使得重复import 会产生问题。

 解决方法：在删除数据时候 抓到全部控制表 强制删除相关控制record

 

3. 转换工作

使用 pentaho etl工具，这个阶段是集中所有转换逻辑，需要人工匹配每一个旧column 和新column 数据

其实在转换的数据库阶段有4个层次的工作

1. 理解旧系统工作流程 和 新系统工作流程

2. 旧系统的模块 匹配新系统模块，如果不能直接匹配 需要拆分功能点，分开数据处理

3. 旧系统的模块里面的表 匹配新系统表

4. 表里面的column 匹配 新系统column