记一次Oracle数据迁移踩过的坑

一.背景

应用系统之间进行大量的数据交换一般通过数据文件的形式来处理，数据文件又分为二进制文件和文本文件（也称平面文件），采用文本文件的形式比较便于数据的查看和操作。
本次数据迁移是把中台的记录的历史交易明细迁移到后台，有些数据后台没有记录，需要中台的数据来进行更新。

二.实施方案

1. 导出数据

这个步骤是由中台来操作的，使用的是orato8a工具导数据。orato8a 是一个可以快速、高效地从 oracle 数据库系统中抽取数据，并将数据保存到指定文件中的专用工具。orato8a 还提供查询语句导出和全表导出两种方式，其中全表导出的登录用户需要对 dba_extents、dba_objects和 dba_tables 这三张表有 select 权限。
导出数据脚本:

export NLS_LANG="SIMPLIFIED CHINESE_CHINA".AL32UTF8 //设置编码
export LD_LIBRARY_PATH=/home/other/test/lib:$LD_LIBRARY_PATH // 设置程序共享库位置
export ORACLE_HOME=/u01/oracle/10.2.0/db_1 // 设置oracle环境变量
export SQLPATH=$ORACLE_HOME/sqlpath
export TNS_ADMIN=$ORACLE HOME/network/admin
./orato8 --user='' --query='SELECT * FROM TABLE_A' --file='/tmp/data/00-1124MG-TABLE_A-20210327' --format='3' --field='|!' --line_separator='\n'
./orato8a --user='' --query='SELECT * FROM TABLE_B' --file='/tmp/data/00-1124MG-TABLE_B-20210327' --format='3' --field='|!' --line_separator='\n'

2.GTP传输数据

这一块不太了解

3.导入数据

3.1 建数据库表

根据中台给的数据库建表语句，新建了两张数据库表

3.2 备份历史表

采用先建表，再导入数据的方式进行备份

insert /*+append*/ into table_A_bk  (id,name,...) select id,name,... from table_A;

3.3 数据导入数据库

采用sql loader方式将中台传输的数据进行入库，

sqlldr ${username}/${password}@${dbserver:${port}/${sid} contrl="TABLEALOAD.ctl" log=${TABLE_A_LOGFILE}

3.4 数据验证

验证条数是否和中台一致；是否有空值等

3.5 建索引

4. 预处理生成中间表

5. 更新备份表

采用的是MERGE INTO的方式，用法参考:

MERGE INTO A
USING B
ON
WHEN MATCHED THEN

6. 校验历史数据表与与备份表一致性

7.互换表名

三.遇到的错误及解决方案

1.SQL*Loader-00510报错

SQL*Loader-00510 Physical record in data file (string) is longer than the maximum(number)
官网解释:

Cause: The datafile has a physical record that is too long.
Action: Use CONCATENATE or CONTINUEIF. Break up the physical records.

解决方案: 在网上找到各种原因和解决方法，如:

由于导入文件中存在不同格式的回车换行引起的
有^M两种回车换行导致，所以用dos2unix命令统一转换成Linux回车换行。
dos2unix filename

还有一些其他的，具体不太记得了。

最后尝试过各种方法后，才发现中台传给我们的数据文件中，换行符和我们之前约定的不一样，导致SQL*Loader导入数据库时无法识别换行，把整个文件当成一行来处理了。后面让中台重新按约定的换行符给我们重导一份数据就可以了。
启示：在涉及到不同部门或单位合作的时候，一定要事先约定好规则，并要求各个合作部门严格按照约定的规则来办事。

2. 导入数据库时，报长度过长和插入null值错误。

通过分析，发现有些数据竟然不能插入数据库，通过和中台那边确认，发现那边的该字段并没有null值，在这里我们花了很多时间来排查，后面才发现中台给我们的ctl文件重字段顺序和给我们的文件数据不一致导致字段错位引起的。晕~~~~~

解决方法: 要么中台重新给我们传数据，要么我们这边调整ctl文件字段适应他们的数据。最后想到让中台搞不知道要到什么时候，还是自己调整ctl来适应他们的数据了。

3. rename 报错

在测试环境使用的更改表名的方式时
rename oldName to newName
在生产环境竟然报错，然后改为如下方式：
alter table oldName rename to newName
启示:一定要提前了解生产环境和测试环境的差异，做好备用方案，多测试。