对DB2数据库进行大数据操作总结

最近有需求是需要将一个近1200万数据量的del文件导入我们的数据库,并且这个文件的结构与我们的库中的正式表结构不同,并且有重复数据,所以需要先进行去重操作再插入到 正式表中! 之前没做过大数据处理,这件吃了不少苦头算是基本解决了难题,现在记录下来;

首先这del文件中没有包含主键,所以我只能创建一个与之结构一样的中间表,用工具先将其上传至服务器,然后用xshell连接数据库所在的服务器,再连接到db2数据库,用命令: db2 "load from /home/wlth.txt of del insert into UWP_CUST.T_CRM_START" 导入到中间表中,这速度是真的快,几秒就倒进去了!

然后需要将之重复数据去掉,由于没有主键,并且是由两列来区分一个唯一数据,查了一下大概有10万的重复数据,刚开始用常规的group by 做,结果一条sql硬是执行了一个多小时,最后执行到报错回滚都没去掉重。。。 然后想想办法,,增加了一列临时列temp,然后将那两列拼成 字符串 复制到这临时列中,然后对此临时列 创建索引, 之后再对此临时列用group by 做分组去重,这一下子速度就起飞了,去掉重只花了2分钟

然后就需要导入表中了,,我用的是 insert into select ,都说这比传统的插入快,但是却不知道实际效率有多快,我以为会和之前导入一样就几秒钟,结果让我失败了,,,一条SQL执行几分钟之后就报了日志被填满的异常,也就是一个事务太大了就会出现这个问题,之后将自动提交关掉,用 ALTER TABLE UWP_CUST.T_CRM_START ACTIVATE NOT LOGGED INITIALLY 语句将这张表日志关掉,再往里面插,结果插了一个小时都没查完,然后   界面上只能看到当前执行了多长时间,,,也不知道进度如何,,然后一不小心网断了,然后失败,由于处于一个事务所以导致一条数据都没插进去,之后我讲的想办法,尽量减小事务的大小,要是能看到导入的进度就好了,,所以我决定用jdbc 做,,不在数据库工具中导入了,,, 之后写Java代码,,,用循环分页的方法,,分批次导入,并且记录每批次导入用时,这样正好 满足了 既能知道当前导入的进度,又能减小事务的大小,,还能控制在发生异常时,从失败的地方开始导入数据,节省时间!  

最终我以5万条作为一个批次插入,大约每批次花费50秒,,插了N个小时插了进去,,哈哈,算是成功完成了任务,,

你可能感兴趣的:(数据库相关)