oracle 删除重复数据的3种方法

删除重复数据的3种方法 
今天google分析函数row_number()的时候发现的，觉得很好：

表demo是重复拷贝自dba_objects，有88万左右，不重复的是27323，没有索引
方法一：delete from demo a where a.rowid <> (select max(rowid) from demo b where
b.object_id=a.object_id);
耗时：几个小时以上 
方法二： delete from demo where rowid in 
(select rid from 
(select rowid rid,row_number() over(partition by object_id order by rowid) rn
from demo)
where rn <> 1 );
耗时：30秒
方法三： create table demo2 as 
select object_id,owner... from
(select demo.*,row_number() over(partition by object_id order by rowid) rn from demo)
where rn = 1;
truncate table demo; insert into demo select * from demo2; drop table demo2;
共耗时： 10秒，适合大数据量的情况，产生更少回滚量；

学到了分析函数row_number(),对于object_id和rowid也有了一些认识。oracle要学的东西太多了，什么时候是个头啊。上面的方法不是很难理解，但也还没有完全理解，有机会实际试试。

posted @ 2008-01-08 10:04 羽翼渐丰 阅读(94) | 评论 (0) | 编辑 收藏 
 
在load的时候去掉sequential file的header和footer 
今天在论坛看到的方法，先记录下来：
方法一：
在sequential file stage中有个属性可以ignore第一行。对于footer，如果footer使用了与正文不同的格式，可以用使用transformer stage和 @INROWNUM stage来将footer去掉。
方法二：
在sequential file的filter option中使用sed -e '$d' -e '1d'来讲header和footer去掉。
方法三：
写个before job subroutine，可以先对这个文件做各种处理，不过我想也是subroutine中调用DSExecute sed -e '$d' -e '1d'。当然Basic中也有专门对sequential file处理的函数。
posted @ 2007-08-13 19:37 羽翼渐丰 阅读(163) | 评论 (0) | 编辑 收藏