以下介绍使用交换分区的方式将普通表转化为分区表的过程,这种方法只是对数据字典中分区和表的定义进行了修改,没有数据的修改或复制,效率最高。适用于将包含大数据量的普通表转到分区表中的一个分区的操作。尽量在闲时进行操作。
http://jingyan.baidu.com/article/6f2f55a190579eb5b93e6ca5.html
以下介绍使用交换分区的方式将普通表转化为分区表的过程,这种方法只是对数据字典中分区和表的定义进行了修改,没有数据的修改或复制,效率最高。适用于将包含大数据量的普通表转到分区表中的一个分区的操作。尽量在闲时进行操作。
交换分区的操作步骤如下:
1. 创建分区表,假设有2个分区,P1,P2.
2. 创建表A存放P1规则的数据。
3. 创建表B 存放P2规则的数据。
4. 用表A 和P1 分区交换。 把表A的数据放到到P1分区
5. 用表B 和p2 分区交换。 把表B的数据存放到P2分区。
创建分区表:
create table p_dba
(id number,time date)
partition by range(time)
(
partition p1 values less than (to_date('2010-09-1', 'yyyy-mm-dd')),
partition p2 values less than (to_date('2010-11-1', 'yyyy-mm-dd'))
);
创建2个分别对应分区的基表:
CREATE TABLE dba_p1 as SELECT id,time_fee FROM dba_old WHERE time_fee
select count(*) from dba_p1;
select count(*) from dba_p2;
将基表与2个分区进行交换:
alter table p_dba exchange partition p1 with table dba_p1;
alter table p_dba exchange partition p2 with table dba_p2;
查询2个分区:
select count(*) from p_dba partition(p1);
select count(*) from p_dba partition(p2);
注意:数据和之前的基表一致。
查询原来的2个基表:
select count(*) from dba_p2;
select count(*) from dba_p1;
注意: 2个基表的数据变成成0。
1.查看分区表的信息。
SELECT t.BYTES / (1024 * 1024),t.* FROM user_segments t WHERE t.segment_name ='OM_EV_CELL_TAXES_MONTH';
查看分区的信息,大小。
2.创建新表,福权限。
create table OM_EV_CELL_TAXES_MONTH_BAK as select * from OM_EV_CELL_TAXES_MONTH where 1=2;
grant all on OM_EV_CELL_TAXES_MONTH to ODSC_CENT;
3.数据块指针转移交换
alter table OM_EV_CELL_TAXES_MONTH exchange partition PART_CELL_TAXES_201407 with table odsc_iozh.OM_EV_CELL_TAXES_MONTH_BAK ;
*将表分区所拥有数据的实际物理存储空间段相互交换,这是指针级的操作.
4.简单的检查结果
select count(*) from Om_Ev_Cell_Taxes_Month partition(PART_CELL_TAXES_201407); --单一分分区的数目
select count(*) from OM_EV_CELL_TAXES_MONTH_BAK ;
5.错误出来
首先就是权限要够。
这几周DW部分common表刷新速度很慢,经分析是数据量过大,这两天都在想优化的方式,定下来从分区入手。
目前ODS通过kettle同步过来的数据都是非分区的,部分大表都在2亿以上,分区迫在眉睫。
先是从我常用的一个common表入手,之前计划对常用的字段如状态、创建时间做list-range分区,但考虑到状态变化会导致分区键变化,后决定只使用创建时间做range分区,并且对已有的数据按照数据分布先生成部分分区,然后按照interval 1天或是7天自动创建分区。
表结构定义(15年之前同一分区,15年之后每月一个分区,16之后每7天一个分区)
CREATE TABLE TABLE_NAME
(C1 DATE,
C2 NUMBER,
…)
PARTITION BY RANGE(C1)
INTERVAL (NUMTODSINTERVAL(7,’DAY’))
(
PARTITION P2014 LESS THAN(TO_DATE(‘2015-01-01 00:00:00’,’YYYY-MM-DD HH24:MI:SS’)),
PARTITION P201501 LESS THAN(TO_DATE(‘2015-02-01 00:00:00’,’YYYY-MM-DD HH24:MI:SS’)),
…….
PARTITION P20151231 LESS THAN(TO_DATE(‘2016-01-01 00:00:00’,’YYYY-MM-DD HH24:MI:SS’)),
PARTITION P20160107 LESS THAN(TO_DATE(‘2016-01-01 00:00:00’,’YYYY-MM-DD HH24:MI:SS’))
);
表定义之后,就是数据迁移了,非分区表到分区表有多种方式,
在线方式主要通过dbms_redefinition实现
离线方式包括:
1.直接insert
2.exp/imp
3.exchange partition
我主要测了1、3两种方式,
其中第3种交换分区方式,我先建了分区表,只包含一个分区,并且自动分区定义是在数据交换后再单独定义,速度很快,但有两个问题
1.非分区交换到分区表,只能交换到一个目标分区中,所以还额外执行split partition,然后再定义自动增加分区
alter table table_name set interval (NUMTODSINTERVAL(7,’DAY’));
2.分区交换后,源表成空表,没有数据
由于迁表过程中,涉及到split部分会消耗一点时间,对应用有影响,所以放弃第3种方式,采用传统的先insert 到一个中间表(已分区),然后再重命名,创建索引等,校验数据后,drop源表
对于目前数据量较大的表,REPORT_AP_STAT_HOUR(2个月有1900万),CLIENT_OFFLINE_HISTORY(2个月有4800万),如果保存超过一年数据将达数亿,对这种级别的数据索引优化已经达不到要求的(15秒之内完成查询),因此需要进行按月分表,使用ORACLE11G的新特性interval按月进行自动分表。
分区表建表语句如下:
由于ORACLE不能直接将表修改为分区表,对于已经部署的系统需要先将分区表建立,然后将老表中的数据迁移至分区表。
普通表与分区表之间的数据迁移目前有三种方案:
(1) 使用INSERT INTO SELECT 语句,速度较慢
(2) 使用expdp/impdp工具,速度较快
查看目录:
创建dir dba权限:
执行导出语句
执行导入语句
(3) 使用交换分区速度最快,原理迁移不做任何的IO操作只是更改数据字典,限制条件是普通表内数据必须符合分区中的一个分区
具体使用的时候可以根据实际需要进行相应的迁移操作。
把非分区表改为分区表
个人分类:性能调优
--说明:把非分区表改为分区表适用于历史表
---1、创建分区表(结构和非分区表TBL_STOCK_BALANCE_LOG相同)
CREATE TABLE TBL_STOCK_BALANCE_LOG_PART1
(
ACCOUNT_ID VARCHAR2(20 BYTE),
OCCUR_DATE DATE,
BRANCH_ID NUMBER(10),
MONEY_TYPE VARCHAR2(10 BYTE),
MONEY_TYPE_NAME VARCHAR2(20 BYTE),
MARKET_CODE VARCHAR2(10 BYTE),
MARKET_NAME VARCHAR2(30 BYTE),
STOCK_CODE VARCHAR2(10 BYTE),
STOCK_NAME VARCHAR2(60 BYTE),
STOCK_TYPE_CODE VARCHAR2(40 BYTE),
STOCK_TYPE_NAME VARCHAR2(60 BYTE),
QTY NUMBER(18),
STOCKVALUE NUMBER(18,4),
INDUST_NUM VARCHAR2(20 BYTE),
CLOSE_PRICE NUMBER(18,4),
ASSET_ACCT NUMBER(18,4),
REFER_COST NUMBER(18,4),
REFER_BREAK NUMBER(18,4),
REFER_BREAK_RA NUMBER(18,4),
INDUST_ID VARCHAR2(20 BYTE),
DEPTID VARCHAR2(10 BYTE)
)
Partition by range (OCCUR_DATE)
(
partition p_other values less than (maxvalue)
);
---2、交换数据(数据从非分区表到分区表)
alter table TBL_STOCK_BALANCE_LOG_PART1 exchange partition p_other with table TBL_STOCK_BALANCE_LOG;
---SELECT * FROM TBL_STOCK_BALANCE_LOG_PART1;
---3、查询分区表数据
select to_char(OCCUR_DATE, 'YYYY-MM'), count(*) from TBL_STOCK_BALANCE_LOG_PART1 group by to_char(OCCUR_DATE, 'YYYY-MM');
---辅助脚本
select
'alter table TBL_STOCK_BALANCE_LOG_PART1 split partition p_other at (to_date('''||to_char(OCCUR_DATE,'yyyy-mm')||''',''yyyy-mm'')) into (partition p'||to_char(OCCUR_DATE,'yyyymm')|| ',partition p_other);'
from TBL_STOCK_BALANCE_LOG_PART1
group by to_char(OCCUR_DATE,'yyyy-mm'),to_char(OCCUR_DATE,'yyyymm')
order by to_char(OCCUR_DATE,'yyyymm')
---执行脚本生成语句
alter table TBL_STOCK_BALANCE_LOG_PART1 split partition p_other at (to_date('2011-08','yyyy-mm'))
into (partition p201108,partition p_other);
alter table TBL_STOCK_BALANCE_LOG_PART1 split partition p_other at (to_date('2011-09','yyyy-mm'))
into (partition p201109,partition p_other);
---4、删除非分区表
DROP TABLE TBL_STOCK_BALANCE_LOG PURGE;
---5、将分区表重命名为原分区表名
ALTER TABLE TBL_STOCK_BALANCE_LOG_PART1 RENAME TO TBL_STOCK_BALANCE_LOG;
---6、测试
select table_name, partition_name from user_tab_partitions where table_name = 'TBL_STOCK_BALANCE_LOG';
select COUNT(*) from TBL_STOCK_BALANCE_LOG partition(P201109)
https://zhidao.baidu.com/question/1303724381167687779.html
在一个高可用系统中,如果需要改变一个表的定义是一件比较棘手的问题,尤其是对于7×24系统。Oracle提供的基本语法基本可以满足一般性修改,但是对于把普通堆表改为分区表,把索引组织表修改为堆表等操作就无法完成了。而且,对于被大量DML语句访问的表,幸运的是,Oracle从9i版本开始提供了在线重定义表功能,通过调用DBMS_REDEFINITION包,可以在修改表结构的同时允许DML操作。
在线重定义表具有以下功能:
修改表的存储参数;
可以将表转移到其他表空间;
增加并行查询选项;
增加或删除分区;
重建表以减少碎片;
将堆表改为索引组织表或相反的操作;
增加或删除一个列。
调用DBMS_REDEFINITION包需要EXECUTE_CATALOG_ROLE角色,除此之外,还需要CREATE ANY TABLE、ALTER ANY TABLE、DROP ANY TABLE、LOCK ANY TABLE和SELECT ANY TABLE的权限。
在线重定义表的步骤如下:
1.选择一种重定义方法:
存在两种重定义方法,一种是基于主键、另一种是基于ROWID。ROWID的方式不能用于索引组织表,而且重定义后会存在隐藏列M_ROW$$。默认采用主键的方式。
2.调用DBMS_REDEFINITION.CAN_REDEF_TABLE()过程,如果表不满足重定义的条件,将会报错并给出原因。
3.在用一个方案中建立一个空的中间表,根据重定义后你期望得到的结构建立中间表。比如:采用分区表,增加了COLUMN等。
4.调用DBMS_REDEFINITION.START_REDEF_TABLE()过程,并提供下列参数:被重定义的表的名称、中间表的名称、列的映射规则、重定义方法。
如果映射方法没有提供,则认为所有包括在中间表中的列用于表的重定义。如果给出了映射方法,则只考虑映射方法中给出的列。如果没有给出重定义方法,则认为使用主键方式。
5.在中间表上建立触发器、索引和约束,并进行相应的授权。任何包含中间表的完整性约束应将状态置为disabled。
当重定义完成时,中间表上建立的触发器、索引、约束和授权将替换重定义表上的触发器、索引、约束和授权。中间表上disabled的约束将在重定义表上enable。
6.(可选)如果在执行DBMS_REDEFINITION.START_REDEF_TABLE()过程和执行DBMS_REDEFINITION.FINISH_REDEF_TABLE()过程直接在重定义表上执行了大量的DML操作,那么可以选择执行一次或多次的SYNC_INTERIM_TABLE()过程,以减少最后一步执行FINISH_REDEF_TABLE()过程时的锁定时间。
7.执行DBMS_REDEFINITION.FINISH_REDEF_TABLE()过程完成表的重定义。这个过程中,原始表会被独占模式锁定一小段时间,具体时间和表的数据量有关。
执行完FINISH_REDEF_TABLE()过程后,原始表重定义后具有了中间表的属性、索引、约束、授权和触发器。中间表上disabled的约束在原始表上处于enabled状态。
8.(可选)可以重命名索引、触发器和约束。对于采用了ROWID方式重定义的表,包括了一个隐含列M_ROW$$。推荐使用下列语句经隐含列置为UNUSED状态或删除。
ALTER TABLE TABLE_NAME SET UNUSED (M_ROW$$);
ALTER TABLE TABLE_NAME DROP UNUSED COLUMNS;
下面是进行重定义操作后的结果:
原始表根据中间表的属性和特性进行重定义;
START_REDEF_TABLE()和FINISH_REDEF_TABLE()操作之间在中间表上建立的触发器、索引、约束和授权,现在定义在原始表上。中间表上disabled的约束在原始表上处于enabled状态。
原始表上定义的触发器、索引、约束和授权建立在中间表上,并会在删除中间表时删除。原始表上原来enabled状态的索引,建立在中间表上,并处于disabled状态。
任何定义在原始表上的存储过程和游标都会变为INVALID,当下次调用时后自动进行编译。
如果执行过程中出现错误或者人为选择退出的话,可以执行DBMS_REDEFINITION.ABORT_REDEF_TABLE()过程。
其中UNAME 参数是指用户;
Oracle的普通表没有办法通过修改属性的方式直接转化为分区表,必须通过重建的方式进行转变,下面介绍三种效率比较高的方法,并说明它们各自的特点。
方法一:利用原表重建分区表
步骤:
SQL> CREATE TABLE T (ID NUMBER PRIMARY KEY, TIME DATE);
表已创建。
SQL> INSERT INTO T SELECT ROWNUM, CREATED FROM DBA_OBJECTS;
已创建6264行。
SQL> COMMIT;
提交完成。
SQL> CREATE TABLE T_NEW (ID, TIME) PARTITION BY RANGE (TIME)
(PARTITION P1 VALUES LESS THAN (TO_DATE('2004-7-1', 'YYYY-MM-DD')),
PARTITION P2 VALUES LESS THAN (TO_DATE('2005-1-1', 'YYYY-MM-DD')),
PARTITION P3 VALUES LESS THAN (TO_DATE('2005-7-1', 'YYYY-MM-DD')),
PARTITION P4 VALUES LESS THAN (MAXVALUE))
AS SELECT ID, TIME FROM T;
表已创建。
SQL> RENAME T TO T_OLD;
表已重命名。
SQL> RENAME T_NEW TO T;
表已重命名。
SQL> SELECT COUNT(*) FROM T;
COUNT(*)
----------
6264
SQL> SELECT COUNT(*) FROM T PARTITION (P1);
COUNT(*)
----------
0
SQL> SELECT COUNT(*) FROM T PARTITION (P2);
COUNT(*)
----------
6246
SQL> SELECT COUNT(*) FROM T PARTITION (P3);
COUNT(*)
----------
18
优点:
方法简单易用,由于采用DDL语句,不会产生UNDO,且只产生少量REDO,效率相对较高,而且建表完成后数据已经在分布到各个分区中了。
不足:
对于数据的一致性方面还需要额外的考虑。由于几乎没有办法通过手工锁定T表的方式保证一致性,在执行CREATE TABLE语句和RENAME T_NEW TO T语句直接的修改可能会丢失,如果要保证一致性,需要在执行完语句后对数据进行检查,而这个代价是比较大的。另外在执行两个RENAME语句之间执行的对T的访问会失败。
适用于修改不频繁的表,在闲时进行操作,表的数据量不宜太大。
方法二:使用交换分区的方法
步骤:
SQL> CREATE TABLE T (ID NUMBER PRIMARY KEY, TIME DATE);
表已创建。
SQL> INSERT INTO T SELECT ROWNUM, CREATED FROM DBA_OBJECTS;
已创建6264行。
SQL> COMMIT;
提交完成。
SQL> CREATE TABLE T_NEW (ID NUMBER PRIMARY KEY, TIME DATE) PARTITION BY RANGE (TIME)
2 (PARTITION P1 VALUES LESS THAN (TO_DATE('2005-7-1', 'YYYY-MM-DD')),
3 PARTITION P2 VALUES LESS THAN (MAXVALUE));
表已创建。
SQL> ALTER TABLE T_NEW EXCHANGE PARTITION P1 WITH TABLE T;
表已更改。
SQL> RENAME T TO T_OLD;
表已重命名。
SQL> RENAME T_NEW TO T;
表已重命名。
SQL> SELECT COUNT(*) FROM T;
COUNT(*)
----------
6264
优点:
只是对数据字典中分区和表的定义进行了修改,没有数据的修改或复制,效率最高。如果对数据在分区中的分布没有进一步要求的话,实现比较简单。在执行完RENAME操作后,可以检查T_OLD中是否存在数据,如果存在的话,直接将这些数据插入到T中,可以保证对T插入的操作不会丢失。
不足:
仍然存在一致性问题,交换分区之后RENAME T_NEW TO T之前,查询、更新和删除会出现错误或访问不到数据。如果要求数据分布到多个分区中,则需要进行分区的SPLIT操作,会增加操作的复杂度,效率也会降低。
适用于包含大数据量的表转到分区表中的一个分区的操作。应尽量在闲时进行操作。
方法三:Oracle9i以上版本,利用在线重定义功能
步骤:
SQL> CREATE TABLE T (ID NUMBER PRIMARY KEY, TIME DATE);
表已创建。
SQL> INSERT INTO T SELECT ROWNUM, CREATED FROM DBA_OBJECTS;
已创建6264行。
SQL> COMMIT;
提交完成。
SQL> EXEC DBMS_REDEFINITION.CAN_REDEF_TABLE(USER’, 'T', DBMS_REDEFINITION.CONS_USE_PK);
PL/SQL 过程已成功完成。
SQL> CREATE TABLE T_NEW (ID NUMBER PRIMARY KEY, TIME DATE) PARTITION BY RANGE (TIME)
2 (PARTITION P1 VALUES LESS THAN (TO_DATE('2004-7-1', 'YYYY-MM-DD')),
3 PARTITION P2 VALUES LESS THAN (TO_DATE('2005-1-1', 'YYYY-MM-DD')),
4 PARTITION P3 VALUES LESS THAN (TO_DATE('2005-7-1', 'YYYY-MM-DD')),
5 PARTITION P4 VALUES LESS THAN (MAXVALUE));
表已创建。
SQL> EXEC DBMS_REDEFINITION.START_REDEF_TABLE(‘USER’, 'T', 'T_NEW', -
> 'ID ID, TIME TIME', DBMS_REDEFINITION.CONS_USE_PK);
可以改为:
SQL> EXEC DBMS_REDEFINITION.START_REDEF_TABLE(‘USER’, 'T', 'T_NEW')
PL/SQL 过程已成功完成。
SQL> EXEC dbms_redefinition.sync_interim_table(‘USER’, 'T', 'T_NEW')
现在,将中间表与原始表同步。(仅当要对表 T 进行更新时才需要执行该操作。)
SQL> EXEC DBMS_REDEFINITION.FINISH_REDEF_TABLE(USER’, 'T', 'T_NEW');
PL/SQL 过程已成功完成。
如果重组织失败,那么你就必须采取特殊的步骤来让它重新开始。由于重定义过程需要创建表格的快照,因此为了重新开始这一过程,你必须调用DBMS_REDEFINITION.ABORT_REDEF_TABLE来释放快照。
DBMS_REDEFINITION.ABORT_REDEF_TABLE过程有三个参数,即用户(schema)、原始表格(original table name)名称以及持有表格名称(holding table name)。它“出栈”并允许你开始重组织表格。
SQL> SELECT COUNT(*) FROM T;
SQL> SELECT COUNT(*) FROM T PARTITION (P2);
SQL> SELECT COUNT(*) FROM T PARTITION (P3);
需要说明的是完成后,原表和中间表的结构也同时进行了交换,并且中间表里面有原表的数据备份。
优点:
保证数据的一致性,在大部分时间内,表T都可以正常进行DML操作。只在切换的瞬间锁表,具有很高的可用性。这种方法具有很强的灵活性,对各种不同的需要都能满足。而且,可以在切换前进行相应的授权并建立各种约束,可以做到切换完成后不再需要任何额外的管理操作。
不足:实现上比上面两种略显复杂,适用于各种情况。
然而,在线表格重定义也不是完美无缺的。下面列出了Oracle9i重定义过程的部分限制:
你必须有足以维护两份表格拷贝的空间。
你不能更改主键栏。
表格必须有主键。
必须在同一个大纲中进行表格重定义。
在重定义操作完成之前,你不能对新加栏加以NOT NULL约束。
表格不能包含LONG、BFILE以及用户类型(UDT)。
不能重定义链表(clustered tables)。
不能在SYS和SYSTEM大纲中重定义表格。
不能用具体化视图日志(materialized view logs)来重定义表格;不能重定义含有具体化视图的表格。
不能在重定义过程中进行横向分集(horizontal subsetting)。