Teradata 相关知识

PPI

1.Partitioned Primary Indexes (PPI)
PPI是什么:
• Teardata中的用在物理数据库设计中的索引机制.
• 数据行在AMP级聚合成分区.
• 分区只是在AMP上将数据行排序.
PPI可以提供的优势:
• 增加可用性以提高某些特定查询的效率(特定的分区限制查询).
• 只有查询涉及到的特定分区需要被访问,以避免全表扫描.
PPI如何创建和管理:
• PPI的创建和修改很简单(只是在CREATE TABLE语句或ALTER TABLE语句中增加ppi申明就可以了).
• 数据在AMP上做分布时,总会按照PPI进行.

 

2.分区是如何执行的(How is a Partitioning Implemented?)
为数据分布和数据访问提供3个级别的分区.
• 行基于Row Hash中的DSW部分做全AMP分布(以及基于PI的访问).
• 如果表做了分区,行在AMP级别最初是按照其分区号码(partition number)来排序的.
• 在分区内部,数据行按照Row ID来逻辑存储.
单AMP中PPI限制.
• 在单个AMP中,行的PPI number可以从1到65535.
在含有PPI的表中,每行可以由其Row Key来唯一确定.
• Row Key = Partition # + Row Hash + Uniqueness Value
• 含有PPI的表中,分区号将作为数据行的一部分.

3.Primary Index Access (NPPI)
TD RDBMS软件处理带有PI的sql请求过程如下:
1).PE(Parsing Engine)创建一个4部分组成的信息:Table ID,Partition #0,the Row Hash,Primary Index value(s).
• Table ID,48位,在数据字典中定位.
• Row Hash value,32位,由哈希算法生成.
• PI value,由提交的SQL得到.
• PE通过数据字典得到表是否含有NPPI,若是则将分区数目设为0.
2) MPL(Message Passing Layer)利用Hash值的一部分决定应该将请求发送给哪个AMP:
• 利用DSW(Hash的前16位)来定位哈希图(Hash Map)中的bucket.
• 此bucket标识PE要发送请求给哪个AMP.
3)AMP利用Table ID及Row Hash去识别和定位数据块,然后利用Row Hash及PI值去定位特定行.
• PI值需要带上是为了防止Hash同义;
• AMP默认此行处于分区0中.

4.Primary Index Access (PPI)
• PE及MPL的处理同上,AMP利用Table ID,PPI及Row Hash去识别和定位数据块,然后利用Row Hash及PI值去定位特定行.
• 每个数据行由以下部分组成:Partition No. + Row ID(Row Hash + PI) + Row Data

5.Why Define a PPI?
• 可以避免全表扫描,在不使用SI的情况下提高查询效率.
• 使用NPPI的表必须进行全表扫描,此时使用NUSI可以提高效率,但是使用NUSI会占用额外的空间和增加维护成本.
• 删除单个分区中的大量行数据会非常快.
– ALTER TABLE … DROP RANGE … ;
– 说明: 快速删除数据只会在表不包含非分区数据,并且没有SI,Join Index或Hash Index时有效.

6.Advantages/Disadvantages of PPI
Advantages
• 利用分区信息查询会大大增加查询速度.
• 区域查询可在没有SI的表没有SI的表上进行.
• delete整个分区会非常快.
Potential Disadvantages
• PPI占用大于2字节的空间,表会占用更多的PERM空间.
-- 它也会使得SI字表中受影响行index中的rowid增加2字节大小.
• 如果分区列不是PI的一部分的话,利用PI访问的效率会降低.
-- 如一个查询中指定了PI值,但是没有指定ppi值,查询将会逐个分区查找所给PI值.
• 利用相同的PI去关联无分区的表效率将会降低.
-- 如果表是分区的,数据行一样不需要排序,受分区影响,此任务变成几个子关联,每个分区将需要关联一次.
• 如果分区字段不是PI的一部分,PI不能被定义唯一性.

7.PPI Considerations
• 只有基表(base tables)可以是PPI表.
-- Join Indexes,Hash Indexes,Global Temporary Tables, Volatile Tables,Secondary Indexes均不行.
-- 注: 从V2R6.1起, 全局和可变临时表均可以分区.
-- PPI表可以有SI.
-- 可作为定义Join Index和Hash Index的参考.
• 一个表可以有65535个分区.
-- 分区字段不一定要包含在PI里面,如果没有包含在PI里,则PI不能定义唯一性.
-- 分区字段有多种选择.

8.How to Define a PPI
定义partition by有以下限制:
• 分区字段必须是标量表达式(INTEGER)或者可以转化成为INTEGER.
• 标量表达式可以由多行构成,被称为分区列.
• 表达式不能包含aggregate/ordered-analytic/statistical functions,DATE,TIME,ACCOUNT,RANDOM,HASH等函数.
• Join Indexes,Hash Indexes and Secondary Indexes上不能定义PPI.
• 只有在所有的分区字段均包含在PI中时,PI才可以定义唯一性.
• 分区表达式长度限定在8100个字符(它被定义在DBC.TableConstraints中作为默认约束检查)

9.Partitioning with CASE_N and RANGE_N
用CASE_N导致以下结果:
• 判断一系列的条件,返回第一个为真的值.
• 结果是依照分区条件落到不同分区的数据.
• Note: Patterned after SQL CASE expression.
用RANGE_N导致以下结果:
• 表达式被判定后映射到一系列分区值中的一个上.
• 分区值依递增的顺序罗列,各值不能重复.
• 结果是依照分区区间落到不同分区的值.

10.Partitioning with RANGE_N (Example)
定义表如下:
CREATE TABLE Claim
( c_claimid INTEGER NOT NULL
,c_custid INTEGER NOT NULL
…
,c_claimdate DATE NOT NULL)
PRIMARY INDEX (c_claimid)
PARTITION BY RANGE_N (c_claimdate BETWEEN
DATE '2001-01-01' AND DATE '2007-12-31' EACH INTERVAL '1' MONTH );

有以下两条记录插入:
INSERT INTO Claim VALUES (100039,1009, …, '2001-01-13'); #数据将置于partition #1中
INSERT INTO Claim VALUES (260221,1020, …, '2006-01-07'); #数据将置于partition #61中(12*5+1)

下面的插入语句将导致错误:
INERT INTO Claim VALUES (100039, 1009, '1999-12-24', …);
INSERT INTO Claim VALUES (100039, 1009, '2008-01-01', …);
INSERT INTO Claim VALUES (100039, 1009, NULL, …);
报错信息:5728: Partitioning violation for table TFACT.Claim.
Note:c_claimid不能设定唯一性(也就是NUPI),因为c_claimdate不是PI的一部分.

此时要保证PI的唯一性,可以在PI上建USI.
-- CREATE UNIQUE INDEX (c_claimid) ON Claim_PPI;

也可以在NUPI列上创建NUSI,NUSI需要考虑的:
• Eliminate partition probing
• Row-hash locks
• 1-AMP operation
• Can be used with unique or non-unique PI columns
• Must be equality condition
• Works with V2R6.0 or later
• NUSI Single-AMP operation only supported on PPI tables
• Use MultiLoad to load table

比较以下两个分区的定义:
...PARTITION BY RANGE_N (sales_date
BETWEEN DATE '2001-01-01' AND DATE '2001-12-31' EACH INTERVAL '7' DAY,
DATE '2002-01-01' AND DATE '2002-12-31' EACH INTERVAL '7' DAY,
DATE '2003-01-01' AND DATE '2003-12-31' EACH INTERVAL '7' DAY,
DATE '2004-01-01' AND DATE '2004-12-31' EACH INTERVAL '7' DAY,
DATE '2005-01-01' AND DATE '2005-12-31' EACH INTERVAL '7' DAY
DATE '2006-01-01' AND DATE '2006-12-31' EACH INTERVAL '7' DAY,
DATE '2007-01-01' AND DATE '2007-12-31' EACH INTERVAL '7' DAY );
下列写法更简单,但是效率较低:
...PARTITION BY RANGE_N (sales_date
BETWEEN DATE '2001-01-01' AND DATE '2007-12-31' EACH INTERVAL '7' DAY);
说明:1)第一种分区方法可能存在分区大小不一致的情况(如最后一个星期不够7天),这样的话数据分布将会倾斜,
第二种情况存在一星期跨越两个年头的情况,如此以来,要删除某年的数据就会比较慢.
2)基于年以月做单位分区就不存在上述问题.

分区可以定义不同的尺度:
...PARTITION BY RANGE_N (
sales_date BETWEEN
DATE '2001-01-01' AND DATE '2005-12-31' EACH INTERVAL '7' DAY,
DATE '2006-01-01' AND DATE '2006-12-31' EACH INTERVAL '1' DAY);
说明:这类定义不常用,但是在某些情况下可能很有用(如武汉本地网按周分区,其他本地网按月分区)

为了达到更好的分区效果,有时也会对分区字段做标量计算:
... PRIMARY INDEX (store_id, item_id, sales_date)
PARTITION BY RANGE_N ( (store_id - 1000) BETWEEN 1 AND 10 EACH 1);;

11.Special Partitions with CASE_N and RANGE_N
下列保留字可以定义特殊分区: NO CASE (or NO RANGE) [OR UNKNOWN] and UNKNOWN
ex: PARTITION BY CASE_N
(col3 IS NULL,
col3 < 10,
col3 < 100,
NO CASE OR UNKNOWN)

CASE_N和RANGE_N在以下情况可以将数据放入特定分区:
• 数据没有落在任何CASE或RANGE表达式内.
• 计算表达式是UNKNOWN的情况.

如下几种定义的异同:
PARTITION BY CASE_N (col3 IS NULL, col3 < 10, col3 < 100, NO CASE OR UNKNOWN);
PARTITION BY CASE_N (col3 IS NULL, col3 < 10, col3 < 100, NO CASE, UNKNOWN);
PARTITION BY CASE_N (col3 IS NULL, col3 < 10, col3 < 100, NO CASE);
PARTITION BY CASE_N (col3 IS NULL, col3 < 10, col3 < 100, UNKNOWN);
第一种,匹配不上(如col3=500)的和无法匹配的(如col3=NULL)放在一个分区,第二种分开放,
第三种碰见unknown数据时报错,第四种遇见匹配不上的会报错.

12.SQL Use of PARTITION Key Word
查看各个分区的记录数:
SELECT PARTITION AS "Part #",
COUNT(*) AS "Row Count"
FROM pd_data.prd_prd_inst_hist
GROUP BY 1
ORDER BY 1;
说明:带分区查询时不能使用试图,上面sql改成pv_data_z.prd_prd_inst_hist将报错Invalid Partition field.

12.SQL Use of CASE_N
因为Sys_Calendar.Calendar无UNKNOWN数据,下例会有3个分区:
SELECT CASE_N ( day_of_calendar<38350,
,day_of_calendar<38357
,NO CASE
,UNKNOWN
) AS "Part #",
MIN (Calendar_Date) AS "Minimum Date",
MAX (Calendar_Date) AS "Maximum Date"
FROM Sys_Calendar.Calendar
WHERE Calendar_Date
BETWEEN DATE '2004-11-28' AND DATE '2005-01-09'
GROUP BY "Part #"
ORDER BY "Part #";

13.SQL Use of RANGE_N
下例有两个分区:
SELECT RANGE_N ( Calendar_Date BETWEEN
DATE '2004-11-28' AND DATE '2004-12-31' EACH INTERVAL '7' DAY,
DATE '2005-01-01' AND DATE '2005-01-09' EACH INTERVAL '7' DAY
) AS "Part #",
MIN (Calendar_Date) AS "Minimum Date",
MAX (Calendar_Date) AS "Maximum Date"
FROM Sys_Calendar.Calendar
WHERE Calendar_Date
BETWEEN DATE '2004-11-28' AND DATE '2005-01-09'
GROUP BY "Part #"
ORDER BY "Part #";

14.Using ALTER TABLE with PPI Tables
ALTER TABLE有以下限制:
• 非空表的PI不能修改.
• 非空分区表只限于修改结束点(altering the “ends”).
• 如果表带有delete,insert触发器,触发器必须被置为disable.
使用ALTER TABLE的关键是需要直到表里面有没有数据存在:
• 如果表是空的,PI和PPI均可以修改.
• 如果表含有数据,可以修改分区结束点(DROP RANGE/ADD RANGE,先删除原有结束点,增加新的结束点--如时间的后移)

向去掉2001年的分区,增加一年的分区,并保留去掉分区的数据:
ALTER TABLE Sales_History MODIFY PRIMARY INDEX:
DROP RANGE BETWEEN
DATE '2001-01-01' AND DATE '2001-12-31' EACH INTERVAL '1' MONTH
ADD RANGE BETWEEN
DATE '2008-01-01' AND DATE '2008-12-31' EACH INTERVAL '1' MONTH
WITH INSERT INTO Old_SalesHistory;

说明:
• 分区的修改利用增删来实现,增是在分区末尾延伸.
• DROP不一定就会DELETE:
-- 如果表中包含NO RANGE分区,数据行从删除的分区中转移到NO RANGE分区,这可能很耗时.
• 在ALTER TABLE前,备份数据的表(Old_SalesHistory)必须存在.
• 必须有落在ADD RANGE内的数据.

试验如下：
第一步：
CREATE MULTISET TABLE PD_work.#BIL_ACCT_ITEM_GET_Q ,NO FALLBACK ,
NO BEFORE JOURNAL,
NO AFTER JOURNAL,
CHECKSUM = DEFAULT
(
Acct_Item_Id DECIMAL(12,0) TITLE '账目标识' NOT NULL,
Prd_Inst_Id DECIMAL(12,0) TITLE '产品实例标识' NOT NULL,
Pay_Cycle_Id INTEGER TITLE '营收周期标识' NOT NULL,
……
Latn_Id INTEGER TITLE '本地网标识' NOT NULL COMPRESS (0 ,1017 ))
PRIMARY INDEX XIE1BIL_ACCT_ITEM_GET_Qt ( Acct_Item_Id )
PARTITION BY RANGE_N(Pay_Cycle_Id BETWEEN 200801 AND 200807 EACH 1,NO RANGE );

第二步:
从PD_data.BIL_ACCT_ITEM_GET_Q表中,200801,200806,200807,200808三个月各导100条数据到
PD_work.#BIL_ACCT_ITEM_GET_Q

第三步：
SELECT PARTITION AS "Part #",
COUNT(*) AS "Row Count"
FROM PD_work.#BIL_ACCT_ITEM_GET_Q
GROUP BY 1
ORDER BY 1;
结果：
Part # Row Count
1 100
6 100
7 100
8 100

第四步:
create table PD_work.#Old_BIL_ACCT_ITEM_GET_Q as PD_work.#BIL_ACCT_ITEM_GET_Q with no data;

第五步:
ALTER TABLE PD_work.#BIL_ACCT_ITEM_GET_Q MODIFY PRIMARY INDEX
DROP RANGE BETWEEN 200801 AND 200806 EACH 1
ADD RANGE BETWEEN 200808 AND 200812 EACH 1
WITH INSERT INTO PD_work.#Old_BIL_ACCT_ITEM_GET_Q

第六步：
SHOW TABLE PD_work.#BIL_ACCT_ITEM_GET_Q
可见表定义变成如下:
CREATE MULTISET TABLE PD_work.#BIL_ACCT_ITEM_GET_Q ,NO FALLBACK ,
NO BEFORE JOURNAL,
NO AFTER JOURNAL,
CHECKSUM = DEFAULT
(
Acct_Item_Id DECIMAL(12,0) TITLE '账目标识' NOT NULL,
Prd_Inst_Id DECIMAL(12,0) TITLE '产品实例标识' NOT NULL,
Pay_Cycle_Id INTEGER TITLE '营收周期标识' NOT NULL,
……
Latn_Id INTEGER TITLE '本地网标识' NOT NULL COMPRESS (0 ,1017 ))
PRIMARY INDEX XIE1BIL_ACCT_ITEM_GET_Qt ( Acct_Item_Id )
PARTITION BY RANGE_N(Pay_Cycle_Id BETWEEN 200807 AND 200807 EACH 1 ,
200808 AND 200812 EACH 1 , NO RANGE);

第七步：
SELECT PARTITION AS "Part #",
COUNT(*) AS "Row Count"
FROM PD_work.#BIL_ACCT_ITEM_GET_Q
GROUP BY 1
ORDER BY 1;
结果：
Part # Row Count
1(07) 100
2(08) 100
7(01,06) 200