Doris 分区与分桶
分区与分桶概述
分区与分桶秉承着"大而化小，分而治之"的目标，目的都是为了便于查询，提高查询的效率。
分区的定义: 对数据进行水平切分，水平切分之后数据是完全物理隔离的，每个分区即为一个物理文件夹。
比如一个网站每天的埋点行为日志数据量比较大，在查询时进行全表扫描耗费的资源非常多。那在这个情况大数据体量下，可以按照每天日期对数据表进行分区，不同日期的数据存放在不同的分区下，在查询时只要指定分区字段的值就可以直接从该分区查找。
分桶的定义: 对数据进行垂直切分，各个分桶相互独立，每个分桶即为一个文件。
比如我们按照name列分为4个桶，就是对name列值的hash值对4取摸，按照取模结果对数据分桶。如取模结果为0的数据记录存放到一个文件，取模为1的数据存放到一个文件，取模为2的数据存放到一个文件、取模为3的数据存放到一个文件。
从上面可见，分区注重粗粒度，而分桶注重细粒度。同时需要注意的是这存在一定的担忧：分区容易造成数据倾斜。
今天主要讲讲，Doris分区与分桶。
Doris支持两级分区存储, 第一层为 range 分区，也可支持list方式, 第二层为 hash分桶。
Drois分区
注意点
（1）分区列必须为key列。
（2）分区列可以指定一列或多列。
（3）不论分区列是什么类型，在写分区值时，都需要加双引号。
（4）add partition添加分区，可以为该分区单独指定桶的数量。
Range 分区
通过 values less than (xxx) 仅指定上界，系统会将前一个分区的上界作为该分区的下界，生成一个左闭右开的区间。
同 Range Partition，当导入数据值在分区范围外，则不会被导入。
PARTITION BY RANGE (`dt`)
(
PARTITION p_20220501 VALUES LESS THAN ("2022-05-01"),
PARTITION p_20220502 VALUES LESS THAN ("2022-05-02"),
PARTITION p_20220503 VALUES LESS THAN ("2022-05-03"),
PARTITION p_20220504 VALUES LESS THAN ("2022-05-04")
)
List 分区
通过 VALUES IN (xxx) 来指定每个分区包含的枚举值，分区值为枚举值。只有当数据为目标分区枚举值其中之一时，才可以命中分区。
现List Partition 的分区列必须为 NOT NULL 列
PARTITION BY RANGE (`city_code`)
(
PARTITION `p_city` VALUES IN ("1001", "1002", "1003")
)
多列分区
PARTITION BY LIST(`id`, `city_code`)
(
PARTITION `p_id_city` VALUES IN (("1", "1000"), ("1", "1001"))
)
动态分区
表按date或datetime类型字段进行分区，对于新的数据，需要我们手动添加分区，和删除旧的分区，自动的总比手动的更加方便些。
PARTITION BY RANGE(dt)()
PROPERTIES
(
"dynamic_partition.enable" = "true",
"dynamic_partition.time_unit" = "DAY",
"dynamic_partition.end" = "3",
"dynamic_partition.prefix" = "p",
"replication_num" = "1"
);
| key |
说明 |
| dynamic_partition.enable |
是否开启动态分区 |
| dynamic_partition.time_unit |
区时间单位可以是hour、day、week、month。（yyyyMMddHH） |
| dynamic_partition.start |
动态分区的起始偏移量，分区范围在此偏移之前的分区将会被删除，默认不删 |
| dynamic_partition.end |
动态分区的结束偏移量，以当前为基准，提前创建对应范围的分区 |
| dynamic_partition.prefix |
分区名前缀 |
以当前天（20220504）为基准，会提前创建三天的分区（20220505，20220506，20220507）
其他操作
关掉动态分区
ALTER TABLE xxx SET ("dynamic_partition.enable" = "false")
删除分区
ALTER TABLE xxx DROP PARTITION p_20220504;
新建分区
ALTER TABLE xxx ADD PARTITION p_20220505 VALUES [('2022-05-05'), ('2022-05-06'));
查看分区
show partitions from xxx
Drois 分桶
DISTRIBUTED BY HASH(id) BUCKETS 10
注意点
（1）分桶列可以是多列，但必须为 Key 列。
- 分桶列少：对应的查询可以仅触发分桶扫描区域就少，查询之间的IO影响较小，适合高并发。
- 分桶列多，数据分布更均匀，查询有可能会触发所有分桶同时扫描，查询的吞吐会增加，适合大吞吐低并发的查询。
（2）分桶列可以和分区列相同或不同。