一 前言
单表数据量太大时，数据库通过建立分区表的方式，从而达到对大表进行拆分，使每个分区的子表数据规模适中，方便数据管理与常规查询分析等，分区表是数据库比较常用的数据管理需求。
当前PostgreSQL 11版本及其社区目前分区方案整理如下：
- Pg11自带分区表，目前分区类型有list,range,hash三种类型。
- 社区分区插件pg_pathman，目前分区类型支持range,hash类型。
- citus为代表的分布式数据节点分区方案，目前支持hash（更常用更通用）与append类型（不是很了解，不怎么常用，使用需谨慎）。
这些方案都能在不同场景下支持不同的分区方案，本文选择一个方向对这些分区方案进行测试，即：某个表的分区表数量逐渐增多与数据插入性能衰减程度关系。
二 测试过程
2.1 基准测试
对某个表不做任何分区，使用pgbench压测，测试插入tps。
建立表：
drop table if exists shiptrack cascade;
create table shiptrack(
ship_id int not null, --船舶id
pos_time timestamp without time zone not null, --坐标时间
lon numeric not null, --经度
lat numeric not null --纬度
);
create index shiptrack_id_idx on shiptrack using btree(ship_id);
create index shiptrack_time_idx on shiptrack using btree(pos_time);
测试脚本 test.sql：
\set _ship_id random(1,700000)
\set x random(-180,180)
\set y random(-90,90)
INSERT INTO shiptrack(ship_id,pos_time,lon ,lat) values(:_ship_id,clock_timestamp(),:x, :y);
pg_bench压测：
[postgres@~]$ pgbench -M prepared -n -r -P 1 -f test.sql -c 80 -j 80 -T 30 -U postgres mytest
transaction type: test.sql
scaling factor: 1
query mode: prepared
number of clients: 80
number of threads: 80
duration: 30 s
number of transactions actually processed: 1102316
latency average = 2.179 ms
latency stddev = 2.590 ms
tps = 36616.746279 (including connections establishing)
tps = 36662.855209 (excluding connections establishing)
tps:36662
2.2 pg自带分区表
2.2.1 list分区
建立表：
drop table if exists shiptrack cascade;
create table shiptrack(
ship_id int not null, --船舶id
pos_time timestamp without time zone not null, --坐标时间
lon numeric not null, --经度
lat numeric not null --纬度
) partition by list(ship_id );
create index shiptrack_time_idx on shiptrack using btree(pos_time);
创建分区表，分区数量4：
do language plpgsql $$
DECLARE
i int;
sql text;
BEGIN
for i in 1..4 loop
sql:=format('create table if not exists shiptrack_%s PARTITION OF shiptrack for values in (%s)',i,i);
execute sql;
raise notice '%',sql;
end loop;
end;
$$;
测试脚本 test.sql：
\set _ship_id random(1,4)
\set x random(-180,180)
\set y random(-90,90)
INSERT INTO shiptrack(ship_id,pos_time,lon ,lat) values(:_ship_id,clock_timestamp(),:x, :y);
list分区数量4，tps：34492
同理：
list分区数量40，tps：21473。
list分区数量400，tps: 3220。
2.2.2 hash分区
建立表：
drop table if exists shiptrack cascade;
create table shiptrack(
ship_id int not null, --船舶id
pos_time timestamp without time zone not null, --坐标时间
lon numeric not null, --经度
lat numeric not null --纬度
) partition by hash(ship_id);
create index shiptrack_id_idx on shiptrack using btree(ship_id);
create index shiptrack_time_idx on shiptrack using btree(pos_time);
创建分区表，分区数量4：
do language plpgsql $$
DECLARE
i int;
sql text;
tableCount int;
BEGIN
tableCount :=4;
for i in 1..tableCount loop
sql:=format('create table if not exists shiptrack_%s PARTITION OF shiptrack for VALUES WITH (MODULUS %s, REMAINDER %s)',i,tableCount,i-1);
execute sql;
raise notice '%',sql;
end loop;
end;
$$;
测试脚本 test.sql：
\set _ship_id random(1,700000)
\set x random(-180,180)
\set y random(-90,90)
INSERT INTO shiptrack(ship_id,pos_time,lon ,lat) values(:_ship_id,clock_timestamp(),:x, :y);
hash分区数量4，tps：32442
同理：
hash分区数量40，tps：20611。
hash分区数量400，tps: 3167。
2.2 pg_pathman测试（仅hash分区测试）
建立表：
drop table if exists shiptrack cascade;
create table shiptrack(
ship_id int not null, --船舶id
pos_time timestamp without time zone not null, --坐标时间
lon numeric not null, --经度
lat numeric not null --纬度
) ;
create index shiptrack_id_idx on shiptrack using btree(ship_id);
create index shiptrack_time_idx on shiptrack using btree(pos_time);
创建分区表，分区数量4：
select create_hash_partitions('shiptrack'::regclass,'ship_id',4,false);
测试脚本 test.sql：
\set _ship_id random(1,700000)
\set x random(-180,180)
\set y random(-90,90)
INSERT INTO shiptrack(ship_id,pos_time,lon ,lat) values(:_ship_id,clock_timestamp(),:x, :y);
pg_pathman分区数量4，tps：29948
同理：
pg_pathman分区数量40，tps：28267。
pg_pathman分区数量400，tps: 23283。
pg_pathman分区数量1000，tps: 17922。
2.3 citus分布式表分区
2.3.1 citus--逐条插入
注意：citus分布式，各个环境与单机环境配置有差异，不太好同上单独比较。
建立表：
drop table if exists shiptrack cascade;
create table shiptrack(
ship_id int not null, --船舶id
pos_time timestamp without time zone not null, --坐标时间
lon numeric not null, --经度
lat numeric not null --纬度
) ;
create index shiptrack_id_idx on shiptrack using btree(ship_id);
create index shiptrack_time_idx on shiptrack using btree(pos_time);
创建分区表，分区数量4：
--设置分区数量
set citus.shard_count=4;
--设置副本数量
set citus.shard_replication_factor=2;
--对表进行分区
select create_distributed_table('shiptrack','ship_id','hash');
测试脚本
\set _ship_id random(1,700000)
\set x random(-180,180)
\set y random(-90,90)
INSERT INTO shiptrack(ship_id,pos_time,lon ,lat) values(:_ship_id,clock_timestamp(),:x, :y);
citus分区数量4，tps：25342
同理：
citus分区数量40，tps：26112。
citus分区数量400，tps: 26817。
citus分区数量1000，tps: 26524。
逐条sql插入性能比较稳定。
2.3.2 citus--批量插入
建表和分区同上，只需更新下test.sql脚本为批量操作，单批次数量1000：
\set _ship_id random(1,700000)
\set x random(-180,180)
\set y random(-90,90)
INSERT INTO shiptrack(ship_id,pos_time,lon ,lat) select
:_ship_id,clock_timestamp(),:x, :y from generate_series(1,1000);
创建表:
drop table if exists shiptrack cascade;
create table shiptrack(
ship_id int not null, --船舶id
pos_time timestamp without time zone not null, --坐标时间
lon numeric not null, --经度
lat numeric not null --纬度
) ;
create index shiptrack_id_idx on shiptrack using btree(ship_id);
create index shiptrack_time_idx on shiptrack using btree(pos_time);
--设置分区数量
set citus.shard_count=4;
--执行分区
select create_distributed_table('shiptrack','ship_id','hash');
执行压测语句：
[postgres@~]$ pgbench -M prepared -n -r -P 1 -f test.sql -c 80 -j 80 -T 30 -U postgres mytest
通过设置set citus.shard_count为4,40,400,450,550,700，1000，重试上述步骤，得到tps依次是:
citus分区数量4，tps：1563
同理：
citus分区数量40，tps：1549。
citus分区数量400，tps: 1583。
citus分区数量450，tps: 1115。
citus分区数量550，tps: 1063。
citus分区数量700，tps: 895。
citus分区数量1000，tps: 706。
三 测试现象与总结
单表不分区：tps：36662
数据插入与分区表数量关系测试汇总如下表：
| 测试方式 | 分区数 4 | 分区数 40 | 分区数 400 | 分区数 1000 |
|---|---|---|---|---|
| pg自带分区 list | 34492 | 21473 | 3220 | 未测试 |
| pg自带分区 hash | 32442 | 20611 | 3167 | 未测试 |
| pg_pathman hash | 29948 | 28267 | 23283 | 17922 |
| citus hash（单条插入） | 25342 | 26112 | 26817 | 26524 |
| citus hash（批量插入） | 1563 | 1549 | 1583 | 706 |
现象：
- 随着分区表数量增加，除了citus都有性能衰减现象。
- pg_pathman衰减比较平滑，pg自带的分区表指数级别衰减。
- pg自带的hash分区，性能稍微弱于自带的list分区。
- citus单条插入性能与分区数量递增关系几乎没有影响。
- citus以1000数据量为一批次，在分区数为400之前稳定，从400之后开始平滑衰减。
个人总结：
- pg11自带的分区，适用于分区数量不大的业务场景。
- 在单机pg分区中，如果分区数量比较大，建议采用pg_pathman，可以获取更好的性能。
- 在具备分布式数据节点的前提下，使用citus的分区在插入和查询都能有较好的表现。