Centos7 源码安装PostgreSQL Citus集群

citus的分布式集群目前在苏宁大规模应用，苏宁陈华军也做了很多技术分享和博客介绍。目前所有的教程都是rpm和pg一起安装，个人不喜欢，毕竟citus定位是个插件，我想在我已安装的pg上源码装一个citus比较好。

一 集群规划

主机名	IP	角色	端口
coordinate	192.168.0.55	coordinate	5432
worker1	192.168.0.65	worker	5432
worker2	192.168.0.66	worker	5432
worker3	192.168.0.67	worker	5432
worker4	192.168.0.68	worker	5432

coordinate：协调节点，一般称为cn，存储所有元数据，不存实际数据，该节点直接对用户开放，等于一个客户端。
worker：工作节点，不存储元数据，存储实际数据。执行协调节点发来的查询请求。一般不直接对用户开放。

二 安装步骤

2.1 安装pg

在每个主机节点上都安装postgresql11。
详细参考： Centos7安装PostgreSQL
其中，coordinate节点的pg_hba.conf配置：

# IPv4 local connections:
host    all             all             0.0.0.0/0            md5

worker节点的pg_hba.conf配置:

# IPv4 local connections:
host    all             all             192.168.0.0/24            trust

2.2 安装citus

在每个节点上都安装citus。
从github上下载源码：https://github.com/citusdata/citus/releases

latest.png

[root@localhost opt]# wget https://github.com/citusdata/citus/archive/v8.1.1.tar.gz
[root@localhost opt]# tar -zxvf v8.1.1.tar.gz
[root@localhost opt]# cd citus8.1.1
#先安装curl依赖
[root@localhost citus-8.1.1]# yum install curl
[root@localhost citus-8.1.1]# yum install curl-devel
# 导入pg的环境变量
[root@localhost  citus-8.1.1]# source /home/postgres/.bashrc
# 安装
[root@localhost citus-8.1.1]# ./configure
[root@localhost citus-8.1.1]# make
[root@localhost citus-8.1.1]# make install

三 集群配置

3.1 创建测试数据库

在所有节点执行以下语句：

[postgres@localhost ~]$ psql
psql (11.1)
Type "help" for help.

postgres=# \c test
You are now connected to database "test" as user "postgres".
test=# create extension citus;

3.2 协调节点新增工作节点

以后的管理操作仅仅在协调节点（cn）上操作

[postgres@localhost ~]$ psql -d test
psql (11.1)
Type "help" for help.
# 节点可以是ip或者dns name
test=# SELECT * from master_add_node('worker1', 5432);
test=# SELECT * from master_add_node('worker2', 5432);
test=# SELECT * from master_add_node('worker3', 5432);
test=# SELECT * from master_add_node('worker4', 5432);
#查看工作节点：
test=# SELECT * FROM master_get_active_worker_nodes();
node_name | node_port 
-----------+-----------
 worker2   |      5432
 worker4   |      5432
 worker1   |      5432
 worker3   |      5432
(4 rows)

3.3 创建分片表

test=# create table shiptrack(gid serial primary key,tracktime timestamp without time zone,geom geometry(Point,4326));
#旧版的master_create_distributed_table，master_create_worker_shards都已被废弃，现在由create_distributed_table替换。
#配置分片策略
#设置分片数，4个主机，设置分片4，每个主机一张表
test=# set citus.shard_count=4;
# 配置副本数
test=# set citus.shard_replication_factor=2;
test=# SELECT create_distributed_table('shiptrack', 'gid', 'hash');

# 查看分片分布
test=# SELECT * from pg_dist_shard_placement order by shardid, placementid;
 shardid | shardstate | shardlength | nodename | nodeport | placementid 
---------+------------+-------------+----------+----------+-------------
  102016 |          1 |           0 | worker1  |     5432 |          25
  102016 |          1 |           0 | worker2  |     5432 |          26
  102017 |          1 |           0 | worker2  |     5432 |          27
  102017 |          1 |           0 | worker3  |     5432 |          28
  102018 |          1 |           0 | worker3  |     5432 |          29
  102018 |          1 |           0 | worker4  |     5432 |          30
  102019 |          1 |           0 | worker4  |     5432 |          31
  102019 |          1 |           0 | worker1  |     5432 |          32

有4个worker，所以数据分片为4，每个分片，做两个副本。通过分片分布，如102016分布在worker1，worker2上，同理102017分布在worker2，worker3上。
假设worker1机器宕机了，集群访问102016原先是方位worker1的，现在会自动访问worker2上的102016分片。 也就是说，单个数据节点故障，集群还能正常用，通过多设置副本，多个节点故障也能更强壮。

四 citus常用命令

4.1 集群创建function,role,extension命令

SELECT run_command_on_workers($cmd$
  /* the command to run */
  drop extension pg_pathman;
$cmd$);