一 环境准备
下文以常见ClickHouse集群部署架构中方案四的部署架构为例。
| 节点名称 | 主机IP | 分片与副本 | 服务 |
|---|---|---|---|
| node21 | 192.168.167.21 | R0、R2 | ZooKeeper、ClickHouse |
| node22 | 192.168.167.22 | R1、R0 | ZooKeeper、ClickHouse |
| node23 | 192.168.167.23 | R2、R1 | ZooKeeper、ClickHouse |
准备Docker环境：
yum install -y yum-utils device-mapper-persistent-data lvm2
yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
yum update -y && sudo yum install -y containerd.io-1.2.13 docker-ce-19.03.11 docker-ce-cli-19.03.11
mkdir /etc/docker
cat <二 ZK部署
docker run -d --name=zk21 --hostname=node21 --network=host --volume=/etc/localtime:/etc/localtime --volume=/data/zk/conf:/conf --volume=/data/zk/data:/data zookeeper
docker run -d --name=zk22 --hostname=node22 --network=host --volume=/etc/localtime:/etc/localtime --volume=/data/zk/conf:/conf --volume=/data/zk/data:/data zookeeper
docker run -d --name=zk23 --hostname=node23 --network=host --volume=/etc/localtime:/etc/localtime --volume=/data/zk/conf:/conf --volume=/data/zk/data:/data zookeeper
其中，主配置文件 conf/zoo.cfg的关键配置项：
4lw.commands.whitelist=*
server.1=node21:2888:3888;2181
server.2=node22:2888:3888;2181
server.3=node23:2888:3888;2181
注意：
- 记得配置 data/myid
- 映射到宿主机的文件权限（ID为1000的zookeeper用户）
三 CH部署
docker run -d --name=ch21 --hostname=node21 --network=host --ulimit nofile=262144:262144 --volume=/etc/localtime:/etc/localtime --volume=/data/ch/data:/var/lib/clickhouse --volume=/data/ch/conf:/etc/clickhouse-server --volume=/data/ch/log:/var/log yandex/clickhouse-server
docker run -d --name=ch22 --hostname=node22 --network=host --ulimit nofile=262144:262144 --volume=/etc/localtime:/etc/localtime --volume=/data/ch/data:/var/lib/clickhouse --volume=/data/ch/conf:/etc/clickhouse-server --volume=/data/ch/log:/var/log yandex/clickhouse-server
docker run -d --name=ch23 --hostname=node23 --network=host --ulimit nofile=262144:262144 --volume=/etc/localtime:/etc/localtime --volume=/data/ch/data:/var/lib/clickhouse --volume=/data/ch/conf:/etc/clickhouse-server --volume=/data/ch/log:/var/log yandex/clickhouse-server
注意：映射到宿主机的文件权限（ID为999的clickhouse用户）
四 CH配置
ClickHouse最重要的配置有clickhouse_remote_servers、zookeeper和macros。
config.xml（在每个节点中的配置都相同）
/etc/clickhouse-server/config.d/metrika.xml
/etc/clickhouse-server/config.d/macros.xml
0.0.0.0
主配置文件，设置成可加载其他相关配置文件。
conf.d/metrika.xml（在每个节点中的配置都相同）
true
1
node21
9000
true
1
node22
9000
true
1
node23
9000
node21
2181
node22
2181
node23
2181
10000000000
0.01
lz4
用于配置集群、数据副本、Zookeeper等。如果使用方案一，此处配置需修改。
config.d/macros.xml（在每个节点中的配置不同）
cluster_1
01
02
node21
宏定义，后面创建本地表时会引用到。比如：
- cluster 用于定义集群标识，一类数据表定义为一个集群
- shard1 用于定义分片标识
- shard2 用于定义分片标识，与shard1交叉开
- replica 用于定义副本标识，建议使用节点名称
五 创建本地Replicated表
创建主副本的本地复制表
CREATE TABLE warehouse_local ON CLUSTER cluster_1
(
warehouse_id Int64,
product_id Int64,
product_name String
)
ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard1}/warehouse_local', '{replica}')
PARTITION BY warehouse_id
ORDER BY product_id
创建副副本的本地复制表
CREATE TABLE warehouse_local_rep ON CLUSTER cluster_1
(
warehouse_id Int64,
product_id Int64,
product_name String
)
ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard2}/warehouse_local', '{replica}')
PARTITION BY warehouse_id
ORDER BY product_id
六 创建Distributed表
创建主副本的分布表
CREATE TABLE warehouse_dist ON CLUSTER cluster_1
(
warehouse_id Int64,
product_id Int64,
product_name String
)
ENGINE = Distributed(cluster_1, default, warehouse_local, warehouse_id)
创建副副本的分布表
CREATE TABLE warehouse_dist_rep ON CLUSTER cluster_1
(
warehouse_id Int64,
product_id Int64,
product_name String
)
ENGINE = Distributed(cluster_1, default, warehouse_local_rep, warehouse_id)
七 测试验证
准备测试数据集 warehouse_dataset.csv
1,30007,apple
2,41392,banana
3,96324,cherry
4,33309,coconut
5,28871,dates
6,10240,durian
7,53712,grape
8,11596,lemon
导入测试数据
clickhouse-client --host=192.168.167.21 --query "INSERT INTO warehouse_dist FORMAT CSV" < warehouse_dataset.csv
查看数据写入情况
查看数据表：
查看数据表
主副本的分布表：
主副本的分布表
副副本的分布表：
副副本的分布表
node21节点主副本的本地表：
node21节点主副本的本地表
node23节点副副本的本地表：
node23节点副副本的本地表