ClickHouse 分片副本高可用环境部署(3台)

环境规划

• 每天机器已安装单机版的ClickHouse，官方推荐使用 rpm 安装，也可以安装好一台后复制文件过去
• CentOS Linux release 7.8.2003 (Core)
• ClickHouse 20.11.6.6
• jdk-8u281-linux-x64.rpm
• apache-zookeeper-3.6.2

由于本机虚拟环境，因此采用的是多实例部署，当前采用三台机部署，zookeeper集群也部署在这个上面，生产建议都分开部署

分片	副本01	副本02	zookeeper	clickhouse安装目录
分片01	192.168.66.101:9000	192.168.66.102:9200	zookeeper 1	/clickhouse/data
分片02	192.168.66.102:9000	192.168.66.103:9200	zookeeper 2	/clickhouse/data
分片03	192.168.66.103:9000	192.168.66.101:9200	zookeeper 3	/clickhouse/data

image.png

注意事项

• 使用 zookeeper + Replicated*MergeTree(复制表) + Distributed(分布式表)
• 官方建议将ZooKeeper集群部署在单独的服务器上（其中没有其他进程，包括运行的ClickHouse）。zookeeper资源不足或不可用会显示复制表为只读模式
• 建议clickhouse不要多实例部署，无法最大化利用资源
• Ext4是最可靠的选择。 设置挂载选项 noatime, nobarrier. XFS也是合适的，但它还没有经过ClickHouse的彻底测试。
• 不要在与ClickHouse相同的服务器上运行ZooKeeper。 因为ZooKeeper对延迟非常敏感，而ClickHouse可能会占用所有可用的系统资源。
• 最好使用新版本的 Zookeeper – 3.4.9 或之后的版本.
• 当进行zookeeper迁移的时候请务必将zookeeper下的目录文件一并迁移。否则整个数据库会变成一个只读表。

没有例外说明，以下操作所有服务器均需执行，有差异化的会说明

集群部署系统设置

创建安装目录

mkdir  -p /clickhouse/soft

关闭防火墙/Selinux

# 关闭防火墙
systemctl stop firewalld
systemctl disable firewalld

# 设置selinux
sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config

禁用透明大页

echo 'never' | sudo tee /sys/kernel/mm/transparent_hugepage/enabled

上传安装文件

文件上传至 /clickhouse/soft

设置host相关

修改hostname【差异执行】

# 101
hostnamectl set-hostname yqtest1

# 102
hostnamectl set-hostname yqtest2

# 103
hostnamectl set-hostname yqtest3

配置hosts

echo "192.168.66.101 yqtest1" >> /etc/hosts
echo "192.168.66.102 yqtest2" >> /etc/hosts
echo "192.168.66.103 yqtest3" >> /etc/hosts

安装在zookeeper集群

hostname	ip:端口	安装目录	数据目录	日志目录
yqtest1	192.168.66.101:2181	/clickhouse	/clickhouse/zookeeper/data	/clickhouse/zookeeper/logs
yqtest2	192.168.66.102:2181	/clickhouse	/clickhouse/zookeeper/data	/clickhouse/zookeeper/logs
yqtest3	192.168.66.103:2181	/clickhouse	/clickhouse/zookeeper/data	/clickhouse/zookeeper/logs

安装jdk

cd /clickhouse/soft/  # 文件上传在了当前目录下
rpm -ivh jdk-8u281-linux-x64.rpm
java -version

解压安装zookeeper

cd /clickhouse
tar zxvf /clickhouse/soft/apache-zookeeper-3.6.2-bin.tar.gz
mv apache-zookeeper-3.6.2-bin zookeeper

创建数据与日志存放路径

cd /clickhouse/zookeeper
mkdir logs data

修改zookeeper配置文件

配置可参考官方的配置：https://clickhouse.tech/docs/zh/operations/tips/

vi /clickhouse/zookeeper/conf/zoo.cfg

# 需修改 dataDir 与 dataLogDir 以及对应的服务IP地址
tickTime=2000
initLimit=1000
syncLimit=10
dataDir=/clickhouse/zookeeper/data
dataLogDir=/clickhouse/zookeeper/logs
clientPort=2181
maxClientCnxns=500
autopurge.snapRetainCount=10
autopurge.purgeInterval=1
globalOutstandingLimit=100
preALLocSize=131072
snapCount=1000000
server.1= 192.168.66.101:2888:3888
server.2= 192.168.66.102:2888:3888
server.3= 192.168.66.103:2888:3888

• tickTime=2000

作为zookeeper服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是说每个tickTime时间就会发送一个心跳。

• initLimit=10
  表示允许从服务器（相对于leader来说的客户端）连接到leader并完成数据同步的时间，它是以tickTime的倍数来表示的，也就是从服务器与主服务器完成初始化连接和数据同步是能够容忍多少个心跳时间，如果超过这个时间不能完成初始化连接的建立则表示连接失败。默认是10.如果你的数据量过大而且从服务器数量也多那么这个值可以设置大一点。。总的时间长度就是 initLimit * tickTime 秒。
• syncLimit=5
  配置 Leader 与 Follower 之间发送消息，请求和应答时间长度，最长不能超过多少个 tickTime 的时间长度，总的时间长度就是 syncLimit * tickTime 秒 ，如果在这个时间内从服务器不能与主服务器通信，则表示该从服务器失败。默认为5*2000=10秒.如果集群环境网络不佳可以调整大一点。
• dataDir
  保存数据的数据库快照的位置，快照文件并不是实时的，运行一段时间才会有。
• dataLogDir
  事务日志日志路径，若没提供的话则用dataDir。zookeeper的持久化都存储在这两个目录里，对ZK的读和写都是在内存中完成，所以速度非常快，
  但是如果停止ZK再启动数据还是需要保证的，所以就会有这样一个路径用来保存事务日志，当ZK再次启动时加载到内存重演过程来恢复数据。
  dataLogDir里是放到的顺序日志(WAL),指定的目录下有version-2文件夹（下有log.1文件），这个目录确定了当前事务日志的版本号，当下次某个版本的ZK对其进行修改时，版本号发生变化。
  日志文件大小为64M，如果数据比较多就会有多个这样大小的文件。而dataDir里放的是内存数据结构的snapshot，便于快速恢复。
  为了达到性能最大化，一般建议把dataDir和dataLogDir分到不同的磁盘上，建议将事物日志保存到单独的磁盘而且是高速磁盘。
  因为为了一致性，ZK对于客户端的写入请求在返回之前就要把本次操作写入到事物日志中
• clientPort=2181
  Zookeeper服务器监听的端口，以接受客户端的访问请求
• maxClientCnxns=60
  限制连接到ZK上的客户端数量，并且限制并发连接数量，它通过IP来区分不同客户端。值为0表示不做任何限制。
  注意这里的限制是针对单台客户端到服务器的，并不是控制所有客户端连接的。默认60.
• autopurge.snapRetainCount=5
  自动清理日志，该参数设置保留多少个快照文件和对应的事务日志文件，默认为3，如果你设置的小于3则会被自动的调整为3
• autopurge.purgeInterval=1
  自动清理日志，该参数设置自动清理频率，上面的参数配套使用。
  客户端在和ZK服务器交互中服务器会产生很多日志，而且ZK会将内存中的数据作为快照保存起来，而且这些数据不会自动删除，那么磁盘空间就会被占用，
  可以设置这2个参数来自动清理，不过如果ZK服务器比较繁忙而且赶上删除日志任务就会影响性能，
  所以一般不设置这个自动清理，而是在ZK访问量少的时候通过Linux的定时任务来处理。0表示不开启自动清理功能。
• globalOutstandingLimit=100
  ZK的最大请求堆积数，客户端请求比较多，为了防止客户端资源过度消耗，服务器必须限制同时处理的请求数量。
• preALLocSize=131072
  用于配置ZK事务日志预先分配的空间，默认是64M
• snapCount=1000000
  用于配置相邻两次快照之间的事物日志次数，默认是10万。也就是10万条事务之后做一次快照同时结转事务日志

修改zookeeper端允许占用内存

vi /clickhouse/zookeeper/bin/zkEnv.sh
搜索 ZK_SERVER_HEAP ，默认设置大小约 1G，实际生产环境需设大，zookeeper数据处理使用，不超过32G，一般可设置为物理内存一半，因此不建议将clickhouse和zk放在一台机器上

ZK_SERVER_HEAP="${ZK_SERVER_HEAP:-1000}"  # 生产需改大

添加myid文件【差异执行】

除了修改 zoo.cfg 配置文件，集群模式下还要配置一个标识自己身份也就是自己的ID值文件 myid，这个文件在zoo.cfg里dataDir指定的目录下，这个文件里面就只有一个数字，这个数字和server.n的n保持一致，该值范围可以是1-255之间，Zookeeper 启动时会读取这个文件，拿到里面的数据与 zoo.cfg 里面的配置信息比较从而判断到底是那个 server。

# 值与配置文件中的server.n匹配
# 101 服务器
echo "1"> /clickhouse/zookeeper/data/myid

# 102 服务器
echo "2"> /clickhouse/zookeeper/data/myid

# 103 服务器
echo "3"> /clickhouse/zookeeper/data/myid

配置环境变量

echo "export PATH=$PATH:/clickhouse/zookeeper/bin" >> ~/.bash_profile
source ~/.bash_profile

启动

出现错误可查看日志 /clickhouse/zookeeper/logs/zookeeper-root-server-主机名.out

zkServer.sh start

# 查看状态
zkServer.sh status

# 查看端口
ss -ntpl |grep 2181
ss -ntpl |grep 2888  # 仅leader存在
ss -ntpl |grep 3888

# 也可以连上去看看
zkCli.sh -server 192.168.66.101:2181

可发现当前 103 为leader，其余俩个为 follower

[root@yqtest1 zookeeper]# zkServer.sh status
/usr/bin/java
ZooKeeper JMX enabled by default
Using config: /clickhouse/zookeeper/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: follower

[root@yqtest2 zookeeper]# zkServer.sh status
/usr/bin/java
ZooKeeper JMX enabled by default
Using config: /clickhouse/zookeeper/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: follower

[root@yqtest3 zookeeper]# zkServer.sh status
/usr/bin/java
ZooKeeper JMX enabled by default
Using config: /clickhouse/zookeeper/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: leader

测试zk高可用切换

# 当前 103 为 leader,将 103 zk 关闭
zkServer.sh stop

# 查看状态，102被提升为 leader,103 重新加入后会变为 follower
[root@yqtest2 zookeeper]# zkServer.sh status
/usr/bin/java
ZooKeeper JMX enabled by default
Using config: /clickhouse/zookeeper/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: leader

安装clickhouse

系统要求

要支持SSE 4.2，一般都支持，不支持的用源码编译方式安装

grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2 not supported"

下载安装包

下载地址：https://repo.yandex.ru/clickhouse/rpm/stable/x86_64/

当前下载的版本为 20.11.6.6

• clickhouse-common-static-20.11.6.6-2.x86_64.rpm
• clickhouse-common-static-dbg-20.11.6.6-2.x86_64.rpm
• clickhouse-server-20.11.6.6-2.noarch.rpm
• clickhouse-client-20.11.6.6-2.noarch.rpm

创建目录

cd /clickhouse
mkdir -p data log data9200 log9200

上传并安装

这边上传到了soft目录

cd /clickhouse/soft
rpm -ivh clickhouse*

数据文件授权

由于rpm默认是安装在 /var/lib/clickhouse 下的，一般来说我们都会修改数据目录，因此对于创建的数据目录进行授权

chown -R clickhouse.clickhouse /clickhouse/data
chown -R clickhouse.clickhouse /clickhouse/log
chown -R clickhouse.clickhouse /clickhouse/data9200
chown -R clickhouse.clickhouse /clickhouse/log9200

修改配置文件

修改默认存放路径

# 更改日志路径
sed -i "s:/var/log/clickhouse-server:/clickhouse/log:g" /etc/clickhouse-server/config.xml
# 更改数据路径
sed -i "s:/var/lib/clickhouse:/clickhouse/data:g" /etc/clickhouse-server/config.xml

更改访问限制与时区

vi /etc/clickhouse-server/config.xml

/** 1.更改listen_host限制

*/
改为无限制
::

/** 2.更改时区

*/
改为
Asia/Shanghai

/** 3.添加引用外部设置的副本分片信息

*/
/etc/clickhouse-server/config.d/metrika.xml

设置分片与副本信息metrika.xml【差异设置】

主要需要更改 macros 部分的宏定义,下面会列出对应修改

vi /etc/clickhouse-server/config.d/metrika.xml

    
    
        
        
            
            
                true
                
                
                    yqtest1
                    9000
                
                
                
                    yqtest2
                    9000
                
            
            
            
                true
                
                
                    yqtest3
                    9000
                
                
                
                    yqtest4
                    9000
                
            
            
            
                true
                
                
                    yqtest5
                    9000
                
                
                
                    yqtest6
                    9000
                
            
        
    

    
    
        
            yqtest1
            2181
        
        
            yqtest2
            2181
        
        
            yqtest3
            2181
        
    

    
    
        ::/0
    


    
    
        01
        01
        cluster01-01-01
    

    
    
        
            10000000000
            0.01
            lz4
        
    

【差异之处】

# 101 metrika.xml 存放01集群01分片副本01
    
        01
        01
        cluster01-01-01
    

# 102 metrika.xml 存放01集群02分片副本01
    
        01
        01
        cluster01-01-02
    

# 103 metrika.xml 存放01集群01分片副本01
    
        01
        02
        cluster01-02-01
    

# 104 metrika.xml 存放01集群02分片副本01
    
        01
        02
        cluster01-02-02
    

# 105 metrika.xml 存放01集群01分片副本01
    
        01
        03
        cluster01-03-01
    

# 106 metrika.xml 存放01集群02分片副本01
    
        01
        03
        cluster01-03-02
    

更改user.xml配置

vi /etc/clickhouse-server/users.xml

/** 1.打开默认可创建其他用户与授权

*/
改为
1

/** 2.处理单个查询的最大内存使用量（字节）
10000000000
*/
默认10G，若内存大可考虑设置为物理内存的一半，如128G物理内存设置为50G或60G

多节点配置文件配置

• 多节点，配置文件 /etc/clickhouse-server/config.xm 需要复制一份，users.xml 和 metrika.xml 可共用

cd /etc/clickhouse-server/
cp -p config.xml config9200.xml

编辑config9200.xml，修改配置

# 更改日志路径
sed -i "s:/clickhouse/log:/clickhouse/log9200:g" /etc/clickhouse-server/config9200.xml
# 更改数据路径
sed -i "s:/clickhouse/data:/clickhouse/data9200:g" /etc/clickhouse-server/config9200.xml

vi /etc/clickhouse-server/config9200.xml

/** 
8123
9000
9004
9009 # 复制副本之间通信的端口。用于数据交换。
/etc/clickhouse-server/config.d/metrika.xml
*/
改成
8223
9200
9204
9209
/etc/clickhouse-server/config.d/metrika9200.xml

创建启动关闭脚本

复制启动脚本

cp /etc/systemd/system/clickhouse-server.service /etc/systemd/system/clickhouse-server9200.service

修改启动参数

vi /etc/systemd/system/clickhouse-server9200.service

/**
ExecStart=/usr/bin/clickhouse-server --config=/etc/clickhouse-server/config.xml --pid-file=/run/clickhouse-server/clickhouse-server.pid
*/
改为
ExecStart=/usr/bin/clickhouse-server --config=/etc/clickhouse-server/config9200.xml --pid-file=/run/clickhouse-server/clickhouse-server9200.pid

开机自启

systemctl enable clickhouse-server9200

启动关闭脚本

• 启动
  vi clickhouse_mult_start.sh

#!/bin/bash
systemctl start clickhouse-server
sleep 3
systemctl start clickhouse-server9200

• 关闭
  vi clickhouse_mult_stop.sh

#!/bin/bash
systemctl stop clickhouse-server
sleep 3
systemctl stop clickhouse-server9200

• 状态查看
  vi clickhouse_mult_status.sh

#!/bin/bash
systemctl status clickhouse-server
sleep 3
systemctl status clickhouse-server9200

脚本授权

chmod +x clickhouse_mult_start.sh
chmod +x clickhouse_mult_stop.sh
chmod +x clickhouse_mult_status.sh

查看集群状态

clickhouse-client -h 192.168.66.101 --port 9000 --user default --query "select * from system.clusters where cluster = 'ckcluster_3shards_2replicas'";
clickhouse-client -h 192.168.66.102 --port 9000 --user default --query "select * from system.clusters where cluster = 'ckcluster_3shards_2replicas'";
clickhouse-client -h 192.168.66.103 --port 9000 --user default --query "select * from system.clusters where cluster = 'ckcluster_3shards_2replicas'";
clickhouse-client -h 192.168.66.101 --port 9200 --user default --query "select * from system.clusters where cluster = 'ckcluster_3shards_2replicas'";
clickhouse-client -h 192.168.66.102 --port 9200 --user default --query "select * from system.clusters where cluster = 'ckcluster_3shards_2replicas'";
clickhouse-client -h 192.168.66.103 --port 9200 --user default --query "select * from system.clusters where cluster = 'ckcluster_3shards_2replicas'";

查看是否能正常登陆

[root@localhost ~]# clickhouse-client 
ClickHouse client version 20.11.6.6 (official build).
Connecting to localhost:9000 as user default.
Connected to ClickHouse server version 20.11.6 revision 54442.

localhost :) show databases;

SHOW DATABASES

Query id: bb8da6c1-301c-435c-b78b-ea5a9751d6e5

┌─name───────────────────────────┐
│ _temporary_and_external_tables │
│ default                        │
│ system                         │
└────────────────────────────────┘

3 rows in set. Elapsed: 0.004 sec.

测试数据验证

创建数据库

create database yqtest on cluster ckcluster_3shards_2replicas