【离线安装clickhouse集群】

离线安装clickhouse集群

clickhouse介绍

Clickhouse是俄罗斯yandex公司于2016年开源的一个列式数据库管理系统，在OLAP领域像一匹黑马一样，以其超高的性能受到业界的青睐。特性：

• 基于shard+replica实现的线性扩展和高可靠
• 采用列式存储，数据类型一致，压缩性能更高
• 硬件利用率高，连续IO，提高了磁盘驱动器的效率
• 向量化引擎与SIMD提高了CPU利用率，多核多节点并行化大查询

不足：

• 不支持事务、异步删除与更新
• 不适用高并发场景

clickhouse架构图

集群节点信息

IP地址	主机名	安装软件信息
172.10.10.117	nn1	zookeeper,clickhouse
172.10.10.118	nn2	zookeeper,clickhouse
172.10.10.120	dn1	zookeeper,clickhouse

安装步骤

1. 安装前准备

---

1.1 创建zookeeper和clickhouse数据存放目录和日志目录

• 创建zookeeper数据和日志目录

mkdir -p /home/zookeeper/data
mkdir -p /home/zookeeper/log

• 创建clickhouser数据和日志目录并修改属主和属组

mkdir -p /home/clickhouser/data
mkdir -p /home/clickhouser/tmp
mkdir -p /home/clickhouse-server/log

到对应的目录下修改属主和属组：（必须修改 不让后面启动clickhouse会报错）

chown -R /home/clickhouse

1.2 修改linux文件限制

修改/etc/security/limits.conf /etc/security/limits.d/clickhouse.conf文件内容如下

vim /etc/security/limits.conf
* soft nofile 65536                  *：#指所有的框架   65536：某个框架可以打开最大文件数 
* hard nofile 65536            
* soft nproc 131072                      # 打开最大进程数
* hard nproc 131072
 vim /etc/security/limits.d/clickhouse.conf
* soft nofile 65536                
* hard nofile 65536            
* soft nproc 131072                      
* hard nproc 131072

1.3 centos取消selinux，关闭防火墙

sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
systemctl status firewalld.service
systemctl stop firewalld.service && systemctl disable firewalld.service

2. 搭建zookeeper集群

---

2.1 上传包至/snt/soft/zookeeper目录下解压tar包

cd /snt/soft/zookeeper
tar -zxvf zookeeper-3.4.14.tar.gz

2.2 配置文件

在zookeeper的conf目录，拷贝zoo_sample.cfg为zoo.cfg

cp zoo_sample.cfg zoo.cfg 
vim zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir= /snt/data/zookeeper
dataLogDir= /snt/logs/zookeeper
autopurge.purgeInterval=0
globalOutstandingLimit=200
clientPort=2181
server.1=172.10.10.117:2888:3888
server.2=172.10.10.118:2888:3888
server.3=172.10.10.119:2888:3888

2.3 设置myid

vim /home/zookeeper/myid
 1

2.4 启动zookeeper

cd /home/zo