clickhouse集群安装干货多

clickhouse可以单机部署,创建本地表,这个时候不需要zookeeper协助。如果要创建分布式表就需要安装zookeeper集群。zookeeper下载地址 https://zookeeper.apache.org/releases.html 下载版本在3.6.1以上。解压后要进行设置,集群配置的话,默认配置文件没有那一段如下:

server.1=work228:2182:3182
server.2=work229:2182:3182
server.3=work230:2182:3182

这段是配置主机IP地址和短号,server后面的数字是指定那台主机。每台主机需要新建myid文件,里面需要输入IP地址所对应的数字。

接下来安装clickhouse,安装方式直接使用yum install

sudo rpm --import https://repo.clickhouse.tech/CLICKHOUSE-KEY.GPG
sudo yum-config-manager --add-repo https://repo.clickhouse.tech/rpm/clickhouse.repo
sudo yum install clickhouse-server clickhouse-client

sudo /etc/init.d/clickhouse-server start

在启动前,我们要进行集群配置。默认安装好的配置在/etc/clickhouse-server/,users.xml包含了访问控制,比如允许那些用户可以访问,那些IP地址可访问。我们更多需要对config.xml里面进行调整,比如数据和日志文件等等的路径。

如果有incl属性,节点内的内容不会生效,默认会在metrika.xml查找,默认路径是/etc/metrika.xml,如果想改变路径需要添加如下属性

/etc/clickhouse-server/metrika.xml

在metrika.xml建立3分配1副本的配置,这个需要三台机器。(这个分片数和副本数有关)


 


    
        
        
            
                
                true
                
                    work228
                    9000
                
            
            
                
                true
                    work229
                    9000
                
            
            
                true
                
                    work230
                    9000
                
            
        
    
    
        
            work228
            2181
        
        
            work229
            2181
        
        
            dwork230
            2181
        
    
    
        
        
        
    
    
    
        
        

            
            10000000000        
            0.01   

            
            zstd
        
    

配置文件内容修改后,如果没有错误会自动加载生效。

大家一定要去理解shard和replica,distrbute查询规则是会去shard里面取一个副本查询后进行合并得出结果,配置副本一定要注意不然结果并集会有重复数据。

建议大家把/var/lib下面的配置信息放到其它盘,方便迁移。

最后启动服务

systemctl start clickhouse-server

部署过程遇到的问题:

1、code=exited, status=232/ADDRESS_FAMILIES

出现问题第一时间查看日志,去看日志没有,后来再github有人说账户问题,后面我就把日志文件夹chown clickhouse:clickhouse -R log/,重启有日志,之后的问题都是看日志。这个问题是因为安装后把数据文件什么的都迁移了,所属用户组都变了,把clickhouse下面的所有文件夹都成 chown -R clickhouse:clickhouse就行了。

2、Include not found: networks 

这个地方原因就是一个是IP地址问题,默认是IPV6的写法。IPV4应该用0.0.0.0。我出现是因为没有在user.xml上加include from.以为在config.xml加了就可以了。

你可能感兴趣的:(云计算/大数据)