clickhouse之distributed配置及使用

概述

不同于replicated模式，distributed有shard的概念，即一张表的完整数据并不存放在一个物理节点上，而是分布在多个不同的物理节点。Distributed引擎本身不存储数据，不过它支持在多台server上进行分布式的，并行的查询。比如一张distributed表有3个shard，分布在3个不同的server上面，当查询请求发到其中一台server（server1）的时候，该server会同时向其他两台server（server2和server3）发送数据请求，另外两台server处理完数据以后会将结果返回server1，在server1再进行处理后将最终结果返回客户端。

配置

clickhouse有几种写配置的方式，一种是直接在/etc/clickhouse-server/config.xml里面写，另一种是手动创建/etc/metrika.xml文件，这样原config.xml中带有incl属性的element会被相关联的value替换掉。还有一种配置方式是在element中加"from_zk="/path/to/node""属性，将xml配置存放在zookeeper中。zookeeper中的xml会成为config.xml中element的子内容。

下面采用的是在默认配置文件/etc/clickhouse-server/config.xml进行配置的方式。

1.同replicated模式，zookeeper是必须配置的

2.配置remote-servers列表，

        
            
                1
                true
                
                    172.18.164.98
                    9000
                    default
                    compass
                
                
                    172.18.171.101
                    9000
                
            
            
                1
                true
                
                    172.18.171.101
                    9000
                
                
                    172.18.164.98
                    9000
                    default
                    compass
                
            
        
    

标签说明：
-：cluster名称，该标签的名字可以自定义，只需符合xml标签命名规则即可。该标签名字会在创建distributed引擎表的时被引用
-：有多少并列的标签，就意味着一张distributed表有多少分片
-1：分片权重标签，默认值为1，引擎会根据这个值分发不同的数据量到shard上。比如，有两个分片，其中一个分片设置为4，另外一个分片设置为5，则4/(4+5) = 4/9的数据会被分发到第一个分片，另一个分片会被分配5/9的数据
-：当local表使用replicated引擎时，该标签的值设置为true，往distributed表中写数时，会数据写在其中一个健康的replica中，然后各个replica之间通过zookeeper自动同步数据。其余情况设置成false，数据会往所有replica中写，这种情况下replica之间的数据没有进行一致性校验，假以时日不同replica之间的数据可能会有微小的差异。默认被设置为false
-：副本标签，其中表示server的地址，是tcp通信端口，一般是9000，如果目标服务器设置了用户名和密码，还需要配置标签和标签，通过system.clusters表可以查看server上的分布式配置信息

定义distributed表

1.首先在不同的分片server上创建本地表，示例：

CREATE TABLE IF NOT EXISTS default.customer_shop_local (shop_id UInt64, pin String, score Float64, sex String, age String, marital_status String, region String, pay_mode String, purchase_power String, commet_sensitive String, user_level String, promotion_sensitive String, type UInt8, date Date) ENGINE = MergeTree(date, (shop_id, pin, type), 2048);

2.然后在根据需求在server上创建distributed表（比如有3台分片server，只在一台server上创建了distributed表，则只有这台server可以提供该distributed表的服务，如果所有server都创建了distributed表，那么3台都可以提供服务）。

Distributed引擎创建template：Distributed(cluster, datebase, local_table[, sharding_key])，

其中：
-cluster需要写成在config里自定义的cluster名称
-database是分片数据库的名称
-local_table是分片本地表的名称
-最后一项sharding_key是选填的，可以是一个表达式，例如rand()，也可以是某列 如user_id，不过该列必须是integer类型，通过对该具体的值进行取余进行分片，如果担心这样没法均匀的进行分片，也可以加上hash函数，如intHash64(user_id)
示例：

CREATE TABLE IF NOT EXISTS customer_shop_all AS customer_shop_local ENGINE = Distributed(test_2shard_2replica, default, customer_shop_local, rand())