clickhouse安装心得
一、clickhouse
ClickHouse 是俄罗斯的Yandex于2016年开源的列式存储数据库（DBMS），使用C++语言编写，主要用于在线分析处理查询（OLAP），能够使用SQL
查询实时生成分析数据报告。
二、为什么要使用ck
因为ck是列式存储，而列式存储有以下几个优点
1、对于列的聚合，计数，求和等统计操作原因优于行式存储。
2、由于某一列的数据类型都是相同的，针对于数据存储更容易进行数据压缩，每一列选择更优的数据压缩算法，大大提高了数据的压缩比重。
3、由于数据压缩比更好，一方面节省了磁盘空间，另一方面对于cache也有了更大的发挥空间。
三、ck有什么优势
多样化引擎
clickhouse和mysql类似，把表级的存储引擎插件化，根据表的不同需求可以设定不同的存储引擎。目前包括合并树、日志、接口和其他四大类20多种引擎。
3.1 写（MergeTree）
ClickHouse采用类LSM Tree的结构，数据写入后定期在后台合并。通过类LSM tree的结构，但是没有内存表，没有预写日志，ClickHouse在数据导入时全部是顺序append写入磁盘，在后台周期性合并数据到主数据段。顺序写的特性，充分利用了磁盘的吞吐能力，即便在HDD上也有着优异的写入性能。
官方公开benchmark测试显示能够达到50MB-200MB/s的写入吞吐能力，按照每行100Byte估算，大约相当于50W-200W条/s的写入速度。
不支持常规意义的修改行和删除行数据。
不支持事务。
3.2 读（MergeTree）
3.2.1 语句级多线程
ClickHouse将数据划分为多个partition，每个partition再进一步划分为多个index granularity（颗粒），然后通过多个CPU核心分别处理其中的一部分来实现并行数据处理。
在这种设计下，单条Query就能利用整机所有CPU。极致的并行处理能力，极大的降低了查询延时。
弊端：
clickhouse即使对于大量数据的查询也能够化整为零平行处理。但是有一个弊端就是对于单条查询使用多cpu，就不利于同时并发多条查询。所以对于高qps的查询业务，clickhouse并不是强项。
3.2.2 稀疏索引
clickhouse使用稀疏索引，索引之间的颗粒度（默认8192行）。
好处：范围查询过滤比较快。
弊端：不适合做点对点查询。
3.3 生命周期管理
支持对数据的生存周期进行管理，可以像Redis那样失效掉过期的数据，维持数据的新陈代谢。
四、在安装使用ck的时候遇到的一些问题
clickhouse-client -m --password
在装好ck进入客户端的时候遇到了，感觉是端口被占用了，于是
netstat -tulpn | grep 9000
查看了端口，发现并没有被占用，那么问题是什么呢，我去面向百度编程，找到了以下几个方法
1、修改config.xml这个配置文件，里面的
这个位置把里面换为0.0.0.0
2.就是你换成了0.0.0.0，但是莫名其妙就是不能进入，那就改回来
3、卸载重装clickhouse,这里引用了其他程序员的重装步骤，有点麻烦
链接: 卸载重装ck
也可以试试这个卸载方法，要简便很多
3.2.1 查看是否安装
rpm -qa | grep clickhouse
3.2.2 卸载
rpm -qa | grep clickhouse | sudo xargs rpm -e
3.2.3 删除数据和配置文件
sudo rm -rf /var/lib/clickhouse/ sudo rm -rf /etc/clickhouse-* s sudo rm -rf /var/log/clickhouse-server/
如果是集群:
rm -rf /etc/metrika.xml
删除zk上的元数据：
rmr /clickhouse
很神奇的是使用另外一个命令进去，有一点问题都没有
clickhouse-client -m -h hadoop174 --password
心得
1、这个命令解压文件是真的很爽
sudo rpm -ivh *.rpm
2、ck的语法和标准SQL的区别并不是很大，他也有很多神奇的函数,比如说ck的炸裂和元组那些，谁用谁知道
with rollup(上卷) : 从右至左去掉维度进行小计。
select uid , sku_id,sum(total_amount) from t_order_mt group by uid,sku_id with rollup;
以上sql等价于:
select uid,sku_id,sum(total_amount) from t_order_mt group by uid,sku_id union all select uid,'',sum(total_amount) from t_order_mt group by uid union all select 0,'',sum(total_amount) from t_order_mt;
with cube : 从右至左去掉维度进行小计，再从左至右去掉维度进行小计。
select uid , sku_id,sum(total_amount) from t_order_mt group by uid,sku_id with cube;
以上sql等价于:
select uid,sku_id,sum(total_amount) from t_order_mt group by uid,sku_id union all select 0,sku_id,sum(total_amount) from t_order_mt group by sku_id union all select uid,'',sum(total_amount) from t_order_mt group by uid union all select 0,'',sum(total_amount) from t_order_mt;
