怎样将大量的日志实时写入clickhouse，用于日志分析

以前用的阿里云的日志服务，又慢又贵还不灵活。想到clickhouse的性能非常强，我们又没有什么全文搜索的场景。于是计划将日志写入clickhouse ，用grafana可视化，看grafana已经支持clickhouse数据源。

选用的方案是通过clickhouse tcp客户端流试写入。这样也不用担心文件碎片问题，性能也非常好（每秒轻松可以写入几十万） 占用资源比常规的日志收集器( Logstash，Fluentd，Logtail) 更少。

可以轻松收集各种数据源的数据 ，各种格式。写了一个库 https://github.com/lizhichao/log2ck
demo：

tail -F apapche/access.log | sendtoclick  -h tcp://127.0.0.1:9000 

已经稳定运行2个多月，无任何内存溢出或者程序崩溃问题。