怎样将大量的日志实时写入clickhouse,用于日志分析

以前用的阿里云的日志服务,又慢又贵还不灵活。想到clickhouse的性能非常强,我们又没有什么全文搜索的场景。于是计划将日志写入clickhouse ,用grafana可视化,看grafana已经支持clickhouse数据源。

选用的方案是通过clickhouse tcp客户端流试写入。这样也不用担心文件碎片问题,性能也非常好(每秒轻松可以写入几十万) 占用资源比常规的日志收集器( LogstashFluentdLogtail) 更少。

可以轻松收集各种数据源的数据 ,各种格式。写了一个库 https://github.com/lizhichao/log2ck
demo:

tail -F apapche/access.log | sendtoclick  -h tcp://127.0.0.1:9000 

已经稳定运行2个多月,无任何内存溢出或者程序崩溃问题。

你可能感兴趣的:(clickhouse,数据)