clickhouse 生产集群部署之坑坑洼洼(二)

clickhouse时间时区问题,

配置文件:clickhouse.config.xml

配置标签:Asia/Shanghai

机器系统时间:date  、 timedatectl

问题描述:

业务接口实时插入数据(包含当前时间字段),但插入后显示时间为纽约时间、莫斯科时间等

可能原因:1.建表时,元数据默认机器或莫斯科时区的错误时区信息,可更改timezone后重新建表

                  2.当确认机器时间、select now()、select timezone() 均正确 时,仍有时间数据错误,这可能是接口线程池缓存问题。

  也就是你的server重启太快了,借口误认为网络波动 ,读取的时间仍未之前错误的时间。解决:全部重启,重新连接

==============================================================================

内存溢出问题(Join 引擎尤为常见):

DB::Exception: Memory limit (for query) exceeded: would use * GiB 

修改 80000000000 80G最大内存

 

==============================================================================

linux重启问题

因停电原因,测试集群机器重启后,zk挂掉,要手动启动zk,同时存在找不到jdk的情况,需要配置相关jdk位置

 

=============================================================================

crontab 调度 Hive to Clickhouse ,

流程:crontab -> shell ->conf ->waterdrop .

报错:[ERROR] config file does not exists or cannot be parsed due to invalid format 

原因:crontab 不能解析系统一些环境变量

解决:shell 增加 source /etc/profile

你可能感兴趣的:(clickhouse)