动态调整Impala日志级别

Impala日志级别

诊断线上事故时，动态调整日志级别非常有用，Impala的各个server也提供这样的能力。每个server都有一个/log_level页面，如图：

Impala的FE代码中主要用了FATAL、INFO、TRACE三种日志级别，很少用DEBUG。因此实战时一般是把日志级别调成TRACE，另外由于不确定是哪个类出问题，最好把整个 org.apache.impala 包的日志级别都调成 TRACE。点 "Set Java Log Level" 按钮实时生效，不需要重启server。事后如果不需要重启server，记得点 “Reset Java Log Levels" 按钮来恢复。

另外对于BE部分的逻辑，也可以对应地设置glog的日志级别。glog这块主要有0、1、2、3 四个级别，粒度如下：

• 0: 只打开FATAL和ERROR级别的日志
• 1: 打开查询级别、连接级别的日志，即每个查询、每个连接都有的日志，主要对应代码中用 VLOG_QUERY、VLOG_CONNECTION 等打印的日志
• 2: 打开RPC级别、文件级别的日志，即每个RPC调用、每个文件的处理都有的日志，主要对应代码中用 VLOG_RPC、VLOG_FILE、VLOG_PROGRESS 打印的日志
• 3: 打开行级别日志，相当于每行的处理都会有日志，主要对应代码中用 VLOG_ROW 打印的日志

BE的日志级别默认是1，调整BE的日志级别要慎重，因为日志量很大，查询多的话很快就能把日志刷满。

Impala日志格式

下面介绍Impala日志的格式，下图是一个示例：

每行日志最开始的 "I0321" 部分表示日志级别以及月份和日期，这里是 INFO 级别、3月21日的意思。接下来的 "01:35:49.863798" 是时间戳，精确到微秒 (us)。再接下来是线程id、源码文件名+行号，如果有查询id的话还会附上，后面才跟日志信息。

每个查询的编译都由一个线程单独完成的，上图中线程 27193 就负责了一个查询的编译。

官方资料

其它关于Impala日志的信息在官方文档里都有，如日志文件的位置、文件名的格式、日志的rotation配置等：

• Apache文档 https://impala.apache.org/docs/build/html/topics/impala_logging.html
• Cloudera文档 https://docs.cloudera.com/documentation/enterprise/latest/topics/impala_logging.html