动态调整Impala日志级别

Impala日志级别

诊断线上事故时,动态调整日志级别非常有用,Impala的各个server也提供这样的能力。每个server都有一个/log_level页面,如图:

动态调整Impala日志级别_第1张图片Impala的FE代码中主要用了FATAL、INFO、TRACE三种日志级别,很少用DEBUG。因此实战时一般是把日志级别调成TRACE,另外由于不确定是哪个类出问题,最好把整个 org.apache.impala 包的日志级别都调成 TRACE。点 "Set Java Log Level" 按钮实时生效,不需要重启server。事后如果不需要重启server,记得点 “Reset Java Log Levels" 按钮来恢复。

另外对于BE部分的逻辑,也可以对应地设置glog的日志级别。glog这块主要有0、1、2、3 四个级别,粒度如下:

  • 0: 只打开FATAL和ERROR级别的日志
  • 1: 打开查询级别、连接级别的日志,即每个查询、每个连接都有的日志,主要对应代码中用 VLOG_QUERY、VLOG_CONNECTION 等打印的日志
  • 2: 打开RPC级别、文件级别的日志,即每个RPC调用、每个文件的处理都有的日志,主要对应代码中用 VLOG_RPC、VLOG_FILE、VLOG_PROGRESS 打印的日志
  • 3: 打开行级别日志,相当于每行的处理都会有日志,主要对应代码中用 VLOG_ROW 打印的日志

BE的日志级别默认是1,调整BE的日志级别要慎重,因为日志量很大,查询多的话很快就能把日志刷满。

Impala日志格式

下面介绍Impala日志的格式,下图是一个示例:

每行日志最开始的 "I0321" 部分表示日志级别以及月份和日期,这里是 INFO 级别、3月21日的意思。接下来的 "01:35:49.863798" 是时间戳,精确到微秒 (us)。再接下来是线程id、源码文件名+行号,如果有查询id的话还会附上,后面才跟日志信息。

每个查询的编译都由一个线程单独完成的,上图中线程 27193 就负责了一个查询的编译。

官方资料

其它关于Impala日志的信息在官方文档里都有,如日志文件的位置、文件名的格式、日志的rotation配置等:

  • Apache文档 https://impala.apache.org/docs/build/html/topics/impala_logging.html
  • Cloudera文档 https://docs.cloudera.com/documentation/enterprise/latest/topics/impala_logging.html

你可能感兴趣的:(Impala,cloudera,大数据)