调整master节点或者slave节点的日志级别
日志库将日志分为5 个级别,分别为DEBUG、INFO、WARN、ERROR 和FATAL。这5 个级别对应的日志信息重要程度不同,它们的重要程度由低到高依次为DEBUG < INFO < WARN < ERROR < FATAL。日志输出规则为:只输出级别不低于设定级别的日志信息。比如,级别设定为INFO,则INFO、WARN、ERROR和FATAL 级别的日志信息都会被输出,但级别比INFO 低的DEBUG 则不会被输出。
浏览器中输入:“http://<hostname>:50070/logLevel”
第一行用于获取class log level,举例:可以输入"org.apache.hadoop.hdfs.StateChange",然后点击"Get log level" 按钮查看;
第二行用于set class log level,举例Log中输入"org.apache.hadoop.hdfs.StateChange",Level输入”WARN“,然后点击"Set log level"按钮。
其它如Jobtracker、 Datanode、Tasktracker中相关class设置参考上面。
Jobtracker: http://{job_tracker_ip}:50030
命令行下也可以实现相同目的,详见:
命令行测试如下:
hadoop daemonlog -getlevel cluster-01:50031 org.apache.hadoop.mapred.JobTracker
Connecting to http://cluster-01:50031/logLevel?log=org.apache.hadoop.mapred.JobTracker
Submitted Log Name: org.apache.hadoop.mapred.JobTracker
Log Class: org.apache.commons.logging.impl.Log4JLogger
Effective level: INFO
参考资料:
dynamically change log levels
https://issues.apache.org/jira/browse/HADOOP-1185