Max block location exceeded for split

最近hive执行报如此的警告,然后hive进程死掉了,很长时间不运行。

通过查看日志发现有以下这样的警告信息:

2012-10-24 06:26:41,722 [Main Thread] WARN  split.JobSplitWriter (JobSplitWriter.java:writeOldSplits(161)) - Max block location exceeded for split: Paths:/tmp/hive-hadoop/hive_2012-10-24_06-25-23_539_6145998952606508417/-ext-10003/000000_0:0+531,/tmp/hive-hadoop/hive_2012-10-24_06-25-23_539_6145998952606508417/-ext-10003/000001_0:0+359,/tmp/hive-hadoop/hive_2012-10-24_06-25-23_539_6145998952606508417/-ext-10003/000002_0:0+478,/tmp/hive-hadoop/hive_2012-10-24_06-25-23_539_6145998952606508417/-ext-10003/000003_0:0+447,/tmp/hive-hadoop/hive_2012-10-24_06-25-23_539_6145998952606508417/-ext-10003/000004_0:0+580,/tmp/hive-hadoop/hive_2012-10-24_06-25-23_539_6145998952606508417/-ext-10003/000005_0:0+417,/tmp/hive-hadoop/hive_2012-10-24_06-25-23_539_6145998952606508417/-ext-10003/000006_0:0+632,/tmp/hive-hadoop/hive_2012-10-24_06-25-23_539_6145998952606508417/-ext-10003/000007_0:0+723,/tmp/hive-hadoop/hive_2012-10-24_06-25-23_539_6145998952606508417/-ext-10003/000008_0:0+449,/tmp/hive-hadoop/hive_2012-10-24_06-25-23_539_6145998952606508417/-ext-10003/000009_0:0+398,/tmp/hive-hadoop/hive_2012-10-24_06-25-23_539_6145998952606508417/-ext-10003/000010_0:0+382,/tmp/hive-hadoop/hive_2012-10-24_06-25-23_539_6145998952606508417/-ext-10003/000011_0:0+497,/tmp/hive-hadoop/hive_2012-10-24_06-25-23_539_6145998952606508417/-ext-10003/000012_0:0+230,/tmp/hive-hadoop/hive_2012-10-24_06-25-23_539_6145998952606508417/-ext-10003/000013_0:0+567,/tmp/hive-hadoop/hive_2012-10-24_06-25-23_539_6145998952606508417/-ext-10003/000014_0:0+387 Locations:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:; InputFormatClass: org.apache.hadoop.mapred.TextInputFormat
 splitsize: 405 maxsize: 10

 

解决方式:

hive里设置mapred.reduce.tasks参数导致。需要当心。 出现这种现象还是要多留意下。


这里纠正下错误,这里不是设置该参数导致,而是因为有一台机器安装了一个负载较大的运行软件导致。现在已经把该节点退出集群。

 

 

你可能感兴趣的:(Max block location exceeded for split)