mapreduce测试 错误汇总

1、java.io.IOException: Could not obtain block

检查步骤：1、查看namenode是否启动

          2、检查命令hostname和配置/etc/hosts是否一样

       3、将namenode重新启动

2、java.io.IOException: Type mismatch in key from map: expected org.apache.hadoop.io.FloatWritable, recieved org.apache.hadoop.io.Text。程序提示说是格式错误，出错的地方在Mapper从InputFormat中读取input并产生中间结果时发生了格式错误，Mapper在collect时期待Key的类型是FloatWritable，而收到的确实LongWritable类型的Text。

究其原因，主要是因为，程序中没有明确指定要使用那种InputFormat来读取输入数据，hadoop就使用默认的TextInputFormat，通过查看源码，这个TextInputFormat是扩展自FileInputFormat，

public class TextInputFormat extends FileInputFormat<LongWritable, Text>{…}
并且可以看出父类的范型中已经明确指定了keyClass为LongWritable类型，而value Class为Text类型，并且这个InputFormat的实现为将输入文件的行数作为key，而将每一行的文本作为value。因此，在从文件到 mapper的过程中，数据就被分割成了<LongWritable, Text>的对，并传输给Mapper，这也就是说Mapper需要以同样的格式来接收来自InputFormat的数据。程序到这个时候都是没有问题的