MapReduce心得170802

最近在调试mapreduce中使用avro的输入输出格式,这个轻量级的数据格式还是比较方便的,在数据的处理中可以把数据定义为对象来进行处理,同时数据类的生成也只需要定义好avsc的配置文件即可(具体的可以参照apache的官网上的内容)。

遇到的问题还是不少的:

1.读取avro格式的文件失败,报了nullpointer的错误。

参看了mr的日志发现没有进入map进行数据的分割和处理,仔细检查avro的输入输出的格式配置上发现,将job.setinputvalueSchema写成了setoutputvalueSchema;

2.avro生成类文件失败,原因在于pom文件中的路径设置错误。

基本上mr的调试错误只能看日志信息,一般如果map或者reduce的程序都没运行的话,需要仔细检查配置文件以及配置信息。

你可能感兴趣的:(mr学习日志)