MapReduce分析NCDC 年气象数据最低温度与最高温度

利用hadoop计算技术对采集的气象数据信息进行处理，主要分两个阶段：mapper阶段和reducer阶段，mapper阶段主要是对日志文件进行按行读取并进行字符串截取，reducer阶段对mapper阶段传过来的数据进行大小比较，最终获取每一年中的最高温度。

具体气象数据的格式可以参考：https://blog.csdn.net/lihuinihao/article/details/38315209

1. 首先将eclipse将MaxTemperature项目打成jar包，并将jar包和气象数据拖拽到虚拟机上。本文中分析的是1941-1950十年间的数据信息，分别存在10个文件中。

2. 在hdfs系统中新建一个名为/inputdata_t的安装目录

     hdfs dfs -mkdir /inputdata_t

3.  将数据集上传到inputdata_t目录下

     hdfs dfs -put ~/桌面/19* /inputdata_t

4. 切换到根目录并对数据进行分析

    cd

    hadoop jar ~/桌面/MaxTemperature.jar MinTemperature /inputdata_t /output/mintemp

    

5. 查看结果

    hdfs dfs -cat /output/mintemp/part-r-00000

6. 下载至本地

    hadoop fs -get /output/mintemp/part-r-00000 /opt/hadoop-2.7.6/tmp/

    ls ../tmp/

7. 删除文件

    hdfs dfs -rm -r /output/mintemp