hadoop 升级
1.停掉HDFS，备份关键数据
2.需要备份的数据主要包括
配置文件：${hadoop_home}/conf目录下的所有配置文件
元数据文件：配置文件hdfs-site.xml中的属性“dfs.name.dir”指定的目录下的文件
3.下载最新稳定版的hadoop 2.4.1版本，并解压到与现有hadoop同级的目录下。
说明:旧版的配置文件备份成功后，就不再需要和旧版的hadoop打交道了，下面的所有操作都是在新版的hadoop目录下进行的。
4. 修改配置文件：
core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.16.241:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/disk_c1/hadoop_base2/tmp</value>
<final>true</final>
</property>
<property>
<name>fs.trash.root</name>
<value>/disk_c1/hadoop_base2/tmp/Trash</value>
</property>
<property>
<name>io.compression.codecs</name>
<value>org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec,com.hadoop.compression.lzo.LzopCodec</value>
</property>
<property>
<name>io.compression.codec.lzo.class</name>
<value>com.hadoop.compression.lzo.LzoCodec</value>
</property>
</configuration>
hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/disk_c1/hadoop_base2/hdfs/name</value>
<final>true</final>
</property>
<property>
<name>dfs.data.dir</name>
<value>/disk_c1/hadoop_base2/hdfs/data</value>
<final>true</final>
</property>
</configuration>
yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
设定hadoop-env.sh中的JAVA_HOME变量
5.进行HDFS升级：sbin/start-dfs.sh –upgrade
6.确定升级成功，可以使用：bin/hadoop dfsadmin –finalizeUpgrade 最终提交升级
7.至此HDFS升级已经完成，MapReduce无需升级，只需要将原有的代码用2.4.1版本重新编译即可。
8.启动Yarn服务: sbin/start-yarn.sh
9.下面可以通过hadoop自带的例子验证安装是否正确。
10.在hadoop-2.4.1的根目录下执行：
$mkdir input
$ cp etc/hadoop/*.xml input
$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jar grep input output 'dfs[a-z.]+'
$ cat output/* //如果文件中有内容,则认为升级成功.