Hadoop2.X中Mapreduce，YARN等配置，启动和常见错误解决办法

本篇文章主要介绍一下 hadoop2.X 的启动的相关配置和启动过程常见错误的解决办法，废话不多少，下面开始按照官网的描述步骤开始介绍。

1.在opt目录下建立两个目录，分别为 modules,software ,建立这两个目录的目的是为了方便管理软件的安装和卸载

2.安装jdk ,由于本文中搭建的是hadoop2.X的环境，其中使用YARN，所以对jdk的版本有要求，最低为1.6.*以上，    将jdk拷贝到 /opt/software 下，使用减压命令将其减压到 /opt/modules 下面，然后再编辑 /etc/profile ,在文件末    尾加上如下内容：

   export JAVA_HOME=/opt/modules/jdk1.7.0_79

   export PATH=$JAVA_HOME:$PATH

   注意：在安装jdk前，先检查一下linux系统是否已经安装了openJDK，如果已经安装了，请先将其卸载掉，       然后再进行安装，我是用的是CentOS6.5，这些做完以后运行 resource /etc/profile 使配置文件生效 

3.接下来安装Hadoop，我用的是hadoop2.5.0，将其解压到 /opt/modules 下面。

   3.1）配置 /opt/modules/hadoop2.5.0/etc/hadoop/hadoop-env.sh，配置内容如下：

        export JAVA_HOME=/opt/modules/jdk1.7.0_79

   3.2）配置 /opt/modules/hadoop-2.5.0/etc/core-site.xml，配置内容如下：     

			##配置hadoop的hdfs
    			
        			fs.defaultFS
    	    			hdfs://192.168.239.133:8020
    			

			##配置hdfs的临时文件存储路径

				hadoop.tmp.dir

				/opt/modules/hadoop-2.5.0/data/tmp

			##配置文件删除以后存放的时间，类似于垃圾箱的功能

				fs.trash.interval

				102400

	3.3）配置/opt/modules/hadoop-2.5.0/etc/hdfs-site.xml，配置内容如下：		

			##配置备份的文件数
    			
       				 dfs.replication
       				 1
  			
		

	3.4）配置完以上步骤以后，然后对hdfs文件系统进行格式化，执行如下代码：

		bin/hdfs namenode -format

		然后执行如下代码启动 namenode，datanode:

		sbin/hadoop-daemon.sh start namenode

		sbin/hadoop-daemon.sh start datanode

	通过浏览器访问 192.168.239.133：50030/50070，如果能正常访问则说明所有配置正确

      4.配置YARN，将hadoop运行在YARN上，配置内容如下:

	4.1）配置/opt/modules/hadoop-2.5.0/etc/hadoop/yarn-env.sh,配置内容如下：

		export JAVA_HOME=/opt/modules/jdk1.7.0_09 

	     配置/opt/modules/hadoop-2.5.0/etc/hadoop/mapred-env.sh，配置内容如下：

		export JAVA_HOME=/opt/modules/jdk1.7.0_79

	4.2）配置/opt/modules/hadoop-2.5.0/etc/hadoop/mapred-site.xml,这个文件之前名字叫mapred-site-template.xml,

	     需要修改这个名字配置内容如下：

			##将mapreduce运行在YARN上
   		 	
       				mapreduce.framework.name
        			yarn
   			 
		

	4.3）配置/opt/modules/hadoop-2.5.0/etc/hadoop/yarn-site.xml,配置内容如下：

			 ##配置yarn的resourcemanager

				yarn.resourcemanager.hostname

				192.168.239.133

			 ##配置yarn的nodemanager
   			 
        			yarn.nodemanager.aux-services
        			mapreduce_shuffle
    			

			##配置yarn日志显示功能

				yarn.log-aggregation-enable

				true

			##配置日志存放时间

				yarn.log-aggregation.retain-seconds

				204800

	4.4）至此，YARN配置完毕，通过以下命令启动 resourcemanager，nodemanager，historyserver

		sbin/yarn-daemon.sh start resourcemanager

		sbin/yarn-daemon.sh start nodemanager

		sbin/mr-jobhistory-daemon.sh start historyserver

	     通过浏览器访问192.168.239.133：8088 来查看yarn的管理界面，如果能正常访问则说明所有配置正确	

      5.配置ssh无密码登陆：

	5.1）切换到根目录下，cd 到 .ssh文件运行如下命令：

		ssh-keygen -t rsa    然后一路回车即可

	5.2）使用如下命令拷贝公钥到这台机器下，命令如下：

		ssh-copy-id  192.168.239.133

	到这里就完成了ssh免密码登录。

      6.下面说说配置过程中可能出现的问题：

	6.1）格式化的时候出现问题。解决办法：查看etc/hadoop/core-site.xml文件配置是否有问题

	6.2）启动namenode出错。解决办法：查看hadoop安装目录下的logs文件，查看出错信息并解决

   总结：以上便是配置hadoop所有步骤，如有问题，随时交流