Hadoop2.2.0稳定版安装__伪分布式模式__Hadoop2.0入门学习一
一：环境准备
1：准备虚拟机一台，我安装的是redhat6.4的32位操作系统。
2 :修改hostname。使用命令hostname localhost（如需重启后生效，可以 修改配置文件/etc/sysconfig/network中的HOSTNAME=localhost即可）。另修改/etc/hosts ,用#注释掉默认的文本，添加127.0.0.1 localhost即可。
3：jdk安装，虚拟机是32位的，可下载jdk-6u43-linux-i586.bin文件，上传到/home/software目录下，用命令chmod 755 jdk-6u43-linux-i586.bin授可执行权限。然后./jdk-6u43-linux-i586.bin执行即可快速安装，默认路径在/home/software/jdk1.6.0_43目录中。
4：配置JAVA_HOME。在/etc/profile文件中添加
export JAVA_HOME=/home/software/jdk1.6.0_43
export PATH = $PATH:$JAVA_HOME/bin
保存后用命令source /etc/profile使环境配置修改生效。
用命令java、javac、java -version测试jdk是否成功。
二 :免密码ssh设置
1 |
ssh-keygen -t rsa |
一直按<Enter> 由于不设置密码，所以就一直回车就行。
如果是root用户，默认生成文件在/root/.ssh中，进入目录中，使用命令cp id_rsa_put authorized_keys
生成authorized_keys。
测试：
1 |
ssh localhost |
如果不需要输入密码即设置成功，恭喜你，可以进入下一步了。
三、下载hadoop2.2.0包解压安装。
大家可以自行到www.apache.org官网下载安装，也可以到下面http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.2.0/这个地址下载hadoop-2.2.0.tar.gz这个包，下载好后放入/home根目录下，用命令tar -zxvf hadoop-2.2.0.tar.gz解压即可。
在/home目录下会生成hadoop-2.2.0目录，为了便于升级和管理，增加一个链接目录，用命令ln -s hadoop2.2.0 hadoop既可。
最后配置HADOOP_HOME的环境变量
同JAVA_HOME类似，在/etc/profile文件中添加
export HADOOP_HOME=/home/hadoop即可。
至此hadoop环境及环境变量已经安装完毕，够简单吧，够帅吧，离成功越来越近。
let's go!
四：修改配置文件
修改的文件都在/home/hadoop/etc/hadoop下：
core-site.xml、hdfs-site.xml、yarn-site.xml 、mapred-site.xml. 四个文件
文件说明（略）
配置文件的添加和修改都在<configuration></configuration> 中
1、core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop_tmp</value>
</property>
添加hdfs的指定URL路径，由于是伪分布模式，所以配置的是本机IP ，可为真实ip、localhost。
2、hdfs-site.xml
1 |
<property> |
2 |
<name>dfs.namenode.name.dir</name> |
3 |
<value>/home/namenode</value> |
4 |
</property> |
5 |
6 |
<property> |
7 |
<name>dfs.datanode.data.dir</name> |
8 |
<value>/home/datanode</value> |
9 |
</property> |
主要是对namenode 和 datanode 存储路径的设置。为了便于管理，最好配置一下。
3、mapred-site.xml
1 |
<property> |
2 |
<name>mapreduce.framework.name</name> |
3 |
<value>yarn</value> |
4 |
</property> |
hadoop2.0有了yarn所以原来的mapred配置都转向yarn-site.xml文件中了，这里也就指定yarn。
4、yarn-site.xml
为了简单，快速做测试，使用默认的即可。
五 :hadoop启动
启动的文件都是 sbin下，bin下的都是命令。
使用命令cd $HADOOP_HOME切换到该安装目录下
首先格式化 namenode
1 |
bin/hdfs namenode -format |
确定不报错，且出现
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at startos/localhost
************************************************************/
启动namenode
1 |
sbin/hadoop-daemon.sh start namenode |
2 |
sbin/hadoop-daemon.sh start datanode |
运行测试
1 |
jps |
出现：
12935 NameNode
5309 Jps
13012 DataNode
证明启动成功，如果没有出现DataNode或者NameNode，证明启动没有成功，可以查看hadoop安装目录下的logs下的日志记录。
可以使用sbin/hadoop-daemon.sh stop datanode（或namenode）来关闭。
启动Manage管理
1 |
sbin/yarn-daemon.sh start resourcemanager |
2 |
sbin/yarn-daemon.sh start nodemanager |
运行测试
1 |
jps |
出现：
13338 NodeManager
13111 ResourceManager
12935 NameNode
5309 Jps
13012 DataNode
证明启动成功 同时也可以使用yarn-daemon.sh stop resourcemanager（nodemanager）来关闭。
如果没有单独配置yarn-site.xml中的yarn.resourcemanager.webapp.address，默认的端口8088 访问
http://127.0.0.1:8088/ 可以访问hadoop管理页面
如果没有单独配置 hdfs-site.xml中的dfs.namenode.http-address,默认端口50070
http://127.0.0.1:50070 可以访问namenode节点信息。
六：测试运行
操作命令与hadoop1.0非常类似，几乎相同。
首先进入HADOOP_HOME，cd $HADOOP_HOME
1: 在dfs上创建一个目录input
bin/hadoop dfs -mkdir /input
2:上传本地文件到input中
bin/hadoop dfs -put README.txt /input
3：查看上传的文件
bin/hadoop dfs -ls /input
同时也可以通过http://127.0.0.1:50070 查看节点下的文件。
OK,hadoop2.2.0稳定版__伪分布式安装完美收工。开心开启hadoop2.0之旅。
如果你安装运行成功了，认为给力的给个赞谢谢。有问题可以在回复中密我。