Hadoop入门——伪分布式环境的搭建

一.配置虚拟机

设置静态ip，此处为192.168.159.130

/etc/hosts中配置如下：

192.168.159.130 hdserver1
192.168.159.131 hdserver2

二.安装jdk等基础环境

三.安装Hadoop

1.上传hadoop安装包

2.解压hadoop安装包

mkdir /cloud
#解压到/cloud/目录下
tar -zxvf hadoop-2.4.1.tar.gz -C /cloud/

3.修改配置文件（均在/cloud/hadoop-2.4.1/etc/hadoop目录下）

（1）修改hadoop-env.sh,将原来的JAVA_HOME写死

export JAVA_HOME=/usr/local/jvm/jdk1.7.0_79

（2）修改core-site.xml

新增如下：

   
        hadoop.tmp.dir
        /cloud/hadoop-2.4.1/hadoop/tmp
        Abase for other temporary directories.
   
   
        fs.default.name
        hdfs://hdserver1:9000
   

（3）hdfs-site.xml

	
	
	    dfs.replication
	    1
	
/configuration>

(4)重命名mapred-site.xml.template为mapred-site.xml，并加入相关内容

mv mapred-site.xml.template mapred-site.xml

	
	
		mapreduce.framework.name
		yarn
	

（5）yarn-site.xml

	
	
	    yarn.nodemanager.aux-services
		mapreduce_shuffle
	

4.将hadoop添加至环境变量

export JAVA_HOME=/usr/local/jvm/jdk1.7.0_79
export HADOOP_HOME=/cloud/hadoop-2.4.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

 

5.格式化hdfs(namenode)第一次使用时要格式化

hadoop namenode -format

6.启动hadoop

start-dfs.sh


start-yarn.sh


 start-all.sh

7.验证是否启动成功

[root@hdserver1 ~]# jps
1735 ResourceManager
1593 SecondaryNameNode
1446 DataNode
3846 Jps
1331 NameNode
1831 NodeManager
[root@hdserver1 ~]# 

 

8.管理界面

HDFS管理界面：http://192.168.159.130:50070

MR管理界面：http://192.168.159.130:8088

 

四.配置SSH免登陆

cd ~   进入到我的home目录
cd .ssh/
ssh-keygen -t rsa （四个回车）
执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
touch authorized_keys新建该文件
chmod 600 authorized_keys 修改权限
在hdserver1 上执行 scp ~/.ssh/id_rsa.pub hdserver2:~/  将公钥拷贝到要免登陆的机器上
cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
	或
ssh-copy-id -i localhost 
	
然后在hdserver1服务器上通过ssh hdserver2（/etc/hosts文件中进行配置）命令行无需密码可直接登录