基于hadoop2.2.0分布式搭建

部分信息显示不全,可参照附件文件**********

1. 集群主机ip

192.168.1.190  master

192.168.1.191  slave1

2. centos系统准备工作

* 安装ssh: $ sudo yum install ssh

* 安装rsync: $ sudo yum install rsync//linux实现远程同步的软件

* ip配置

3. 服务器SSH无验证双向登陆打通配置

3.1. 配置服务器ip(此处省略)

3.2. 修改hosts

 $ sudo vi /etc/hosts

3.3. 修改hostname

$ sudo vi /etc/hostname

修改network文件: $ sudo vi /etc/sysconfig/network

3.4. 重启网络

$ service network restart

3.5. 设置远程无密码登录

$ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa //产生秘钥

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys //导入authorized_keys

$ cd ~/.ssh///切入master服务器 .ssh目录

$ scp authorized_keys hadoop@slave1:~/.ssh/authorized_keys_from_master

//进入slave1的.ssh目录,并将master目录下的authorized_keys存为slave1服务器目录/home/hadoop/.ssh/authorized_keys_from_keys文件

$ cat authorized_keys_from_master  >>  authorized_keys//文件追加到authorized_keys

$ chmod 600 authorized_keys //修改权限为-rw------- root读写权限

$ chmod 700 /home/hadoop/.ssh/  //修改.ssh权限为root获得所有操作权限

 

修改完成后各个服务器节点.ssh结构为:

authorized_keys文件权限为:

.ssh文件夹权限为:

 

$ sudo vi /etc/ssh/sshd_config//去掉下述红框注释,保存文件

$ service sshd restart //重启ssh服务


【注意】:以上操作根据每台Server情况动作重复进行。

3.6. 测试是否配置成功

本机三种ssh登录测试(localhost, ip ,hostname)

服务器节点相互ssh无密码登录连接测试

【配置要点总结】

>修改文件:hosts hostname network

>生成公钥私钥,节点相互拷贝

>配置sshd文件

>修改两个文件权限authorized_keys与.ssh

【参照文档】

http://www.aboutyun.com/thread-6487-1-1.html Hadoop伪分布安装过程:单机环境搭建指南

http://www.aboutyun.com/blog-3779-85.html CentOS6.4之图解SSH无验证双向登陆配置

4. 安装hadoop及配置hadoop集群

4.1. 下载hadoop

$ wget http://121.5.21.7/files/617800000336092D/www-eu.apache.org/dist/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

4.2. 修改文件权限

$ chmod 770 hadoop-2.7.3.tar.gz//-rwxrwx---

4.3. 解压文件并重命名

$ tar -zxvf hadoop-2.7.3.tar.gz

$ mv hadoop-2.7.3 hadoop //重命名

4.4. 安装jdk配置环境变量

亲,不会百度吧,太晚了小编就不写了,好困

4.5.修改配置文件列表< 7个>:

~/hadoop-2.2.0/etc/hadoop/core-site.xml

~/hadoop-2.2.0/etc/hadoop/hdfs-site.xml

~/hadoop-2.2.0/etc/hadoop/hadoop-env.sh

~/hadoop-2.2.0/etc/hadoop/yarn-env.sh

~/hadoop-2.2.0/etc/hadoop/slaves

~/hadoop-2.2.0/etc/hadoop/mapred-site.xml

~/hadoop-2.2.0/etc/hadoop/yarn-site.xml


4.6. 修改hadoop配置文件

$ cd /home/hadoop/server/hadoop-2.7.3/etc/hadoop//切换到配置文件目录下

$ vi core-site.xml //修改sore-site.xml文件


【注意】

一定要注意目录一定要存在/home/hadoop/tmp/hadoop,文件夹权限为drwxrwxr-x

 

$ vi hdfs-site.xml //修改hdfs-site.xml文件


【注意】

文件路径是否存在,文件权限为drwxrwxr-x

 

$ vi hadoop-env.sh   //修改java_home变量值

$ vi yarn-env.sh  //修改java_home变量值

 


$ vi slaves //保存所有slave节点

$ cp mapred-site.xml.template mapred-site.xml

$ vi mapred-site.xml

$ vi yarn-site.xml

4.7 拷贝master-hadoop至slave1

$ scp -r /home/hadoop/server/hadoop hadoop@slave1:~/server/

 

4.8 修改配置文件脚本

4.9 添加配置环境变量

$ vi ~/.bashrc

$ source ~/.bashrc

 

4.10 启动hadoop(master节点)

$ cd /home/hadoop/server/hadoop/bin

$ hadoop namenode –format

4.11 启动hdfs

$ cd /home/hadoop/server/hadoop/sbin

$ start-all.sh

查看master有如下启动进程

查看slave1有如下启动进程

启动成功

 

【参照文档】

 http://www.aboutyun.com/thread-7684-1-1.html

你可能感兴趣的:(基于hadoop2.2.0分布式搭建)