Hadoop2.7.3伪分布式搭建
1、 需要一台centos6.7系统
2、 主机名（hostname）:Node1
3、 Ipaddress:192.168.150.9
4、 Subnet mask:255.255.255.0
5、 Gateway: 192.168.150.1
6、 Hadoop版本：Hadoop 2.7.3.tar.gz
7、 安装JDK： jdk7u79linuxx64.tar.gz
8、 配置本机的ssh免密登录：
在本机上执行如下操作
ssh-keygen -t rsa -P
''
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod
600
~/.ssh/authorized_keys
|
完成之后，以 root 用户登录，修改 ssh 配置文件
|
1
|
vi /etc/ssh/sshd_config
|
把文件中的下面几条信息的注释去掉：
RSAAuthentication yes # 启用 RSA 认证
PubkeyAuthentication yes # 启用公钥私钥配对认证方式
AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径（和上面生成的文件同）
之后重新启动ssh服务
service sshd restart
9、 配置本地yum源：
mkdir /mnt/cdrom
mount /dev/cdrom /mnt/cdrom
cd /etc/yum.repo.d
rename .repo .repo.bak *
mv Centos-Media.repo.bak Centos-Media.repo
vi Centos-Media.repo
{
#CentOS-Media.repo
#
# This repo can be used with mounted DVD media,verify the mount point for
# CentOS-6. You can use this repo and yum to install items directly off the
# DVD ISO that we release.
#
# To usethis repo, put in your DVD and use it with the other repos too:
# yum --enablerepo=c6-media [command]
#
# or forONLY the media repo, do this:
#
# yum --disablerepo=\* --enablerepo=c6-media[command]
[c6-media]
name=CentOS-Node1
baseurl=file:///mnt/cdrom
gpgcheck=1
enabled=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6
}
10、 修改主机名：
Vim /etc/sysconfig/network
[root@jym/]# vim /etc/sysconfig/network
[root@jym/]# cat /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=Node1
NTPSERVERARGS=iburst
11、 去除掉开启启动时候的倒计时：
Vim /boot/grub/menu.lst 将其中的timeout修改为0
12、安装JDK时判断是否有默认安装版本JDK
然后重新安装JDK：
http://www.cnblogs.com/ysocean/p/6952166.html
13 安装Hadoop-2.7.3.tar.gz
将下载好的Hadoop压缩包复制到/home/hadoop中
进行解压，之后并对hadoop-2.7.3文件夹进行重命名为hadoop2.7
之后新建文件夹tmp
然后配置Hadoop的环境变量
vim /etc/profile
然后保存后，并执行source /etc/profile
之后进行相应的验证：输入hadoop,出现以下信息则配置成功
14、修改配置文件
vim /home/hadoop/hadoop2.7/etc/hadoop/hadoop-env.sh
在修改：vim /home/hadoop/hadoop2.7/etc/hadoop/core-site.xml
最后修改：vim /home/hadoop/hadoop2.7/etc/hadoop/hdfs-site.xml
到此为止，我们就搭建好了一个伪分布式Hadoop环境
然后进行初始化hdfs文件系统
bin/hdfs namenode -format
之后重启linux系统:reboot
在启动hdfs:
sbin/start-dfs.sh
输入jps进行相应的验证
然后我们就可以通过http://192.168.150.9:50070来访问Namenode
我们点开 Datanodes ,发现就一个 datanode ，而且 IP 是 NameNode 的
我们使用命令创建一个文件
那么在网页上我们就能看到这个文件
补充：需要修改hosts文件：
vim /etc/hosts修改的问价如下：
