搭建Hadoop集群 (一)
上面讲了如何搭建Hadoop的Standalone和Pseudo-Distributed Mode(搭建单节点Hadoop应用环境), 现在我们来搭建一个Fully-Distributed Mode的Hadoop Cluster.
环境
虚拟机: VirtualBox 5
Server操作系统: CentOS-6.7-x86_64-LiveCD
Hadoop版本: 2.6.2
安装Linux虚拟机
安装虚拟机, 这里一共安装3台, hostname分别取名: master, slave1, slave2. 虚拟机网络采用Bridged Adapter.
master扮演NameNode和ResourceManager的角色. 如果你的硬件条件允许, 也可以单独为ResourceManager使用一台虚拟机, 组成masters虚拟机群.
slave则被用作DataNode和NodeManager.
创建hadoop专用账户
按照正常步骤安装系统, LiveCD版本可以在安装过程中, 直接创建新用户, 用户名设为hm, 作为hadoop的专用账户.
或者使用命令行新建hadoop用户和组, 并设置密码:
[root@localhost /]# groupadd hadoop
[root@localhost /]# useradd -s /bin/bash -d /home/hm -m hm -g hadoop
[root@localhost /]# passwd hm
为hm添加sudoer权限
[root@localhost /]# chmod u+w /etc/sudoers
[root@localhost /]# vi /etc/sudoers
[root@localhost /]# chmod u-w /etc/sudoers
在sudoers中修改:
## Allow root to run any commands anywhere root ALL=(ALL) ALL hm ALL=(ALL) ALL :x 保存退出
[root@localhost /]# chmod u-w /etc/sudoers
[root@localhost /]# reboot
修改HostName
以master机器为例:
[hm@localhost ~]$ sudo vi /etc/hosts
为你的hostname映射正确的ip (ip根据你的ifconfig结果来定)
192.168.1.105 master
192.168.1.106 slave1
192.168.1.107 slave2
再把network中的hostname改成master
[hm@master ~]$ sudo vi /etc/sysconfig/network
重启生效.
安装VirtualBox Guest Additions增强包(Optional - 推荐)
方便后续操作. (主机-虚机之间文件拖拽, 鼠标集成, 共享剪贴板等等)
首先确认Internet访问正常
如果你的网络有防火墙, 去左上角菜单中, System->Preferences->Network Proxy中设置.
同时, 把master, slave1, slave2加入到proxy的Ignored Hosts里面.
最后, 修改yum配置使得它能从网上下载安装包和相关依赖.
打开Terminal:
[hm@master ~]# sudo vi /etc/yum.conf
添加: (无需用户名密码的话, 最后两行省略)
# The proxy server - proxy server:port number proxy=http://yourproxy.yourdomain.com:yourport # The account details for yum connections proxy_username=yourusername proxy_password=yourpassword
安装VirtualBox增强包
点击Devices->Insert Guest Additions CD Image.. 双击光盘运行安装.
如果遇到安装Failed:
安装kernel-devel package(安装增强包需要用到它): 该package包含内核开发环境所需的内核头文件, 以及编译它们所需的Makefile. (CentOS6.7 LiveCD版, 以及某些RH发行版, 默认无附带)
[hm@master ~]# sudo yum install kernel-devel-2.6.32-573.el6.x86_64 gcc
再次尝试安装增强包, 应该就能成功. (如果提示OpenGL Support Module Failed, 可忽略)
点击Devices->Shared ClipBoard和Drag and Drop, 设置成Bidirectional.
重启虚拟机. 则可以和主机共享剪贴板, 并且可以相互拖拽文件.
安装配置SSH和JAVA
安装软件包
首先确认是否已经有安装: (其中openssh-server只要确保master上有即可)
[hm@master ~]$ rpm -qa | grep ssh
[hm@master ~]$ rpm -qa | grep jdk
可以看到openssh的server和client都已经安装, 因此只需要安装jdk即可. (hadoop查看守护进程需要用到jdk里的jps命令, 需要openjdk的devel版本, 或者sun jdk)
[hm@master ~]$ yum search openjdk
[hm@master ~]$ sudo yum install java-1.7.0-openjdk-devel.x86_64
查看一下安装目录, 记下来将来配置hdfs要用.
[hm@master ~]$ rpm -ql java-1.7.0-openjdk-devel-1.7.0.95-2.6.4.0.el6_7.x86_64
得到jdk的绝对安装路径: /usr/lib/jvm/java-1.7.0-openjdk-1.7.0.95.x86_64
Optional - 克隆创建slave1和slave2
先Power Off master虚拟机, 右键点选它, clone.
由于我们要让三台虚拟机在同一个网段运行, 推荐勾选Reinitialize the MAC address of all network cards. 如果不幸遇到网卡找不到或者不匹配, 需自己手动修改/etc/sysconfig/network-scripts/ifcfg-eth*. 具体自行谷歌.
Full Clone, 成功后启动slave虚拟机.
修改hosts和network两个文件, 参考上文.
这时输入ping master, ping slave1之类的命令, 应该相互可以通讯. (别忘记将slave的信息放入master的hosts文件中)
192.168.1.105 master
192.168.1.106 slave1
192.168.1.107 slave2
在master上启动SSH Server
检查ssh server的进程是否启动
[hm@master ~]$ ps -e|grep sshd
如果没有, 手动启动该进程
[hm@master ~]$ sudo /etc/init.d/sshd start
Optional - 设置sshd开机启动
先检查当前设置
[hm@master ~]$ chkconfig --list sshd
sshd 0:off 1:off 2:off 3:off 4:off 5:off 6:off
设成开机启动
[hm@master ~]$ sudo chkconfig sshd on
再次检查可以看到2-5项都变成on了.
设置master和slave1, slave2之间免密码SSH登录
单机免密码登录
主要目的是看看ssh是否正常工作
[hm@master ~]$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
[hm@master ~]$ cat .ssh/id_dsa.pub >> .ssh/authorized_keys
[hm@master ~]$ ssh localhost
成功登录后, 输入exit退出当前ssh登录. 以后再输入ssh localhost就可以直接无密码登录. 如果再次登录还需要密码, 尝试把authorized_keys权限改为600.
master免密码SSH登录slave
登录slave1, 把master的公钥拷贝到slave的authorized_keys中.
[hm@slave1 ~]$ scp hm@master:~/.ssh/id_dsa.pub .ssh/master_dsa.pub
[hm@slave1 ~]$ cat .ssh/master_dsa.pub >> .ssh/authorized_keys
用hm账户登录master, 输入ssh slave1, 首次连接后, 之后即可无密码访问slave1. 同理为slave2配置免密码访问.
到此, master-slave结构的虚拟机集群搭建完毕, 接下来开始安装Hadoop, 参见 搭建Hadoop集群 (二)