centOS7上搭建hadoop2.4.1的步骤

阅读更多

1.给虚拟机配置静态IP

执行命令： vim  /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0
IPV6INIT=yes
#BOOTPROTO=dhcp  #修改前
BOOTPROTO="static" #修改后
UUID=38fddc7f-1e93-4186-90e0-5b4edc91f398
ONBOOT=yes
TYPE=Ethernet
DEFROUTE=yes
PEERDNS=yes
PEERROUTES=yes
IPV4_FAILURE_FATAL=no
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_PEERDNS=yes
IPV6_PEERROUTES=yes
IPV6_FAILURE_FATAL=no
NAME="System eth0"
IPADDR=192.168.1.250 #设置IP地址
NETMASK=255.255.255.0
GATEWAY=192.168.2.1 #默认网关
DNS1=192.168.2.1 #DNS 配置
HWADDR=52:54:00:a8:30:a4

 

我的虚拟机静态ip地址配置为192.168.1.250

配置完成后重启网络服务

执行命令：service network restart

具体步骤见Centos 7 学习之静态IP设置

2.配置/etc/hosts文件

执行命令：vim /etc/hosts

添加一行

192.168.1.250 master

3.修改/etc/hostname文件

执行命令：vim /etc/hostname       修改成功后用hostname命令查看当前主机名是否设置成功。

添加主机名

master

4.修改/etc/sysconfig/network文件

执行命令：vim /etc/sysconfig/network

通过对"/etc/sysconfig/network"文件修改其中"HOSTNAME"后面的值，改成我们规定的名称

 修改主机名为master

NETWORKING=yes
HOSTNAME=master

 5.下载jdk和hadoop软件，配置jdk和hadoop环境

执行命令：vim /etc/profule

在文件尾部添加如下代码，注意JAVA_HOME和HADOOP_HOME是你自己的jdk和hadoop的路径

#java路径
export JAVA_HOME=/home/qian/java/jdk1.7.0_65
#hadoop路径
export HADOOP_HOME=/home/qian/hadoop/hadoop-2.4.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

注：不知道jdk的安装路径时，用命令  echo $JAVA_HOME 查找安装路径，hadoop也一样

 6.配置免密钥登陆

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub>>~/.ssh/authorized_key

查看是否安装成功

#查看是否有sshd进程
ps -e | grep ssh
#尝试登录本地
ssh localhost

 从slaver2连到slaver1

[root@slaver2 ~]# ssh root@slaver1

 

 7.进入解压后的hadoop目录

执行命令：cd hadoop-2.4.1

 8.修改配置

8.1修改hdfs-site.xml 

执行命令vi etc/hadoop/hdfs-site.xml 

dfs.replication
1
 

 8.2修改core-site.xml

执行命令：vim etc/hadoop/core-site.xml

    fs.defaultFS
hdfs://master:9000
  

        hadoop.tmp.dir
        /home/qian/hadoop/tmp
   

 8.3修改mapred-site.xml

写道

执行命令：
cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
vi etc/hadoop/mapred-site.xml

 

        mapreduce.framework.name
        yarn
    

 8.4修改yarn-site.xml

执行命令:vim /etc/hadoop/yarn-site.xml

        yarn.nodemanager.aux-services
        mapreduce_shuffle
    

 8.5如果找不到jdk的环境变量，修改hadoop-env.sh  把jdk的环境变量写死

export JAVA_HOME=/home/qian/java/jdk1.7.0_65

 9.格式化namenode

bin/hadoop namenode -format

 10.启动服务

sbin/start-dfs.sh
sbin/start-yarn.sh

 11.查看进程

执行命令：jps

 看到如下进程

696 DataNode
972 Jps
874 ResourceManager
780 SecondaryNameNode
632 NameNode
944 NodeManager

 说明安装完成

几个重要命令

 centos7查看防火墙状态：systemctl status firewalld

关闭防火墙状态：systemctl stop firewall.service

创建用户命令

useradd hadoop

 给hadoop用户添加权限，打开/etc/sudoers文件

vim /etc/sudoers

按回车键后就会打开/etc/sudoers文件了，给hadoop用户赋予root用户同样的权限

在root  ALL=(ALL:ALL)  ALL下添加hadoop  ALL=(ALL:ALL)  ALL 

参考文章：hadoop+hbase+zookeeper完全分布式环境搭建

参考文章：hadoop-2.4.0完全分布式集群搭建http://my.oschina.net/voyage1314/blog/262392