Hadoop集群安装

Hadoop集群安装

1.配置服务器

1个主节点：admin3(192.168.213.3)，2个（从）子节点，admin4(192.168.213.4)，admin5(192.168.213.5)

配置主节点名(192.168.213.3)

vi /etc/sysconfig/network

添加内容：

NETWORKING=yes

HOSTNAME=admin3

配置两台子节点名(192.168.213.4)和(192.168.213.5)

vi /etc/sysconfig/network

添加内容：

NETWORKING=yes

HOSTNAME=admin4

 

vi /etc/sysconfig/network

添加内容：

NETWORKING=yes

HOSTNAME=admin5

 

配置hosts

打开主节点的hosts文件，要将文件的前两行注释掉 (注释当前主机的信息)并在文件中添加所有hadoop集群的主机信息。

vi /etc/hosts

192.168.213.3   admin3

192.168.213.4   admin4

192.168.213.5   admin5

保存之后，将主节点的hosts分别拷贝到其他两个子节点

scp /etc/hosts [email protected]:/etc/

scp /etc/hosts [email protected]:/etc/

然后分别执行(重启服务器也可以不执行下面的语句): /bin/hostname hostname

例如：master上执行 /bin/hostname master，使之生效。

2. 配置ssh无密码访问

生成公钥密钥对

在每个节点上分别执行：

ssh-keygen -t rsa

一直按回车直到生成结束

执行结束之后每个节点上的/root/.ssh/目录下生成了两个文件

id_rsa (私钥)和 id_rsa.pub(公钥)

在主节点上执行：

cp id_rsa.pub authorized_keys                  //将自己的公钥合并到authorized_keys文件中去。

将子节点的公钥拷贝到主节点并添加进authorized_

将两个子节点的公钥拷贝到主节点上，分别在两个子节点上执行：

scp ~/.ssh/ id_rsa.pub root@admin3:/~/.ssh/id_rsa_admin4.pub          //子节点将公钥给主节点

scp ~/.ssh/ id_rsa.pub root@admin3:/~/.ssh/id_rsa_admin5.pub

然后在主节点上，将拷贝过来的两个公钥合并到authorized_keys文件中去

主节点上执行：

cat id_rsa_admin4.pub>>authorized_keys     //主节点将各子节点公钥写到authorized_keys中

cat id_rsa_admin5.pub>>authorized_keys

 

将主节点的authorized_keys文件分别替换子节点的authorized_keys文件

主节点上用scp命令将authorized_keys文件拷贝到子节点的相应位置

//主节点将自己公钥和各个子节点公钥合并成的authorized_keys文件分别拷贝的各个

//子节点，这样大家就会有相同的公钥，所以可以免密码登陆。

scp authorized_keys root@admin3:/root/.ssh/

scp authorized_keys root@admin4:/root/.ssh/

 

最后测试是否配置成功

在admin3上分别执行

ssh admin4

exit

ssh admin5

exit

能正确跳转到两台子节点的操作界面即可，同样在每个子节点通过相同的方式登录主节点和其他子节点也能无密码正常登录就表示配置成功。

在admin4上执行：

ssh admin3

exit

ssh admin5

exit

 

在admin5上执行：

ssh admin3

exit

ssh admin4

exit

 

这里的配置方式可以有多种操作步骤，最终目的是每个节点上的/root/.ssh/authorized_keys文件中都包含所有的节点生成的公钥内容。

3. 安装jdk

卸载jdk

查看系统已经装的jdk：

rpm -qa|grep jdk

卸载jdk:

rpm -e --nodepsjava-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64

安装JDK（三台机器都要安装）

安装位置/usr/hadoop/jdk1.8.0_73

下载JDK

解压JDK ： tar -zxvf /usr/hadoop/jdk-8u73-linux-x64.gz

配置环境变量, 编辑profile文件：

vi /etc/profile

在profile文件末尾添加以下代码:

#sent jdk

export JAVA_HOME=/usr/hadoop/jdk1.8.0_73

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

保存后，使刚才编辑的文件生效：

source /etc/profile

测试是否安装成功：java –version

4.安装hadoop           --在创建免密登陆的前提下实现hadoop集群

在master主机上安装hadoop

安装位置自定，例如安装在/usr目录下面

下载hadoop包，放在/usr目录下，解压hadoop

tar -zxvf /opt/hadoop/hadoop-2.6.4.tar.gz

在usr下面生成hadoop-2.6.4目录

配置环境变量：

vi /etc/profile

在末尾添加：

#sent hadoop

export HADOOP_HOME=/usr/hadoop/hadoop-2.6.4

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

保存后使新编辑的profile生效：

source /etc/profile

5.配置hadoop

配置hadoop配置文件

需要配置的文件的位置为/hadoop-2.6.4/etc/hadoop，需要修改的有以下几个

hadoop-env.sh

yarn-env.sh

core-site.xml

hdfs-site.xml

mapred-site.xml

yarn-site.xml

slaves

其中

hadoop-env.sh和yarn-env.sh里面都要添加jdk的环境变量：

hadoop-env.sh中

# The java implementation to use.

export JAVA_HOME= /usr/hadoop/jdk1.8.0_73

(红色为新添加的内容，其他的代码是文件中原有的)

# The jsvc implementation to use. Jsvc isrequired to run secure datanodes

# that bind to privileged ports to provideauthentication of data transfer

# protocol. Jsvc is not required if SASL is configured for authentication of

# data transfer protocol usingnon-privileged ports.

#export JSVC_HOME=${JSVC_HOME}

 

yarn-env.sh中

 

# User for YARN daemons

exportHADOOP_YARN_USER=${HADOOP_YARN_USER:-yarn}

 

# resolve links - $0 may be a softlink

exportYARN_CONF_DIR="${YARN_CONF_DIR:-$HADOOP_YARN_HOME/conf}"

 

# some Java parameters

exportJAVA_HOME=/opt/java/jdk1.7.0_72

(红色为新添加的内容，其他的代码是文件中原有的)

 

core-site.xml中

       

                fs.defaultFS

                hdfs://master:9000      

       

       

               io.file.buffer.size

               131072

       

       

               hadoop.tmp.dir

               file:/usr/temp

       

       

               hadoop.proxyuser.root.hosts

                *

       

       

               hadoop.proxyuser.root.groups

                *

       

hdfs-site.xml中

       

               dfs.namenode.secondary.http-address

                master:9001         

       

       

               dfs.namenode.name.dir

               file:/usr/dfs/name

       

       

                dfs.datanode.data.dir

               file:/usr/dfs/data

       

       

               dfs.replication

                2

       

       

               dfs.webhdfs.enabled

                true

       

       

               dfs.permissions

               false

       

       

               dfs.web.ugi

                supergroup

       

mapred-site.xml中（将目录下的mapred-site.xml.template文件拷贝一份，并命名为mapred-site.xml，然后再将下列代码拷入mapred-site.xml）

       

               mapreduce.framework.name

                yarn

       

       

               mapreduce.jobhistory.address

                master:10020       

       

       

               mapreduce.jobhistory.webapp.address

                master:19888       

       

yarn-site.xml中

       

               yarn.nodemanager.aux-services

               mapreduce_shuffle

       

       

               yarn.nodemanager.aux-services.mapreduce.shuffle.class

                org.apache.hadoop.mapred.ShuffleHandler

       

       

               yarn.resourcemanager.address

                master:8032         

       

       

               yarn.resourcemanager.scheduler.address

                master:8030       

 

       

               yarn.resourcemanager.resource-tracker.address

                master:8031

       

       

               yarn.resourcemanager.admin.address

                master:8033         

       

       

               yarn.resourcemanager.webapp.address

                master:8088         

       

slaves中

admin4

admin5

拷贝hadoop安装文件到子节点

主节点上执行：

scp -r hadoop-2.6.4 root@admin4:/usr/hadoop/            //两边路径保持一致，则所以都必须将//hadoop-2.6.4放到hadoop路径下

scp -r hadoop-2.6.4 root@admin5:/usr/hadoop/

拷贝prollfile到子节点

主节点上执行：

scp /etc/profile root@admin4:/etc/

scp /etc/profile root@admin5:/etc/

在两个子节点上分别使新的profile生效：

source /etc/profile

 

格式化主节点的namenode

主节点上进入hadoop目录

然后执行：

./bin/hadoop namenode –format

提示：successfully formatted表示格式化成功

启动hadoop

主节点上在hadoop目录下执行：（进入hadoop-2.6.4再进入sbin目录）

./start-all.sh

 

主节点上jps进程有：

NameNode

SecondaryNameNode

ResourceManager

每个子节点上的jps进程有：

DataNode

NodeManager

如果这样表示hadoop集群配置成功