hadoop系列之四hadoop集群安装

hadoop集群安装

前提:

关闭防火墙

安装jdk

免密登录

hadoop安装包:

链接：http://pan.baidu.com/s/1kU8mjAn 密码：q8mo

1)安装hadoop

1.上传hadoop的包

sz -y

2.创建一个目录

mkdir apps

3.解压hadoop包

tar -zxvf hadoop-2.6.4.tar.gz -C apps/

cd apps/hadoop-2.6.4/

4.配置hadoop-env.sh,指定jdk路径

cd /home/hadoop/apps/hadoop-2.6.4/etc/hadoop

vi etc/hadoop/hadoop-env.sh

which java  可以查看jdk安装路径

5.配置公共配置文件core-site.xml

vi core-site.xml

<configuration>
        <!-- 指定hadoop使用HDFS文件系统,也可以用其它的文件系统 -->
        <property>
                <name>fs.defaultFS</name>
		<!-- nameNode节点在那台机器上面就配置在那台 -->
                <value>hdfs://mini06:9000</value>
        </property>
        <!-- 每个进程产生的临时数据存放到指定的目录 -->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/hadoop/hdpdata</value>
        </property>
</configuration>

6.配置hdfs-site.xml

vi hdfs-site.xml

<!-- 文件存入的副本数量,默认是3 -->
<property>
	<name>dfs.replication</name>
	<value>2</value>
</property>

7.配置mapred-site.xml.template

vi mapred-site.xml.template

<configuration>
        <!-- 指定mapreduce程序在yarn平台上运行,默认是local,本机运行 -->
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

修改文件名称

mv mapred-site.xml.template mapred-site.xml

8.配置yarn-site.xml

vi yarn-site.xml

<configuration>
        <!-- 配置yarn的ResourceManager -->
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>mini06</value>
        </property>
        <!-- 让ResourceManager提供shuffle服务 -->
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

2)批量复制到其它机器上

1.将hadoop复制到mini01到mini05等5台机器上

cd

scp -r apps mini05:/home/hadoop/

scp -r apps mini04:/home/hadoop/

scp -r apps mini03:/home/hadoop/

scp -r apps mini02:/home/hadoop/

scp -r apps mini01:/home/hadoop/

2.在mini06配置hadoop环境变量

sudo vi /etc/profile

export HADOOP_HOME=/home/hadoop/apps/hadoop-2.6.4

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

3.将配置的环境变量复制到mini1-5:

sudo scp /etc/profile mini05:/etc/

sudo scp /etc/profile mini04:/etc/

sudo scp /etc/profile mini03:/etc/

sudo scp /etc/profile mini02:/etc/

sudo scp /etc/profile mini01:/etc/

5台机器都要source

source /etc/profile

4.格式化hadoop namenode

在mini06上操作

hadoop namenode -format

cd  /home/hadoop/hdpdata/dfs/name/current/

ll

格式化完成

3)开启hadoop集群

1.开启namenode节点

hadoop-daemon.sh start namenode

查看是否开启成功namenode节点

Jps

配置名称映射:

c:\Windows\System32\drivers\etc\hosts

网页版方式访问hadoop相关信息

http://mini06:50070/dfshealth.html#tab-overview

2.开启datanode节点

hadoop-daemon.sh start datanode

Jps

mini01到mini05也同样开启datanode

3.关闭datanode命令

hadoop-daemon.sh stop datanode

4.关闭namenode命令

hadoop-daemon.sh stop namenode

4)使用hadoop的自动化脚本启动

1.配置要启动的linux主机

cd /home/hadoop/apps/hadoop-2.6.4/etc/hadoop/

vi slaves

mini01

mini02

mini03

mini04

mini05

2.配置hadoop用户的免密登录

如果已经配置可以忽略

在mini06机器上配置免密登录

生成密钥

ssh-keygen

加入到每台机器上

ssh-copy-id mini06

ssh-copy-id mini05

ssh-copy-id mini04

ssh-copy-id mini03

ssh-copy-id mini02

ssh-copy-id mini01

3.启动脚本

start-dfs.sh

4.关闭脚本

stop-dfs.sh

5.查看hadoop日志

如果报错了,可以去hadoop日志查看错误日志

cd /home/hadoop/apps/hadoop-2.6.4/logs/

tailf hadoop-hadoop-namenode-mini06.log