Hadoop2.x分布式集群部署12

一、Hadoop2.x分布式集群部署-HDFS

1. hadoop2.x版本下载及安装

https://archive.apache.org/dist

http://archive.cloudera.com/cdh5/

通过//Linux环境的准备和设置10//已经将所有虚拟机的Hadoop2.5.0安装解压完成

2. hadoop2.x分布式集群配置

1.配置节点

在机器1上配置namenode节点

在三台机器都配置一下datanode节点

通过NotePad++软件与虚拟机进行快速连接（详情方法请看https://jingyan.baidu.com/article/8065f87faf307d2330249862.html）

2.HDFS分布式部署

1.hadoop-env.sh

配置java环境变量

2.core-site.xml

添加http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/SingleCluster.html

所示对应内容配置设置为namenode的主机名

3.Hdfs-site.xml

添加http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/SingleCluster.html

所示对应内容

配置2个副本数

4.slaves（就这个是datanode的配置，其余均为namenode）

添加所有虚拟机主机名

3.yarn分布式部署

1.Yarn-env.sh

配置java环境变量

2.Yarn-site.xml

4.mapreduce部署

1.mapred-env.sh

配置java环境变量与参数

2.mapred-site.xml

3. HDFS启动集群运行测试

1.首先格式化

bin/hdfs namenode –format

2.启动

sbin/hadoop-daemon.sh start namenode只有pro01

sbin/hadoop-daemon.sh start datanode三台机器全有

3.转移hadoop安装配置

scp -r hadoop-2.5.0/  [email protected]:/opt/modules/

4.判断是否转移

5.启动所有的节点

bigdata-pro01.kfk.com : namenode datanode

bigdata-pro02.kfk.com : datanode

bigdata-pro03.kfk.com : datanode

以pro01为例启动

6.前端测试：
在浏览器中输入：http://bigdata-pro01.kfk.com:50070/

7.分布式集群配置成功

这显示说明创建01配置成功，如果配置三台则为三行数字

8.配置测试

1.创建一个目录上传一个文件看能否上传

bin/hdfs dfs -mkdir -p /user/kfk/data/ 创建了一个名字为kfk的目录

2.进入测试页面

3.显示配置目录成功

4.上传一个文件

bin/hdfs dfs -put /opt/modules/hadoop-2.5.0/etc/hadoop/core-site.xml /user/kfk/data/

由于已经创建过，所以显示文件已存在

5.显示上传成功

6.在CRT中get测试一下

bin/hdfs dfs -text /user/kfk/data/core-site.xml

可读可写配置完成