hadoop框架搭建（一）

前提：在虚拟机CentOS-7下安装了jdk-8u25-linux-x64.tar.gz，实现免密登陆（安装虚拟机，jdk环境配置完了写）

我是在/opt/下mkdir programs datas tasks targz（programs放的是安装目录，datas放的是数据，tasks放的是大数据框架，targz放的是安装包），如下图：

1.用WinSCP.exe将hadoop-2.6.0.tar.gz上传到hadoop1下/etc/opt/targz/

2.解压hadoop-2.6.0.tar.gz

tar -zxvf /etc/opt/targz/hadoop-2.6.0.tar.gz -C /opt/programs/

3.修改环境变量

cd /opt/programs/hadoop-2.6.0/etc/hadoop/

vi hadoop-env.sh

进入编辑页面

将export JAVA_HOME={$JAVA_HOME}改为export JAVA_HOME=/usr/java/jdk1.8.0_25

即：

4.在/opt/programs/hadoop-2.6.0下

(1) mkdir input

(2) cp etc/hadoop/*.xml input

(3) bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount input output

(4) cat output/*

5.配置伪分布操作

在/opt/programs/hadoop-2.6.0下

vi etc/hadoop/core-site.xml

添加：

fs.defaultFS

hdfs://hadoop1:9000

hadoop.tmp.dir

/opt/programs/hadoop-2.6.0/data/tmp

如图：

vi etc/hadoop/hdfs-site.xml

目前只配置副本数，节约空间

添加：

dfs.replication

1

如图：

6.在启动hdfs之前，必须要初始化namenode

bin/hdfs namenode -format

出现一句话为successfully formatted

7.启动hdfs

sbin/hadoop-daemon.sh start namenode

sbin/hadoop-daemon.sh start namenode

使用jps命令查看守护进程是否正常运行

bin/hdfs dfs -mkdir /input

8.web界面

hadoop1:50070查看hdfs服务界面

如图：