hadoop环境搭建(三)

hadoop的伪分布式部署

1.配置集群环境

（1）修改第一个配置

在/opt/module/hadoop-3.1.3/etc/hadoop目录下，设置hadoop-env.sh文件

vi hadoop-env.sh

命令模式下输入：/JAVA_HOME回车

（2）修改第二个配置

在/opt/module/hadoop-3.1.3/etc/hadoop目录下，设置core-site.xml文件

vi core-site.xml

 

 hadoop1000  是自己的主机名

（3）修改第三个配置

在/opt/module/hadoop-3.1.3/etc/hadoop目录下，设置hdfs-site.xml文件

vi hdfs-site.xml

命令：vi hdfs-site.xml

在configuration中指定HDFS的数量

        dfs.replication

        1

（红色部分是插入部分）

2.启动集群

（1）格式化namenode,命令：

hdfs namenode -format

（2）启动namenode,命令：

hdfs --daemon start namenode

（3）如果出现进程启动不起来

在/opt/module/hadoop3.1.3/有logs文件夹 需要删除， 命令是：

cd /optmodule/hadoop3.1.3/

ll

rm -rf logs

1.启动resourcemanager

命令：yarn --daemon start resourcemanager

2.启动nodemanager

命令：yarn --daemon start nodemanager

3.Jsp查看java进程

命令：jsp

4.在HDFS中创建文件夹/user/input

命令：hdfs dfs -mkdir -p /user/input

5.将文件上传到HDFS

命令：hdfs  dfs  –put 要上传的文件名 上传的地址

例: hdfs  dfs  -put  wcinput/wc.input   /user/input/

6.查看hdfs的文件目录

命令：Hdfs dfs –ls 文件路径  

注意：这里面的根目录不是linux的根目录

案例：hdfs dfs -ls /user/input/

7.查看hdfs中文件内容

命令：hdfs dfs –cat 文件名

案例：hdfs dfs -cat /user/input/wc.input

8.执行文件；命令：

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount 执行的文件位置 输出的文件位置

例：hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /user/input  /user/output

9.查看执行后的结果

命令：hdfs dfs -cat 输出文件路径/*

案例：hdfs dfs -cat /user/output/*

10.停止进程

hdfs –daemon stop namenode

Hdfs维护了一个抽象的目录

群起命令 start-all.sh

群停命令：stop-all.sh