hadoop环境搭建(三)

hadoop的伪分布式部署

1.配置集群环境

(1)修改第一个配置

在/opt/module/hadoop-3.1.3/etc/hadoop目录下,设置hadoop-env.sh文件

vi hadoop-env.sh

命令模式下输入:/JAVA_HOME回车

(2)修改第二个配置

在/opt/module/hadoop-3.1.3/etc/hadoop目录下,设置core-site.xml文件

vi core-site.xml

 hadoop环境搭建(三)_第1张图片

 hadoop1000  是自己的主机名

(3)修改第三个配置

在/opt/module/hadoop-3.1.3/etc/hadoop目录下,设置hdfs-site.xml文件

vi hdfs-site.xml

命令:vi hdfs-site.xml

在configuration中指定HDFS的数量





        dfs.replication

        1

(红色部分是插入部分)

2.启动集群

(1)格式化namenode,命令:

hdfs namenode -format

(2)启动namenode,命令:

hdfs --daemon start namenode

(3)如果出现进程启动不起来

在/opt/module/hadoop3.1.3/有logs文件夹 需要删除, 命令是:

cd /optmodule/hadoop3.1.3/

ll

rm -rf logs

1.启动resourcemanager

命令:yarn --daemon start resourcemanager

2.启动nodemanager

命令:yarn --daemon start nodemanager

3.Jsp查看java进程

命令:jsp

4.在HDFS中创建文件夹/user/input

命令:hdfs dfs -mkdir -p /user/input

5.将文件上传到HDFS

命令:hdfs  dfs  –put 要上传的文件名 上传的地址

例: hdfs  dfs  -put  wcinput/wc.input   /user/input/

6.查看hdfs的文件目录

命令:Hdfs dfs –ls 文件路径  

注意:这里面的根目录不是linux的根目录

案例:hdfs dfs -ls /user/input/

7.查看hdfs中文件内容

命令:hdfs dfs –cat 文件名

案例:hdfs dfs -cat /user/input/wc.input

8.执行文件;命令:

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount 执行的文件位置 输出的文件位置

例:hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /user/input  /user/output

9.查看执行后的结果

命令:hdfs dfs -cat 输出文件路径/*

案例:hdfs dfs -cat /user/output/*

10.停止进程

hdfs –daemon stop namenode

Hdfs维护了一个抽象的目录

群起命令 start-all.sh

群停命令:stop-all.sh

 

你可能感兴趣的:(hadoop,big,data,大数据)