Hadoop Hdfs基本命令

0目录

1.hadoop安装问题处理

2.hdfs基本命令

3.上传/下载文件和文件夹

1.hadoop安装问题处理

如果安装有进程无法启动,如下图

Hadoop Hdfs基本命令_第1张图片

重新检查6个配置文件

Core-site.xml \ hdfs-site.xml \ hadoop-env.sh \ yarn-site.xml \ workers \ yarn-site.xml

Hadoop Hdfs基本命令_第2张图片

来到hadoop313目录

Hadoop Hdfs基本命令_第3张图片

清空data和yarndata

重新初始化

测试

Hadoop Hdfs基本命令_第4张图片

2.hadoop hdfs基本命令

Windows目录添加端口号

Hadoop Hdfs基本命令_第5张图片

Hadoop Hdfs基本命令_第6张图片

测试

Hadoop Hdfs基本命令_第7张图片

分布式启动命令

关闭

Hadoop Hdfs基本命令_第8张图片

启动dfs.sh

Hadoop Hdfs基本命令_第9张图片

关闭dfs.sh

Hadoop Hdfs基本命令_第10张图片

启动yarn

Hadoop Hdfs基本命令_第11张图片

对应

dfs.sh   对应    DataNode / NameNode / SecondaryNameNode

yarn.sh  对应    ResourceManager / NodeManager

启动单一进程

来到sbin目录下 启动hdfs

Hadoop Hdfs基本命令_第12张图片

启动yarn

Hadoop Hdfs基本命令_第13张图片

Hadoop Hdfs基本命令_第14张图片

3.上传/下载文件夹和文档

目前没有文件和文档

Hadoop Hdfs基本命令_第15张图片

Opt 目录下创建kb23tmp文件夹,kb23tmp创建hellohadoop.txt

Hadoop Hdfs基本命令_第16张图片

编辑hellohadoop.txt

Hadoop Hdfs基本命令_第17张图片

上传

上传成功

Hadoop Hdfs基本命令_第18张图片

上传文件 来到install目录下

hdfs 创建 install文件

Hadoop Hdfs基本命令_第19张图片

上传

[root@kb130 install]# hdfs dfs -put ./hadoop313.gz /install

上传成功

Hadoop Hdfs基本命令_第20张图片

3个节点

Hadoop Hdfs基本命令_第21张图片

删除文档

删除文件夹

Hadoop Hdfs基本命令_第22张图片

下载 将hellohadoop.txt 下载到当前(kb23tmp目录下)

Hadoop Hdfs基本命令_第23张图片

Hadoop Hdfs基本命令_第24张图片

补充常见端口号

  • 常用端口号
    hadoop3.x
    HDFS NameNode 内部通常端口: 8020/9000/9820
    HDFS NameNode 对用户的查询端口:9870
    Yarn查看任务运行情况的:8088
    历史服务器:19888
    hadoop2.x
    HDFS NameNode内部通常端口:8020/9000
    HDFS NameNode 对用户的查询端口: 50070
    Yarn查看任务运行情况的:8088
    历史服务器:19888
    二、常用的配置文件
    3.x 
    core-site. xml hdfs-site. xml yarn-site. xml mapred-site.xml workers
    2.x 
    core-site. xml hdfs-site.xml yarn-site.xml mapred-site.xml slaves

Yarn

Hadoop Hdfs基本命令_第25张图片

开启历史服务器

Hadoop Hdfs基本命令_第26张图片

你可能感兴趣的:(hadoop,数据库)