HDFS介绍+Shell操作

看黑马网课记录

第二章-wwww操]使用命令操作HDFS文件系统_哔哩哔哩_bilibili

HDFS

1.什么是HDFS

hadoop三大组件之一，负责海量数据的分布式存储

2.HDFS架构角色：

1. 主节点（领导）：NameNode
2. 从节点（员工）：DataNode
3. 主节点辅助（秘书）：SecondarynameNode

3.HDFS基础架构：

HDFS Shell操作

1.启停操作

一键启停

$HADOOP_HOME/sbin/start-dfs.sh

$HADOOP_HOME/sbin/stop-dfs.sh

单个启停

1. $HADOOP_HOME/sbin/hadoop-daemon.sh  脚本

hadoop-daemon.sh +（start、status、stop）+ 节点名称

2. $HADOOP_HOME/bin/hdfs  程序

hdfs --daemon +（start、status、stop）+ 节点名称

2.文件系统操作（与linux相似）

两套命令：

老版本：hadoop fs （options）

新版本：hdfs dfs （options）

1.创建

2.查看

3.文件上传

本地—>hdfs

4.查看HDFS文件内容

5.下载HDFS文件

6.拷贝HDFS文件（hdfs到hdfs，而并非hdfs到本地）

7.追加数据（整个文件系统对文件只能删除或者追加，不能对某一行进行修改）

8.HDFS之间数据移动（文件重命名）

9.HDFS数据删除（回收站只会在当前配置的机器上生效）

10.HDFS 在WEB浏览与操作