Linux Hadoop HDFS 操作 简记

基本的基本~

hadoop fs：适用于任何不同的文件系统，如本地文件系统和hdfs文件系统

hadoop dfs 或 hdfs dfs：只适用于HDFS文件系统

HDFS命令与Linux命令基本一致，只不过要在命令前加hadoop

start-all.sh                      启动HDFS、启动YARN集群

jps                                  查看namenode、datanode，secondnamenode三个进程

以此保证hadoop已经安装成功且启动

若jps后发现缺少进程，可将设置存储Hadoop的信息目录清空（一般为tmp目录），将此目录清空即可。也可直接删除此目录，然后新建一个。然后，进行格式化（hdfs   namenode   -format）这样所产生的NameNode和DataNode信息都是新的，也都是一组的，问题就解决了

注意：格式化之前要stop-all.sh，否则无法实现想要结果

常用命令：

hadoop fs -ls  （[-C] [-d] [-h] [-q] [-R] [-t] [-S] [-r] [-u]）       目录路径    

hadoop fs -df -h         （统计文件系统的可用空间信息）

hadoop fs -put   文件HDFS目录        （可以把本地或者hdfs上的文件拷贝到hdfs中）

hadoop fs -moveFromLocal        （从hdfs将文件传到本地）

hadoop fs -moveToLocal   

hadoop fs -appendToFile        文件名    （ 追加一个文件到已经存在的文件末尾）

hadoop fs -cat              （显示文件内容）

hadoop fs -text            （以字符形式打印一个文件的内容）

hadoop fs -get      HDFS文件 本地文件       （从hdfs下载文件到本地）

hadoop fs -getmerge   目录路径*   文件            （合并下载多个文件）

hadoop fs -copyToLocal    （从hdfs下载文件到本地）

hadoop fs -copyFromLocal       （严格限制只能拷贝本地文件到hdfs中）

hadoop fs -mkdir    -p （将上层目录一起建好） （后面可以加新建目录路径和新建目录名称）

hadoop fs -rmdir                      （删除空目录）

hadoop   fs   -chmod      (修改权限）

hadoop   fs   -chgrp     （改变文件或目录的所属群组）

hadoop   fs   -chown      (改变文件或者目录的所有者)

hadoop fs -mv             （移动/改名）

hadoop fs -getmerge              （合并下载多个文件）

hadoop fs -rm

hadoop fs -rm -r                      （删除文件或文件夹）

hadoop  fs  -du    目录路径      （显示目录下所有文件的大小）

hadoop fs -count                       （查看文件大小）

hadoop  fs  -stat   (指定路径的统计信息)

hadoop   fs   -cp   (目标目录存在，则追加cp的数据，若不存在，则创建目录并写入cp的数据)

hdfs  dfsadmin   –report        （查看集群的工作状态）