Linux常用命令(Hadoop)

文章目录

  • hdfs命令行
    • 显示磁盘使用率
    • 查看并输出文件末尾 1kb 的数据
    • 查看系统中的目录和文件
    • 创建文件
    • 上传文件
    • 下载文件
    • 删除文件
    • 移动文件夹

在master启动Hadoop集群

[zkpk@master ~]$ start-all.sh

hdfs命令行

Hadoop教程

显示磁盘使用率

  • 以字节为单位,对所有的文件,这些文件匹配的路径;文件名报告使用完整HDFS协议前缀
hadoop fs -du

查看并输出文件末尾 1kb 的数据

  • 例如,查看HDFS系统中文件/input/a.txt末尾1kb的内容。
hadoop fs -tail /input/a.txt

查看系统中的目录和文件

hadoop fs -ls <path>
  • 递归列出目录及文件
hadoop fs -ls  -R <path>

创建文件

  • 注意,不能创建级联目录。
hadoop fs -mkdir  <path>
  • 使用-p参数创建多级目录,如果父目录不存在,则自动创建父目录。
hadoop fs -mkdir -p /input/file/

上传文件

hadoop  fs -put <src> <des>

hadoop  fs -copyFromLocal <src> <des>

下载文件

 hadoop fs -get <localDes> <src>
  • 命令copyToLocal后边必须跟两个参数,第一个是HDFS上的文件的绝对路径\,第二个是本地要存档下载文件的路径\,必须存在,否则报错。
hadoop fs -copyToLocal  <src>  <localDes>

删除文件

  • 文件路径必须存在,否则报错。
 hadoop fs -rm <path>
  • 递归删除某个文件夹下所有的文件夹和目录
 hadoop fs -rmr <path>

移动文件夹

  • 使用mv命令可以移动HDFS文件到另一个文件,相当于给文件重命名并且保存,但原文件被删除。例如,将/input/a.txt移动到/input/b.txt,不保留a.txt文件。
hadoop fs -mv /input/a.txt /input/b.txt
  • 使用cp命令可以复制HDFS中的文件到另一个文件,相当于原文件重命名并且保存,并且原文件仍然存在。例如,将/input/a.txt复制到b.txt,并保留a.txt文件。
hadoop fs -cp /input/a.txt /input/b.txt

你可能感兴趣的:(hadoop,linux,hdfs)