Hadoop HDFS 命令

HDFS 常用命令:

命令 说明
hadoop fs -mkdir 创建HDFS目录
hadoop fs -ls 列出HDFS目录
hadoop fs -copyFormLocal 使用-copyFromLocal复制本地(local)文件到HDFS
hadoop fs -put 使用-put 复制本地(local)文件到HDFS
hadoop fs -cat 列出HDFS目录下的文件内容
hadoop fs -copyToLocal 使用-copyToLocal将HDFS上的文件复制到本地
hadoop fs -get 使用-get将HDFS上的文件复制到本地
hadoop fs -cp 复制HDFS文件
hadoop fs -rm 删除HDFS文件
# 查看 目录
hadoop fs -ls /  # 查看根目录
hadoop fs -ls /user  # 查看user目录
hadoop fs -ls -R /   # 查看所有子目录
hadoop fs -mkdir -p /dir1/dir2/dir3     # 创建多级子目录

-------------------------------------

# 复制本地文件到HDFS
hadoop fs -copyFromLocal /usr/local/hadoop/README.txt /user/user/test
# 强制复制到文件中
hadoop fs -copyFromLocal -f /usr/local/hadoop/README.txt /user/user/test
# 复制多个文件
hadoop fs -copyFromLocal /usr/local/hadoop/文件名1 /usr/local/hadoop/文件名2 /user/user/test

----------------------------------------------------

# 列出HDFS目录下文件内容
hadoop fs -cat /user/user/test/README.txt

-----------------------------------------------------

# 使用put复制文件到HDFS目录,会直接覆盖文件
hadoop fs -put /usr/local/hadoop/文件名 /user/user/test2.txt
# 使用put接受stdin(标准输入)
echo abc | hadoop fs -put - /user/user/test/echo.txt
ls /usr/local/hadoop | hadoop fs -put - /user/user/test/hadooplist.txt

------------------------------------------------------

# 将HDFS上的文件复制到本地计算机
hadoop fs -coptToLocal /user/user/test/echo.txt

你可能感兴趣的:(Spark+hadoop,hadoop)