(七)Hadoop、hdfs常用命令

一、常用命令

(七)Hadoop、hdfs常用命令_第1张图片

1.hadoop fs == hdfs dfs

2.hadoop version

(七)Hadoop、hdfs常用命令_第2张图片

3.hadoop jar   运行一个jar包

4.hadoop checknative   查看hdfs下支持哪些压缩

(七)Hadoop、hdfs常用命令_第3张图片
false说明不支持这种压缩

5.hadoop classpath       打印获取jar包和所需库的路径

(七)Hadoop、hdfs常用命令_第4张图片

拓展:hadoop如何添加第三方jar包

http://www.aboutyun.com/thread-11059-1-1.html

https://blog.csdn.net/fansy1990/article/details/47611017

(七)Hadoop、hdfs常用命令_第5张图片
(七)Hadoop、hdfs常用命令_第6张图片

二、HDFS是在hadoop用户下部署的,hadoop用户则具有最大权限,即hadoop用户相对于hdfs的地位等同于root用户相对于linux的地位,因此我们有时在其他用户下使用hdfs相关命令时会遇到没有权限的问题

对于hadoop用户下部署的hdfs,root相当于其他用户和用户组,权限仅有r-x,没有写的权限

举例:将root用户下/tmp/20180505.log上传到hdfs根目录下的两种方法

1.(root用户下)

[root@hadoop000 ~]# su - hadoop -c "hdfs dfs -put /tmp/20180505.log /"

#-c表示临时切换到hadoop用户内执行命令,但不会真正的切换用户,这种操作有一个前提,就是该用户要有切换到hadoop用户的权限,此例中root肯定有这个权限,如果用其他普通用户就不一定可以了

2.(hadoop用户下)

[hadoop@hadoop000 ~]$ hdfs dfs -mkdir /root

[hadoop@hadoop000 ~]$ hdfs dfs -chmod -R root:root /root

[hadoop@hadoop000 ~]$ hdfs dfs -put /tmp20180505.log /root

(七)Hadoop、hdfs常用命令_第7张图片

企业中第二种操作更为常用

三、hdfs常用命令

(七)Hadoop、hdfs常用命令_第8张图片
(七)Hadoop、hdfs常用命令_第9张图片
-copyFromLocal==-put;-copyToLocal==-get
(七)Hadoop、hdfs常用命令_第10张图片

hdfs dfsadmin -report         报告集群的使用状况

(七)Hadoop、hdfs常用命令_第11张图片

hdfs dfsadmin -safemode leave     强制离开安全模式

你可能感兴趣的:((七)Hadoop、hdfs常用命令)