Apache hdfs日常操作

配置文件修改
core-site.xml

       
                fs.defaultFS
                hdfs://192-168-100-142:9999    //HDFS基本路径
       
       
                fs.trash.interval    //开启回收站功能，这里保留3分钟
                3
       



hdfs-site.xml

       
                dfs.replication 
                1
      表示数据块的备份数量，不能大于DataNode的数量
       
       
                dfs.namenode.name.dir
                /home/hadoop-twq/bigdata/dfs/name
                表示NameNode需要存储数据的地方
       
 
       
                dfs.datanode.data.dir
                /home/hadoop-twq/bigdata/dfs/data
                DataNode存放数据的地方
       



启动HDFS  start-dfs.sh
关闭HDFS  stop-dfs.sh


以下命令效果一样
$HADOOP_HOME/bin/hadoop fs == $HADOOP_HOME/bin/hdfs dfs


日常操作
创建目录：
hadoop fs -mkdir [-p] hdfs://master:9999/hank/data01
上传文件：
hadoop fs -put [-f -d] [localFile1...localFile2] hdfs://master:9999/hank/data01
hadoop fs -put - hdfs://master:9999/hank/data01/out.txt => 从标准流中上传数据
hadoop fs -copyFromLocal [-f -d] localFile hdfs://master:9999/user/hank/data01
查看文件内容：
hadoop fs -cat hdfs://master:9999/hank/data01/word.txt
查看文件目录：
hadoop fs -ls [-d -h -r] hdfs://master:9999/hank/data01
修改文件权限：
hadoop fs -chmod [-R] 777 hdfs://master:9999/hank/data01
创建新文件：
hadoop fs -touchz hdfs://master:9999/hank/data01/flag.txt
查看文件大小：
hadoop fs -du [-s -h] hdfs://master:9999/hank/data01/cmd
查看集群容量使用情况
hadoop fs -df [-h] hdfs://master:9999/
移动文件：
hadoop fs -mv hdfs://master:9999/hank/data01/file hdfs://master:9999/hank/data01/cmd
下载文件：
hadoop fs -get [-f] hdfs://master:9999/hank/data01/t1.txt
删除文件：
hadoop fs -rm [-r -skipTrash] hdfs://master:9999/hank/data01/word.txt
默认文件删除就恢复不出来了
hadoop fs -rm -r -skipTrash /user/hadoop-twq/cmd-20180326 => 删除的文件跳过回收站，直接删除


更改数据块大小
hdfs默认是数据块大小为128M，可以通过修改配置参数修改大小
hdfs-site.xml
  
         
dfs.block.size  
         
268435456  
 

如果数据块的的备份数为3份，可以通过以下命令修改备份数
hadoop fs -setrep 2 /users/hadoop-twq/cmd/word.txt


可以通过设置一下参数配置，设置http访问

dfs.webhdfs.enabled
true
使得可以使用http的方式访问HDFS

修改后，复制hdfs-site.xml文件到数据节点，然后重启hdfs






hdfs balancer 数据重平衡
[-threshold => 默认是10，表示每一个datanode的存储使用率和整个集群存储的使用率的差值]
[-policy => 默认是datanode表示对datanode的存储进行平衡，还有一个值为blockpool，表示每一个blockpool平衡就行]
[-exclude [-f | ]]
[-include [-f | ]]
[-idleiterations => 默认是5，表示退出之前几次空的迭代]






safemode安全模式：无法在集群进行增删改，只能查，集群维护的时候可以进入此模式
hdfs dfsadmin -safemode get  //获取安全模式
Safe mode is OFF
hdfs dfsadmin -safemode enter   //开启安全模式
Safe mode is ON
hdfs dfsadmin -safemode get 
Safe mode is ON
hdfs dfsadmin -safemode leave    //关闭安全模式
Safe mode is OFF
hdfs dfsadmin -safemode get 
Safe mode is OFF