Hadoop学习笔记（三）——HDFS垃圾桶机制

HDFS的垃圾桶机制

1. 基本介绍

每一个文件系统都会有垃圾桶机制，将删除的数据回收到垃圾桶里面去，避免某些误操作删除一些重要文件。回收到垃圾桶里里面的资料数据，都可以进行恢复。

HDFS同样拥有垃圾桶机制，但默认为禁用状态，若要开启垃圾桶机制，需要手动配置。

如果启用垃圾桶机制，dfs命令删除的文件不会立即从HDFS中删除。相反，会将其移动到垃圾目录（每个用户在/user//.Trash下都有自己的垃圾目录）。

只要在周期内，文件都保留在垃圾桶中，文件可以快速恢复。

2. 配置操作

• 修改core-site.xml

  fs.trash.interval：设置的默认单位为分钟。可以按照生产上的需求设置回收站的保存时间，这个时间以分钟为单位，例如1440=24h=1天。
  fs.trash.checkpoint.interval：设置的默认单位为分钟。设置垃圾桶回收的检查周期，该属性应该是小于或等于fs.trash.interval

    <property>
        <name>fs.trash.intervalname>
        <value>1440value>
    property>
    <property>
        <name>fs.trash.checkpoint.intervalname>
        <value>1440value>
    property>
  

• 修改完成后，需要重启hdfs集群

3. shell操作

• 删除命令

  hadoop fs -rm -r file_path
  

• 恢复命令

  hadoop fs -mv trash_path recover_path
  

• 使用skipTrash选项彻底删除文件

  该选项不会将文件发送到垃圾箱。它将从HDFS中完全删除。

  hadoop fs -rm -r -skipTrash 文件名
  

4. java操作

当通过Java API进行文件删除时，默认是不进入垃圾桶的，如果仍想要删到垃圾桶中，写法如下：

//删除文件至垃圾桶中
//创建垃圾桶
Trash trash = new Trash(fileSystem,fileSystem.getConf());
//将文件放在回收站中
trash.moveToTrash(new Path("/dir1/file1"));

//直接删除
fileSystem.delete(new Path("/dir1/file1"),true);