HADOOP大数据之HDFS数据安全与隐私保护

HDFS Trash垃圾桶

1. 功能概述

• HDFS Trash机制，叫做回收站或者垃圾桶。Trash就像Windows操作系统中的回收站一样。它的目的是防止你无意中删除某些东西。默认情况下是不开启的。
• 启用ITrash功能后，从HDFS中删除某些内容时，文件或目录不会立即被清除，它们将被移动到回收站Current目录中(/user/$ (username} /. Trash/current)。
• .Trash中的文件在用户可配置的时间延迟后被永久删除。
• 也可以简单地将回收站里的文件移动到.Trash目录之外的位置来恢复回收站中的文件和目录。

2. Trash Checkpoint

• 检查点仅仅是用户回收站下的一个目录，用于存储在创建检查点之前删除的所有文件或目录。
• 回收站目录在/user/$ {username]} /.Trash/{timestamp_of_checkpoint_creation)

• 最近删除的文件被移动到回收站Current目录，并且在可配置的时间间隔内，HDFS会为在Current回收站目录下的文件创建检查点/user/${username} / .Trash/<日期>，并在过期时删除旧的检查点。

  
  
  image.png

3. HDFS Trash功能开启

• step1 :关闭HDFS集群
  在node1节点上，执行一键关闭HDFS集群命令:stop-dfs.sh。

• step2∶修改core-site.xml文件
  在nodel节点上修改core-site.xml文件，添加下面两个属性︰

  
  
  Inkedtrash.jpg
• fs.trash. interval:回收站中的文件多少分钟后会被系统永久删除。如果为零，Trash功能将被禁用。
• fs.trash. checkpoint.interval :前后两次检查点的创建时间间隔（单位也是分钟），新的检查点被创建后，随之旧的检查点就会被系统永久删除。如果为零，则将该值设置为fs.trash.interval的值。

删除文件跳过Trash、直接删除
有的时候，我们希望直接把文件删除，不需要再经过Trash回收站了。可以在执行删除操作的时候添加一个参数:-skipTrash.

4. 清空Trash

• 除了fs.trash.interval参数控制到期自动删除之外，用户还可以通过命令手动清空回收站，释放HDFS磁盘存储空间。
• 首先想到的是删除整个回收站目录，将会清空回收站,这是一个选择。
• 此外。HDFS提供了一个命令行工具来完成这个工作: hadoop fs -expunge。该命令立即从文件系统中删除过期的检查点。
  心

HDFS Snapshot快照

快照介绍

• 可以将快照理解为拍照片时的那一瞬间的投影。
• 快照(Snapshot )是﹔备份( Backup )则是数据存储的某一个时刻的副本。
• HDPS Snapshot快照是整个文件系统或某个目录在某个时刻的镜像。该镜像并不会随着源目录的改变而进行动态的更新。

快照作用

• 数据恢复
  对重要目录进行创建snapshot的操作，当用户误操作时，可以通过snapshot来进行相关的恢复操作。
• 数据备份
  使用snapshot来进行整个集群，或者某些目录、文件的备份。管理员以某个时刻的snapshot作为备份的起始结点，然后通过比较不同备份之间差异性，来进行增量备份。
• 数据测试
  在某些重要数据上进行测试或者实验，可能会直接将原始的数据破坏掉。可以临时的为用户针对要操作的数据来创建一个snapshot，然后让用户在对应的snapshot上进行相关的实验和测试，从而避免对原始数据的破坏。

HDFS快照功能的实现

对于大多不变的数据，你所看到的数据其实是当前物理路径所指的内容，而发生变更的inode数据才会被快照额外拷贝，也就是所说的差异拷贝。
HDFS快照不会复制datanode中的块，只记录了块列表和文件大小。
HDFS快照不会对常规HDFS操作产生不利影响，修改记录按逆时针顺序进行，因此可以直接访问当前数据。通过从当前数据中减去修改来计算快照数据。

#启用快照功能：
hdfs dfsadmin -allowSnapshot/allenwoon
#禁用快照功能：
hdfs dfsadmin -disallowSnapshot/allenwoon

快照间差异比较

+创建了文件目录。
-文件目录已被删除。
M文件目录已被修改。
R文件/目录已被重命名。

删除开启快照功能的目录

• hadoop fs -rm -r /allenwoon
• 拥有快照的目录不允许被删除，某种程度上也保护了文件安全。

HDFS 权限管理

-rwxr-xr-x(开头的-代表文件，也可以是d代表目录) 权限755

image.png

• web页面修改UGo权限
  粘滞[nian zhi]位( Sticky bit)用在目录上设置，如此以来，只有目录内文件的所有者或者root才可以删除或移动该文件。
  如果不为目录设置粘滞位，任何具有该目录写和执行权限的用户都可以删除和移动其中的文件。
• Simple认证
• Kerberos认证

HDFS Proxy user代理用户

HDFS 透明加密

介绍

• HDFS透明加密（Transparent Encryption )支持端到端的透明加密，启用以后，对于一些需要加密的HDFS目录里的文件可以实现透明的加密和解密，而不需要修改用户的业务代码。端到端是指加密和解密只能通过客户端。
• 对于加密区域里的文件，HDFS保存的即是加密后的文件，文件加密的秘钥也是加密的
  让非法用户即使从操作系统层面拷走文件，也是密文，没法查看。
• block在操作系统是以加密的形式存储的，从而减轻了操作系统和文件系统级别的安全威胁
• HDFS使用AES-CTR加密算法。AES-CTR支持128位加密密钥（默认)

密钥

• 当加密区域被创建时，都会有一个，encryption zone key )与之对应，EZ密钥存储在HDFS外部的密钥库中。
• 加密区域里的每个文件都有其自己加密密钥，叫做，data encryption key )。DEK会使用其各自的加密区域的EZ* * 密钥进行加密，以形成

密钥库(keystore )

存储密钥（key)的叫做密钥库(keystore ) ,将HDFS与外部企业级密钥库(keystore )集成是部署透明加密的第一步。
这是因为密钥(key )管理员和HDFS管理员之间的职责分离是此功能的非常重要的方面。但是，大多数密钥库都不是为Hadoop工作负载所见的加密/解密请求速率而设计的。

KMS(密钥管理服务)

Hadoop密钥管理服务(Key Management Server，简写KMS），用作HDFS客户端与密钥库之间的代理。
KMS主要有以下几个职责∶
1.访问加密区域秘钥( EZ key )
2.生成EDEK，EDEK存储在NameNode上
3.为HDFS客户端解密EDEK

HDFS文件加密过程.jpg

KMS配置

• step1 :关闭HDFS集群
  在node1上执行stop-dfs.sh。
• Step2:创建keystore
  ·密钥库的名字叫做itcast，访问密钥库的密码是:123456。

keytool -genkey -alias 'itcast_keystore'

• step3:配置kms-site.xml
  hadoop. kms. kev.proxider.uri设置密钥库的提供者这里设置jceks，表示就是java密钥库。

  
    hadoop.kms.key.provider.uri
    jceks://file@/${user.home]/kms.jks
  
  
    hadoop.security.keystore.java-keystore-provider.password-file
    kms.keystore.password
  
  
    dfs.encryption.key.provider.uri
    kms://http@node1:16000/kms
  
  
    hadoop.kms.authentication.type
    simple