HDFS inotify：Linux inotify机制在HDFS中的实现
原文：利用 HDFS inotify：解析 Edit 文件，近实时地监控文件变化_x²＋(y－√³x²)²＝1的博客-CSDN博客_hdfs inotify
在各种文件系统的使用中，在某些场合我们往往会有这样一个需求点：我们想对某个文件/目录进行事件监听，监听的事件包括：在目标目录下新增文件了，又或者说是删除了什么文件，更改了什么文件等等。这其实是对目标文件目录数据的一个比较实时的监控。我们比较传统的方案是：去做定期的全盘扫描，然后算出增量值与最新统计值。这种方式的优点是实现简单，但是缺点也很明显，就是太低效了。那么在目前现有的 Linux 操作系统中，是否有这样的一套 Event事件通知机制呢？答案是有的，这套机制叫做 inotify。对 Linux 比较有研究的同学，应该不会陌生，但是本文所要叙述的主题是 HDFS inotify 。换句话说，就是 Linux inotify 机制在 HDFS 中的实现。但是苦于在网上没找到实现的逻辑代码，所以经过几天的研究，实现了这一功能。
以下是监控 HDFS 系统中的 /test02 这一目录的实现逻辑。有错误之处，还望大家多多指正pom 依赖
4.0.0
personal
com.hr.personal
1.0-SNAPSHOT
log4j
log4j
1.2.17
org.apache.hadoop
hadoop-common
2.7.3
org.apache.hadoop
hadoop-aws
2.7.3
org.apache.hadoop
hadoop-hdfs
2.7.4
Java 代码实现逻辑
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.hdfs.DFSInotifyEventInputStream;
import org.apache.hadoop.hdfs.client.HdfsAdmin;
import org.apache.hadoop.hdfs.inotify.Event;
import org.apache.hadoop.hdfs.inotify.EventBatch;
import org.apache.hadoop.hdfs.inotify.MissingEventsException;
import java.io.IOException;
import java.net.URI;
import java.text.SimpleDateFormat;
public class HdfsApp {
/**
* 解析edit文件信息的方法
*/
public static void TestEvent() throws IOException, MissingEventsException, InterruptedException {
HdfsAdmin admin = new HdfsAdmin(URI.create("hdfs://133.165.102.10:8020"), new Configuration());
//获取事件的流对象
DFSInotifyEventInputStream inotifyEventStream = admin.getInotifyEventStream();
//转换时间格式---> 时间戳转为时间
SimpleDateFormat simpleDateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm");
while (true){
//手动获取事件
EventBatch events = inotifyEventStream.take();
for (Event event: events.getEvents()){
//事件类型
// System.out.println("事件类型是：" + event.getEventType());
switch (event.getEventType()){
//1、创建事件：如果是创建目录的话，直接创建成功；如果是创建文件，先要创建一个后缀为._COPYING_的临时文件，之后再进行rename操作
//WebHDFS的上传文件不会生成中间文件，直接就是最终文件
case CREATE:
Event.CreateEvent create = (Event.CreateEvent) event;
String createPath = create.getPath();
// System.out.println("软链接是：" + create.getSymlinkTarget());
//todo 添加要过滤的目录前缀，控制所监控的目录
if (createPath.startsWith("/test02")){
//打印上传文件的信息、新建文件夹的信息。只有文件大小在close那一步体现
//todo 最近根据是否是文件夹，给权限前加d
System.out.println("文件：" + create.getPath().replace("._COPYING_", "") +
"，权限：" + create.getPerms() +
"，副本数：" + create.getReplication() +
"，所属者：" + create.getOwnerName() +
"，组名：" + create.getGroupName() +
"，创建时间：" + simpleDateFormat.format(create.getCtime())
);
//获取本事件操作的INode的类型（三种类型）：file/directory/SYSLINK
Event.CreateEvent.INodeType iNodeType = create.getiNodeType();
switch (iNodeType){
case FILE:
if (!createPath.endsWith("_COPYING_")){
System.out.println("正在使用Restful风格上传文件，路径为：" + createPath);
}
break;
case DIRECTORY:
if (createPath.startsWith("/test02")){
System.out.println("创建目录成功，路径为：" + createPath);
}
break;
case SYMLINK:
System.out.println("正在创建软链接，路径为：" + createPath);
break;
default:
break;
}
}
break;
//2、一是创建文件（生成最终文件）；二是删除文件；三是更改文件（夹）；四是移动文件（夹）
//删除文件夹，只提示删除文件夹，不显示删除文件
//WebHDFS的删除不会进回收站
case RENAME:
Event.RenameEvent rename = (Event.RenameEvent) event;
//源路径
String srcPath = rename.getSrcPath();
//目标路径
String dstPath = rename.getDstPath();
//rename时间
String renameTime = simpleDateFormat.format(rename.getTimestamp());
if (srcPath.startsWith(dstPath)&srcPath.endsWith("_COPYING_")&dstPath.startsWith("/test02")){
//如果源地址是以目的地址开头的，则可以判断是临时文件。当其rename之后，就变成了最终文件
System.out.println("正在使用非restful风格上传文件，路径为：" + dstPath);
//如果源地址的路径是以过滤路径开头，目的地址是以垃圾桶路径开头。则认为是删除目录（不跳过垃圾桶）
}else if (dstPath.startsWith("/user")&srcPath.startsWith("/test02")){
System.out.println("正在使用非restful风格删除文件，路径为：" + srcPath);
//剩下的情况就是修改文件（夹）名称、或者移动文件（夹）
}else {
if (dstPath.startsWith("/test02")&srcPath.startsWith("/test02")){
if (dstPath.split("/").length == srcPath.split("/").length) {
System.out.println("正在更改文件（夹）的名称，原始路径为：" + srcPath);
System.out.println("正在更改文件（夹）的名称，最终路径为：" + dstPath +
"，更改时间：" + renameTime);
}else {
System.out.println("正在移动文件（夹），原始路径为：" + srcPath);
System.out.println("正在移动文件（夹），最终路径为：" + dstPath +
"，移动时间：" + renameTime);
}
}
}
break;
//3、未知操作：比如跳过回收站删除文件（夹）
case UNLINK:
Event.UnlinkEvent unlinkEvent = (Event.UnlinkEvent) event;
String unlinkPath = unlinkEvent.getPath();
if (unlinkPath.startsWith("/test02")){
System.out.println("正在使用restful风格删除文件，路径为：" + unlinkPath);
}
break;
//4、当写完文件，rename之前，会进行这一步操作
//Sent when a file is closed after append or create.
case CLOSE:
Event.CloseEvent closeEvent = (Event.CloseEvent) event;
String closePath = closeEvent.getPath();
long fileSize = closeEvent.getFileSize();
//加过滤条件
if (closePath.startsWith("/test02")) {
System.out.println(closePath.replace("._COPYING_", "") +
"文件大小为：" + fileSize);
}
break;
//5、给文件追加内容。追加之后的文件大小也会在close处输出
//shell命令追加为：-appendToFile
case APPEND:
Event.AppendEvent appendEvent = (Event.AppendEvent) event;
String appendPath = appendEvent.getPath();
System.out.println("正在使用shell命令行给文件追加内容，路径为：" + appendPath);
break;
case METADATA:
Event.MetadataUpdateEvent metadataUpdateEvent = (Event.MetadataUpdateEvent) event;
String metaPath = metadataUpdateEvent.getPath();
System.out.println("The METADATA path is：" + metaPath);
break;
default:
break;
}
}
}
}
public static void main(String[] args) throws MissingEventsException, InterruptedException, IOException {
TestEvent();
}
}
对于事件 METADATA 还是有些困惑，需要后续的研究
有一部分测试，详见：浅谈 Java API 与 shell 命令行操作 HDFS，实现增删改功能
————————————————
版权声明：本文为CSDN博主「x²＋(y－√³x²)²＝1」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_45083975/article/details/106165120