flume系列之：清理HDFS上的0字节文件

HDFS上有时会生成0字节的文件，需要把这些文件从hdfs上清理掉，可以使用脚本批量清理指定目录下0字节文件。思路是先找到这些0字节文件，再批量执行hadoop fs -rm filename命令从hdfs上删除0字节文件。

一、使用脚本找出0字节文件

• 查找hdfs指定目录下的0字节文件
• 生成hadoop fs -rm filename命令存放到脚本cleanZeroFile.sh中
• 执行sh cleanZeroFile.sh把所有的0字节文件删除

查找0字节文件的脚本findZeroFile.sh

vim findZeroFile.sh

#!/bin/bash
set -x

DAY=$1
HOUR=$2