flume系列之:清理HDFS上的tmp文件,把.gz.tmp文件变为.gz文件

flume系列之:清理HDFS上的tmp文件,把.gz.tmp文件变为.gz文件

  • 一、查找hdfs指定目录下的tmp文件
  • 二、把所有的.gz.tmp文件变为.gz文件

  • flume出现异常,hdfs上生成的gz.tmp文件没有正常关闭,需要把这些gz.tmp格式的文件转变为gz文件。
  • 思路是:可以写一个脚本找出所有的tmp文件,然后再批量执行hadoop fs -mv命令把所有的.gz.tmp文件变为.gz文件。

一、查找hdfs指定目录下的tmp文件

  • 查找hdfs指定目录下的tmp文件
  • 生成hadoop fs -mv filename.gz.tmp filename.gz命令存放到脚本cleanTemp.sh中
  • 执行sh cleanTemp.sh把所有的.gz.tmp文件变为.gz文件

查找gz.tmp文件的脚本findTempFile.sh

vim findTempFile.sh

set -x

DAY=$1
HOUR

你可能感兴趣的:(大数据,flume,hdfs,flume,hadoop,gz.tmp文件变为gz文件)