hadoop高可用集群shell定时采集数据到HDFS

hadoop高可用集群shell定时采集数据到HDFS

服务器每天会产生大量的日志文件，通过编写简单的shell脚本，用于每天自动采集服务器上的日志文件，并将海量的日志文件上传至HDFS中，通过下面步骤实现shell定时采集数据到HDFS

首先在/export/data/logs目录（如果目录不存在要提前创建）下使用vi命令创建upload2HDFS.sh脚本文件

[root@hadoop01 data]# mkdir logs
[root@hadoop01 data]# ls
hadoop  logs  word.txt  zookeeper
[root@hadoop01 data]#

准备日志存放目录和待上传文件

logs 里面两个文件夹，

• log 日志文件存放的目录
• toupload 待上传文件存放的目录
• upload2HDFS.sh 脚本

[root@hadoop01 logs]# ls
log  toupload  upload2HDFS.sh

编辑upload2HDFS.sh

#配置java环境

export JAVA_HOME=/export/servers/jdk1.8.0_201
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:${PATH}


#配置hadoop环境变量
export HADOOP_HOME=/export/servers/hadoop-2.7.4/
export PATH=:${HADOOP_HOME}/bin:$HADOOP_HOME/sbin:$PATH

#日志文件存放的目录
log_src_dir=/export/data/logs/log/

#待上传文件存放的目录
log_toupload_dir=/export/data/logs/toupload/

#设置日期
date1=`date -d last-day +%Y_%m_%d`
#日志文件上传到hdfs的根路径
hdfs_root_dir=/data/clickLog/$date1/
#打印环境变量信息
echo "envs: hadoop_home: $HADOOP_HOME"
#读取日志文件的目录，判断是否有需要上传的文件
echo "log_src_dir:"$log_src_dir


#读取日志文件的目录，判断是否有需要上传的文件

ls $log_src_dir | while read fileName
do
    if [[ "$fileName" == access.log.* ]]; then
        date=`date +%Y_%m_%d_%H_%M_%S`
        #将文件移动到待上传目录并重命名
        #打印信息
        echo "moving $log_src_dir$fileName to
                $log_toupload_dir"xxxxx_click_log_$fileName"$date"
        mv $log_src_dir$fileName $log_toupload_dir"xxxxx_click_log_$fileName"$date
        #将待上传的文件path写入一个列表文件willDoing
        echo $log_toupload_dir"xxxxx_click_log_$fileName"$date >> $log_toupload_dir"willDoing."$date
    fi
done

#找到列表文件willDoing
ls $log_toupload_dir | grep will |grep -v "_COPY_" | grep -v "_DONE_" | while read line
do
    #打印信息
    echo "toupload is in file:"$line
    #将待上传文件列表willDoing改名为willDoing_COPY_
    mv $log_toupload_dir$line $log_toupload_dir$line"_COPY_"
    #读列表文件willDoing_COPY_的内容（一个一个的待上传文件名）  ,此处的line 就是列表中的一个待上传文件的path
    cat $log_toupload_dir$line"_COPY_" |while read line
    do
        #打印信息
        echo "puting...$line to hdfs path.....$hdfs_root_dir"
        hadoop fs -mkdir -p $hdfs_root_dir
        hadoop fs -put $line $hdfs_root_dir
    done
    mv $log_toupload_dir$line"_COPY_"  $log_toupload_dir$line"_DONE_"
done

为了模拟生产环境，在存放日志文件目录中创建两个日志文件

[root@hadoop01 log]# echo 111>access.log

[root@hadoop01 log]# echo 111>access.log.1

[root@hadoop01 log]# echo 111>access.log.2
[root@hadoop01 log]# ll
total 0
-rw-r--r--. 1 root root 0 Apr 13 08:13 access.log
-rw-r--r--. 1 root root 0 Apr 13 08:13 access.log.1
-rw-r--r--. 1 root root 0 Apr 13 08:13 access.log.2
[root@hadoop01 log]#

执行程序脚本

sh upload2HDFS.sh

如上图所示，首先将日志存放目录log中的日志文件移动到待上传toupload目录下，并根据业务需求重命名，然后脚本自动执行hadoop put上传命令，将待上传目录下的所有日志文件上传至HDFS中

通过HDFS WEB 界面可以查看