通过rsync清除目录的shell脚本

由于工作原因，要管理一些图片服务器，其中有几台是作为图片存放的机器，每台机器配有10T的硬盘，最近硬盘告急，都只剩下几百个G，所以要删除一些图片。

目前服务器有一亿多个文件，删过这种大量的小碎文件的朋友一定知道使用rm -rf的下场，效果非常的差，基本上看不到什么效果。通过find命令带delete的效果也不太好，后来使用了rsync将空目录同步过去的方式，效果比较好，一天大概能清理出400G的空间。

为了保证并发的效果，写了脚本充当守护进程

 

#!/bin/sh
#./delete.sh get_dir_path_cmd rsync_delete_cmd_process_total_count
#./delete.sh "find /data1/sinawapcms/htdocs/images/iask/2012/08/*  -maxdepth 0"   20

rsync_path=rsync
empty_dir=/tmp/empty/

get_rsync_process_num()
{

    echo  $(ps -ef | grep rsync | grep delete | wc -l);
}

#$1 is rsync cmd , $2 is rsync total process num
do_rsync_cmd()
{
    while test 1 = 1
    do
        if test  $(get_rsync_process_num) -lt $2
        then
            ($1 >/dev/null 2>&1 &);
            break;
        else
            sleep 100;
        fi
    done

}
if ! ( $rsync_path --version > /dev/null 2>&1 )
then
    echo rsync path error;
    exit 1;
fi

if ! ls -l $empty_dir  > /dev/null 2>&1
then
    if ! mkdir -p $empty_dir >/dev/null 2>&1
    then
        echo Permission Denied, make sure you have permission to mkdir -p /tmp/empty ;
        exit 3;
    fi
fi

if ! test $( ls -la $empty_dir | wc -l) = 3
then
    echo  Directoty \"$empty_dir\" is not empty, empty directory? ;

    printf "Enter (Y/N):";
    read action < /dev/tty;

    if test $action = "Y" || test $action = 'y'
    then
        if ! rm -rf ${empth_dir}/* >/dev/null 2>&1
        then
            echo Permission Denied, make sure you have permission to rm -rf $empty_dir;
            exit 3;
        fi
    else
        echo error, Directoty \"$empty_dir\" is not empty;
        exit 2;
    fi

fi


dir=$($1);
#rsync --delete-before -a -H  /tmp/empty/   /data1/sinawapcms/htdocs/images/iask/2012/08/ff/  >/dev/null &
for i in $dir
do
    sleep 5;
    cmd="$rsync_path --delete-before -a -H $empty_dir ${i}/" ;
    (do_rsync_cmd "$cmd" $2);
done

调用方式：

./delete.sh "find /data1/sinawapcms/htdocs/images/iask/2012/08/*  -maxdepth 0"   20 第一个参数用来获取我们要清空的目录 第二个参数限定并发数，防止服务器负载过高