通过rsync清除目录的shell脚本

由于工作原因，要管理一些图片服务器，其中有几台是作为图片存放的机器，每台机器配有10T的硬盘，最近硬盘告急，都只剩下几百个G，所以要删除一些图片。

目前服务器有一亿多个文件，删过这种大量的小碎文件的朋友一定知道使用rm -rf的下场，效果非常的差，基本上看不到什么效果。通过find命令带delete的效果也不太好，后来使用了rsync将空目录同步过去的方式，效果比较好，一天大概能清理出400G的空间。

为了保证并发的效果，写了脚本充当守护进程

 

#!/bin/sh #./delete.sh get_dir_path_cmd rsync_delete_cmd_process_total_count #./delete.sh "find /data1/sinawapcms/htdocs/images/iask/2012/08/*  -maxdepth 0"   20     rsync_path=rsync empty_dir=/tmp/empty/  get_rsync_process_num() {      echo  $(ps -ef | grep rsync | grep delete | wc -l); }  #$1 is rsync cmd , $2 is rsync total process num do_rsync_cmd() {     while test 1 = 1      do         if test  $(get_rsync_process_num) -lt $2          then             ($1 >/dev/null 2>&1 &);             break;         else             sleep 100;         fi      done       } if ! ( $rsync_path --version > /dev/null 2>&1 )  then     echo rsync path error;     exit 1;  fi  if ! ls -l $empty_dir  > /dev/null 2>&1 then     if ! mkdir -p $empty_dir >/dev/null 2>&1     then         echo Permission Denied, make sure you have permission to mkdir -p /tmp/empty ;             exit 3;     fi fi  if ! test $( ls -la $empty_dir | wc -l) = 3 then     echo  Directoty \"$empty_dir\" is not empty, empty directory? ;      printf "Enter (Y/N):";     read action < /dev/tty;      if test $action = "Y" || test $action = 'y'     then         if ! rm -rf ${empth_dir}/* >/dev/null 2>&1          then             echo Permission Denied, make sure you have permission to rm -rf $empty_dir;             exit 3;         fi      else         echo error, Directoty \"$empty_dir\" is not empty;         exit 2;     fi   fi   dir=$($1); #rsync --delete-before -a -H  /tmp/empty/   /data1/sinawapcms/htdocs/images/iask/2012/08/ff/  >/dev/null & for i in $dir do     sleep 5;     cmd="$rsync_path --delete-before -a -H $empty_dir ${i}/" ;     (do_rsync_cmd "$cmd" $2); done

调用方式：

./.sh    20  第一个参数用来获取我们要清空的目录 第二个参数限定并发数，防止服务器负载过高