Python实战(5)Python和Shell打包压缩文件效率对比

Shell使用系统tar

Python使用tarfile模块,Python不开多线程的情况两者做文件打包压缩对比。

Shell代码

 

#!/bin/sh -
# Bak_rsync_Shell.sh version

shell_dir=`pwd`
src_dir=/data/rsync_center
bak_dir="/data/backup/game/test"
log_file=${shell_dir}/rsync_center_bak.log
Version=$1
Today=`/bin/date +%Y_%m_%d`
Fourteenday=`/bin/date -v -8d +%Y_%m_%d`
bak_file="rsync_center_${Today}_${Version}.tgz"
md5_file=${shell_dir}/md5/$bak_file.md5

if [ $# -ne 1 ]
        then    echo "Please give a version!"
                break
else
        startdate=`date "+%Y-%m-%d %H:%M:%S"`
        echo "rsync_center backup Start  at " $startdate
        cd $src_dir
        tar -zcf $bak_file ./
        /sbin/md5 $bak_file > $md5_file
        mv $bak_file $bak_dir/
        enddate=`date "+%Y-%m-%d %H:%M:%S"`
        echo "rsync_center backup Complete at" $enddate
fi

Python代码

 

#-*- coding: utf-8 -*-
#!/usr/bin/evn python
"""
USAGE:
        Bak_rsync_Python.py version
"""
import sys
import time
import os
import shutil
import subprocess
import tarfile

rundir=os.getcwd()
src_dir='/data/rsync_center'
bak_dir='/data/backup/game/test'
today=time.strftime("%Y_%m_%d", time.localtime())

def main(version):
        #set local var
        md5="/sbin/md5"
        bak_file="rsync_center_"+today+"_"+version+".tgz" #多个变量联合做变量
        md5_file=rundir+"/md5/"+bak_file+".md5"
        cmd="%s %s > %s" % (md5,bak_file,md5_file)
        #print bak_file
        #print md5_file

        #tar src dir
        os.chdir(src_dir)
        tar=tarfile.open(bak_file,'w|gz')
        tar.add(src_dir)
        tar.close()

        #tgz file md5
        ret=subprocess.call(cmd,shell=True) #subprocess.call返回值是退出状态
        if ret !=0:
                print "md5 failed"
                sys.exit(1)
        #else: print ret

        #move tgz to dst dir
        shutil.move(bak_file,bak_dir)


if __name__=='__main__':
        try:
                len(sys.argv)!=2
        except:
                print "Please give version"
                print __doc__
        else:
                print "start at",time.ctime()
                version=sys.argv[1]
                main(version)
                print "end at",time.ctime()

 

运行对比：

#du -sh /data/rsync_center/
112M    /data/rsync_center/
#sh Bak_rsync_Shell.sh testShell
rsync_center backup Start  at  2012-03-15 14:53:37
tar: ./rsync_center_2012_03_15_testShell.tgz: Can't add archive to itself
rsync_center backup Complete at 2012-03-15 14:53:46
使用了9秒

#python Bak_rsync_Python.py testPython
start at Thu Mar 15 14:54:54 2012
end at Thu Mar 15 14:55:20 2012
使用了27秒

压缩大小差不多
#ll -h /data/backup/game/test/ | awk '{print$5,$9}'
49M rsync_center_2012_03_15_testPython.tgz
49M rsync_center_2012_03_15_testShell.tgz

python使用代码53行(取出注释也有40行），shell使用代码26行

python的逻辑更复杂，shell更简单一点。

 

可见python在单线程的情况下，对于系统基本文件处理，比如复制移动，打包压缩不如shell简单高效。逻辑上也不利于SA快速理解。所以，Python在基本的系统管理上，可能不如Shell.