6.python学习笔记：切分大型文件

大型文件的切分

在shell编程中有一组操作可以切分和合并大型文件，解决了因存储过小而不能在一个设备中存储的尴尬，命令是：

切分：
split -b 5m redhat6.5.iso redhat

-b 指定了每块子文件的大小 （适用于二进制文件
-l 指定了每个子文件的行数（适用于文本文件）

合并：

cat redhat* > redhat6.5.iso

---

如果你对shell 自带的切分合并操作不习惯，完全可以自己开发一套切分操作，我们这里命名为split.py。

split.py的内容如下所示：

#encoding:utf-8
#!/usr/bin/env python


#该程序将指定的大型文件切分成n个指定的小块（块的大小也可以指定）

import os
import sys

kilobytes = 1024
megabytes = kilobytes * 1024
chunksize = int(1.4 * megabytes)

def split(fromfile, todir, chunksize=chunksize):
    #如果目标目录不存在则创建，否则删除原有的文件
    if not os.path.exists(todir) :
        os.mkdir(todir)
    else :
        for fname in os.listdir(todir) :
            os.remove(os.path.join(todir, fname))
    partnum = 0
    inputfile = open(fromfile, 'rb')
    #开始进行切分并且创建切分文件
    while True :
        chunk = inputfile.read(chunksize)
        if not chunk :
            break
        partnum += 1
        filename = os.path.join(todir, ('part%04d' % partnum))
        fileobj = open(filename, 'wb')
        fileobj.write(chunk)
        fileobj.close()
        print ("%s has been create." % (fileobj))
    inputfile.close()
    assert partnum <= 9999
    return partnum


if __name__ == "__main__":
    #首先进行参数检测
    if len(sys.argv) == 2 and sys.argv[1] == '-help' :
        print ('Use: split.py [file-to-split target-dir [chunksize]]')
    else :
        #用户将切分的源文件和目标地址没有进行参数传递，而是手动输入
        if len(sys.argv) < 3 :
            interactive = true
            fromfile = raw_input('split file:')
            todir = raw_input('directory to store part file:')
        else :
            interactive = False
            fromfile, todir = sys.argv[1:3]    #通过命令行参数传递
            if len(sys.argv) == 4 :
                chunksize = int(sys.argv[3])
        absfrom, absto = map(os.path.abspath, [fromfile, todir])

        print ('Splitting ', absfrom, ' to ', absto, ' by ', chunksize)
        try :
            parts = split(fromfile, todir, chunksize)
        except :
            print ('Error during split.')
            print (sys.exc_info()[0], sys.exc_info()[1])
        else :
            print ('Split finished: ', parts, " parts are in ", absto)

        if interactive :
            input('Press Enter key')        

split.py的参数最多有三个：

fromfile 要切分的大文件
todir 放置切分文件的目录
chunksize 每个切分文件的大小

使用命令操作如下：

python split.py /tools/redhat-enterprise6.5x86_64.iso /haha

完了之后在/haha目录下会生成很多切分好的文件：

可是这些碎片文件只有进行拼接才可以使用，关于碎片文件的合并在下一章节进行介绍。