1 文件分割的需求
在处理大文件时,往往用户的Excel面临崩溃的危险,或者数据库不能一下子导入那么多数据,所以需要将大文件分割成指定行数的多个小文件。
这样的小任务用一条awk命令即可解决。
2 分割文件的脚本
#!/bin/bash
# 本脚本用于切割文件
# 用法:脚本名后面跟要切割的文件名和每次切割的行数
# 例子:脚本.sh file.txt 1000
filename=$1
lines=$2
awk -v count=$lines 'BEGIN {i=1} { print $0 > i"_"FILENAME; if (NR >= i*count) {close(i"_"FILENAME); i++}}' $filename
3 脚本说明
脚本的运行方式为:
$ sh 脚本.sh filename lines
在命令行脚本后面跟上要分割的文件名和每次分割的行数。
-v count 是将要切割的行数传递给变量count,awk的传递shell变量的用法可参见前面的文章。
print $0 > i""FILENAME 是将源文件的每一行重定向输出到一个新的文件中去,这个新的文件用i""FILENAME来命名,也就是在源文件名的前面加上数字i和下划线。
这里需要说明一下awk的重定向输出,重定向运算符>与>>用于将输出重定向到文件而不是原来的标准输出,>与>>后面的变量被作为文件名字。
awk这里的重定向与shell中的重定向有一点区别,这里重定向运算符只会打开文件一次,>在打开文件时会清空文件内容再往里写,而>>在打开文件时不会清空原来的内容,直接追加。所以不用担心>会每次覆盖前面的内容。
i是循环变量,当读入的行数NR达到切割行数的倍数时,先关闭之前重定向的文件,将i增1,然后开始重定向到新的文件中去。
脚本的运行结果是将源文件切割成1_源文件,2_源文件,...,n_源文件,每个文件都是指定的lines行,只有最后一个文件是源文件剩下的行数。
如果对重定向文件名有格式方面的要求,可以用sprintf("%s_%d",FILENAME,i) 这样的例子来对重定向文件名进行修饰。
4 变化
如果上面的需求有一些变化,比如不考虑指定要分割的行数,而是要指定分割的文件数,把源文件按多少个文件等分。
这时只需多一步计算每个文件要切割的行数,awk语句是一样的。
filename=$1
lines=$2
# 计算每个文件的行数
lines=$(( `cat $filename | wc -l ` / $filenum + 1 ))
awk -v count=$lines 'BEGIN {i=1} { print $0 > i"_"FILENAME; if (NR >= i*count) {close(i"_"FILENAME); i++}}' $filename