awk实战5-将文件按指定的行数分割成多个小文件

1 文件分割的需求

在处理大文件时，往往用户的Excel面临崩溃的危险，或者数据库不能一下子导入那么多数据，所以需要将大文件分割成指定行数的多个小文件。

这样的小任务用一条awk命令即可解决。

2 分割文件的脚本

#!/bin/bash
# 本脚本用于切割文件
# 用法：脚本名后面跟要切割的文件名和每次切割的行数
# 例子：脚本.sh file.txt 1000

filename=$1
lines=$2

awk -v count=$lines 'BEGIN {i=1} { print $0 > i"_"FILENAME; if (NR >= i*count) {close(i"_"FILENAME); i++}}' $filename

3 脚本说明

脚本的运行方式为：

$ sh 脚本.sh filename lines

在命令行脚本后面跟上要分割的文件名和每次分割的行数。

-v count 是将要切割的行数传递给变量count，awk的传递shell变量的用法可参见前面的文章。

print $0 > i""FILENAME 是将源文件的每一行重定向输出到一个新的文件中去，这个新的文件用i""FILENAME来命名，也就是在源文件名的前面加上数字i和下划线。

这里需要说明一下awk的重定向输出，重定向运算符>与>>用于将输出重定向到文件而不是原来的标准输出，>与>>后面的变量被作为文件名字。

awk这里的重定向与shell中的重定向有一点区别，这里重定向运算符只会打开文件一次，>在打开文件时会清空文件内容再往里写，而>>在打开文件时不会清空原来的内容，直接追加。所以不用担心>会每次覆盖前面的内容。

i是循环变量，当读入的行数NR达到切割行数的倍数时，先关闭之前重定向的文件，将i增1，然后开始重定向到新的文件中去。

脚本的运行结果是将源文件切割成1_源文件，2_源文件，...，n_源文件，每个文件都是指定的lines行，只有最后一个文件是源文件剩下的行数。

如果对重定向文件名有格式方面的要求，可以用sprintf("%s_%d",FILENAME,i) 这样的例子来对重定向文件名进行修饰。

4 变化

如果上面的需求有一些变化，比如不考虑指定要分割的行数，而是要指定分割的文件数，把源文件按多少个文件等分。

这时只需多一步计算每个文件要切割的行数，awk语句是一样的。

filename=$1
lines=$2

# 计算每个文件的行数
lines=$(( `cat $filename | wc -l ` / $filenum + 1 ))

awk -v count=$lines 'BEGIN {i=1} { print $0 > i"_"FILENAME; if (NR >= i*count) {close(i"_"FILENAME); i++}}' $filename