awk实战1-单列数据到多列数据的相互转换

1 本文适合读者

了解awk基本语法，需要用awk对文本进行处理的初级用户
本文主要介绍利用awk的二维数组，把单列数据转为多列和反过来多列数据到单列的方法

2 问题描述

源文件的格式a.txt：

月份     产品     销量
201801    苹果      5
201801    梨        8
201801    香蕉      7
201802    西瓜      4
201803    苹果      6

这是一个常见的单列数据的模型，第一列是月份，第二列是类型，第三列是数据，销售人员常常需要汇总全年的销售数据，并按类型转换为多列的形式，以便用图表来显示各类型的销售走势。

目标文件的格式b.txt:

月份      西瓜  苹果  香蕉  梨
201801    0     5   7   8
201802    4     0   0   0
201803    0     6   0   0

3 问题分析

单列转多列很自然的用到awk的二维数组，array[下标1,下标2]，用月份作为下标1，用类型作为下标2。然后遍历数组，格式化输出数据即可。

这里的问题是要按月份输出，每一行是某月的所有数据，因此不能直接用for ( item in array ) 来直接一次遍历数组所有元素，需要分别遍历下标1和下标2。

4 单列到多列的转换

awk -F"\t" '{month[$1]=$1;type[$2]=$2;arr[$1,$2]=$3} 
END {for (i in month) { printf("%s",month[i]); 
for (j in type) printf("\t%d",arr[i,j]);printf("\n") }}' a.txt 

命令解释：
把月份存放在一维数组month[]中，把类型存放在一维数组type[]中，把数据存在二维数组arr[i,j]中。
第一层for循环对每个月份进行遍历，第二层for循环对每种类型进行遍历，即可得到所要的输出格式。

5 说明

这里没有用二维数组的split()方法来切割下标，然后计算下标数组长度。而是增加了两个一维数组来辅助遍历，这样比较直观。

6 多列到单列的转换

awk -F"\t" 'NR == 1 {for (i=2; i <= NF;i++) type[i]=$i};
 NR > 1 { for (j=2;j <= NF; j++) arr[$1,type[j]]=$j } 
 END { for (k in arr) { split(k,idx,SUBSEP);
 print idx[1]"\t"idx[2]"\t"arr[k]} }' 2.txt 
| sort -t',' -k1,1 -k2,2

7 输出结果

201801    梨   8
201801    西瓜  0
201801    苹果  5
201801    香蕉  7
201802    梨   0
201802    苹果  0
201802    香蕉  0
201802    西瓜  4
201803    梨   0
201803    西瓜  0
201803    香蕉  0
201803    苹果  6

8 说明

先把标题字段存在type[ ]一维数组中，然后把每一行的值存在arr[ ]二维数组中，最后遍历整个二维数组输出。
如果需要控制字段头输出，可参见下一篇文章
awk实战2-将shell数组传递进awk的用法

awk实战系列
awk实战3-将一个大文件按月拆成多个小文件

====本文为原创，转载请注明出处====