1、使用shell变量

cat filename

1111111:13443253456

2222222:13211222122

1111111:13643543544

3333333:12341243123

2222222:12123123123


使用awk设置为：

[1111111]

13443253456

13643543544

[2222222]

13211222122

12123123123

[3333333]

12341243123


[root@centos7 shell]# sort -n filename |awk -F ':' '{print $1}'|uniq > id.txt

[root@centos7 shell]# for id in `cat id.txt`;do echo "[$id]"; awk -v id2="$id" -F ':' '$1==id2 {print $2}' filename ; done

总结：awk -v 指将$id的值设置为id2


2、我有这样的需求，需要把两个文件中，第一列相同的行合并到同一行中。举个例子，有两个文件，内容如下

cat 1.txt

1 linux

2 os

3 op

4 se


cat 2.txt

1 dba

2 opm

3 pc

4 de

5 df


合并后的结果为：

1 linux dba

2 os opm

3 op pc


awk 'NR==FNR{a[$1]=$2}NR>FNR{print $0,a[$1]}' 1.txt 2.txt

解释：NR表示行号，FNR也表示行号；区别是读一个文本文件都是一样的，当读第二个文本文件时NR就继续累积，而FNR就清空之前的，变为了从1开始读取。

当NR==FNR时就是读取的1.txt，a[$1]表示一个数组，$2就是linux、os这些。当NR>FNR时将读取第二个文件2.txt，这时，print $0就是读取的第二个文件的内容，第三列就是指的a[$1]就是在1.txt中定义的$2的值


3、将一个文件多行写成一行

第一种：a=`cat file`;echo $a

第二种：cat file|xargs


4、gsub函数使用

awk 'gsub(/www/,"abc")' /etc/passwd  // passwd文件中把所有www替换为abc

awk -F ':' 'gsub(/www/,"abc",$1) {print $0}' /etc/passwd  // 替换$1中的www为abc


5、查找多行

grep -E '123|abc' filename  // 找出文件（filename）中包含123或者包含abc的行

egrep '123|abc' filename    //用egrep同样可以实现

awk '/123|abc/'  filename // awk 的实现方式


6、paste 用法

paste  filename1  filename2 


这样就可以实现了。举个例子。

cat  a.txt

1 2 3 

4 5 6 

a b c


cat b.txt

3 2 1 

6 5 4 

c b a 


则  paste  a.txt  b.txt  结果为

1 2 3   3 2 1

4 5 6   6 5 4

a b c   c b a


如果，你想在两个文件连接处用一个指定的字符连接，还可以用-d来指定

paste -d '+'  a.txt b.txt

结果为

1 2 3+3 2 1

4 5 6+6 5 4

a b c+c b a


7、NF：域数，NR：当前行数

[root@test shell]# awk -F ':' '{print NR,"$"NF"="$NF}' /etc/passwd

1 $7=/bin/bash

2 $7=/sbin/nologin

3 $7=/sbin/nologin

4 $7=/sbin/nologin

5 $7=/sbin/nologin

6 $7=/bin/sync


8、查找多个

grep -E '123|abc' filename  // 找出文件（filename）中包含123或者包含abc的行

egrep '123|abc' filename    //用egrep同样可以实现

awk '/123|abc/'  filename // awk 的实现方式