sed与awk

ftp://ftp.oreilly.com/published/oreilly/nutshell/sedawk_2

 有3种方法可以在命令行上放多个指令：

1. 用分号分隔指令
sed 's/ma/, mutil/;s/zhao/zzzz/'
2, 使用-e
sed -e 's/fs/fsgf/' -e 's/dfdg/dhs/'
3. 使用分行指令功能
    sed '
s/g/dfgh/
s/zz/dfgf/
s/CA/,FG/' list

4. sed / awk -f scriptfile file

sed和awk指令结构相同，都是由模式和过程组成，并且都可以使用多个指令。在awk中语句和函数取代了一个或两个字符组成的命令序列，例如print语句打印输出。

 awk出错信息

1. 没有用大括号{}，将动作括起来。2. 没有用单引号' '将指令括起来。3. 没有用斜杠//将正则括起来。

 awk引用外部变量http://www.xuebuyuan.com/105422.html

awk在使用某个变量前不必先赋值，因为awk将变量赋值为空字符串。

正则相关

1. 在awk中点号.可以匹配换行。
2. [...]方括号中^表示取反，即取其他字符，awk中包括换行。第一个字符为右括号]或-时表示它是成员，同事存在时]放第一个，-放最后。其他元字符在方括号中失去原来的含义，反斜杠\在awk的方括号中仍有特殊意义，可以转义连字符或方括号，如[a\]1]。
3. {n,m}在有些awk中仍然不能使用。awk支持egrep中的大多数正则用法。扩展正则：+, *, |, (), {},
4. .[!?;:,".] . 第一个和最后一个点是通配。

POSIX字符类及意义：  必须出现在方括号表达式中，如[[:upper:]]

[:upper:]  表示大写字母[A~Z]
[:lower:]  表示小写字母[a~z]
[:digit:]  表示阿拉伯数字[0~9]
[:alnum:]  表示大小写字母和阿拉伯数字[A~Za~z0~9]
[:space:]  表示任何产生空白的字符,包括空格或Tab键等
[:alpha:]  表示大小写字母[A~Za~z]
[:cntrl:]  表示键盘的控制按键,包括Tab、Del等按键
[:graph:]  表示除了空格符（空格键与Tab键）外的其他所有按键
[:print:]  表示任何可以被打印出来的字符
[:xdigit:] 表示十六进制数字[0~9A~Za~z]
[:blank:]  表示空格键与Tab键
[:punct:]  表示标点符号，包括：" ' ? ! ; : # $...

基本sed命令 sed命令可以指定0个，1个，或2个地址。每个地址都是一个描述模式，行号或者正则表达式。 注： 行号计数器不会因为多个输入文件重置。

如果指定了逗号分隔的两个地址，那么命令应用于第一个地址的第一行和它后面的行，直到匹配第二个地址的行(包括此行)。第二个地址从第一个地址之后开始寻找。第一个地址启用动作，第二个地址禁用动作，无法先行决定第二个地址是否会匹配，一旦匹配了第一个地址，这个动作就应用与这些行。直至第二个地址匹配。

如果地址后有感叹号!，那么命令将应用与不匹配该地址的所有行。 /^\.TS/,/^\.Te/!d 删除这些行之外的所有行。

$可以表示最后一行，但不应该和正则表达式中的$混淆。正则必须封闭在斜杠(/)中。 /^$/d

在命令后添加空格会产生语法错误，命令的结束必须在行的结尾处。 
如果命令之间用分号分隔，那么可以讲多个sed命令放在同一行。 n;d在结构上是正确的，然后在n后面放置一个空格会导致语法错误，而在d前面放置一个空格是可以的。不提倡在同一行放置多个命令。

分组命令： linux sed命令详解 http://www.cnblogs.com/ggjucheng/archive/2013/01/13/2856901.html http://www.cnblogs.com/ggjucheng/archive/2013/01/13/2856901.html sed使用大括号{}将一个地址嵌套在另一个地址中,或者在相同的地址上引用多个命令。 如果想指定行的范围，然后再这个范围内再指定另一个地址，则可以嵌套地址。注：左大括号必须在行末，而且右大括号本身必须单独占一行。要确保在大括号之后没有空格。

/^\.TS/,/^\.Te/{  　　　　　　　　注：大括号可以在同一行上，命令之间用分号隔开。sed -n '/root/{n;d}' /etc/passwd #将匹配root行的下一行删除
/^$/d　　#命令在大括号内可以缩进
s/zhaodfd/.ps 8/s/^\.vs 2/.ps 10/  #替换部分的点号不必转义。
}

替换 [address]s/pattern/replacement/flags
flags可以是：n(第n次), g, p, W file（写入文件）
分隔符可以是任意字符,出现3次并且在replacement之后是必须的。s!/home/z!/home/x!
在replacement部分只有下列字符有特殊含义：
&：正则匹配的整个内容
\n ： 第n个字符串，在pattern中用\(。。。\)指定。
\ ：转义字符。&符号，反斜杠\，定界字符，换行都可以用\转义。因此除了正则中的元字符外，sed的替换部分也有元字符。

echo 'zh xng' | sed 's/ /\    #转义换行，\&　　　　注： 上换行用\n也可以
xxxxxxxx\      #换行
yyyyyyyyyy/'

注： 如果匹配同一行的多个替换命令，那么该行的多个备份就会被打印或者写到文件中。 删除 d,删除整行，而不是匹配部分。一旦执行删除命令，那么在“空的”模式空间中就不会再有命令执行。删除命令会导致读取新的输入行，而编辑脚本则从头开始新的一轮(这一行为和next命令相同)，UNIX文件写到：不允许在被删除的行上进一步操作。 追加，插入，更改 [line-address]a\, [line-address]i\,  [address]c\.  命令后面接反斜杠或者空格都可以。但是用反斜杠才是正路，很多书籍和命令详解都用的是反斜杠。 

[root@tg output]# echo -e 'zhao xiang dsgf fsad  ssdf sdgfdfsgd' | sed '/zhao/a\ ni hao'　　
#斜杠后面的任何内容追加在匹配行之后，即使是命令 /xian/i\ first line也被当做文本。空格也原样追加。
[root@tg output]# echo -e 'zhao xiang dsgf fsad  ssdf sdgfdfsgd' | sed '/zhao/a\       ni hao'
zhao xiang dsgf fsad  ssdf sdgfdfsgd
       ni hao
[root@tg output]# echo -e 'zhao xiang dsgf fsad  ssdf sdgfdfsgd' | sed '/zhao/a       ni hao'   #如果命令后面接空格，则多余的空格被忽略了。
zhao xiang dsgf fsad  ssdf sdgfdfsgd
ni hao


[root@tg output]# echo 'test  zhao xiang ' | sed '/^test/a\
--->this is a example
> /xiang/i\
> first line'
first line
test  zhao xiang 
--->this is a example
[root@tg output]# 


[root@tg output]# echo 'test  zhao xiang ' | sed '/^test/i\
> '

test  zhao xiang 
[root@tg output]#插入空行，让命令后面的行为空

 

更改命令清除模式空间，与删除命令有同样的效果，在更改命令之后的命令不应该被提供。
插入和追加命令不影响模式空间的内容。所，那些，不管什么更改改变了模式空间，所提供的文本仍然会正确输出。即使模式空间不是那样的，而且，所提供的文本。

列表命令

列表命令l 用于显示模式空间的内容，并将非打印字符显示为两个数字的ASCII码。类似于vi的列表命令(:l)

sed -n -e "l" test
因为列表命令立即产生输出，所以抑制默认的输出，否则会得到行的重复。

 转换

[address]y/abc/xyz/ 影响模式空间的所有内容

打印行号

[line-address]= , 这个命令不能对一个范围的行进行操作。

下一步

[address]n , 输出模式空间的内容(如果没有抑制输出)然后读取下一行，替换模式空间，而不返回到脚本的顶端，之前的命令应用于当前行，后续命令应用于替换之后的内容。

读和写

[line-address]r file, [address]w file . 读命令将由fiel指定的文件确定的行之后的内容读入模式空间，不能对行范围操作。写命令将模式空间的内容写入文件。文件名之前必须有空格，空格后到换行符前的内容都是文件名。 文件不存在也不会报错。如果一个脚本有多个命令写到同一个文件中，那么每个命令的内容将追加到文件中。而且每个脚本最多只能打开十个文件。

使用-n可以阻止模式空间的行被自动输出，但是读命令的结果仍然转到标准输出。

退出

退出命令[line-address]q, 会使sed停止读取新的输入行，并停止将他们送到标准输出。它只适用于单行地址，一旦找到匹配行，脚本就结束。

 

awk

 echo a b c | awk 'BEGIN {one = 1;two=2} {print $(one+two)}'  #输出c  ,shell中$( )是命令替换，在这里$表示引用字段，( )用于计算表达式。

 分隔符：

awk -F"\t" 或者 BEGIN{ FS=","} ，可以使用正则。 输出分隔，OFS="\t",OFS可以重新定义为一系列字符。

print $1,$2  逗号使个字段之间用空格隔开。不用逗号则各字段连在一起，print $1 "," $2  ,输出"$1逗号$2"。 输出域的分隔符默认是一个空格，保存在OFS中。如$ awk -F: '{print $1,$5}' test，$1和$5间的逗号就是OFS的值。

awk中RS,ORS,FS,OFS区别与联系

注意：设置 OFS、RS 之后一定要记得重置 $0，否则可能不会生效或有意外的结果：当你RS=:之后，最后一行是33333333\n，会多打印一条记录“一个空格”
    echo "11111111:2222222:33333333" | awk 'BEGIN{RS=":"}$1=$1'
awk的格式化时间函数：strftime：
awk '{ $2=strftime("%Y-%m-%d %H:%M:%S",$2)}1' infile

变量

awk中可以使用转义序列。变量，运算符，表达式，控制结构和C相似。变量无需加$符号，未初始化的变量为空或0。  每个变量有字符型值和数值型值，不包含数字的字符串为0.

空格是字符串连接操作符。Z="hello" "world"

赋值操作符：++，--，[+-*/%^]= ,**=  ,关系操作符：>,<,>=,<=,==,!=, ~, !~ 匹配/不匹配。逻辑操作&&,||,! ,!可以用于字符串，判断字符串是否非空。 见awk编程: 复合表达式,都和C类似。 匹配可以用于字符串变量也可用于/regex/. name=ro.t; $1 ~ name 或者 $1 ~ /root/  貌似用正则的地方也可以用字符串。字符串的内容被当做正则串。

in操作符可以判断某个下标是否在数组中。条件操作 expr ? action1 : action2

改变当前记录的字段数NF的值会有副作用，增加NF的值会创建新的空字段，并重新建立$0，字段由OFS的值分隔。

变量名    变量内容
ARGC    命令行参数的数量。
ARGIND    命令行正在处理的当前文件的AGV的索引。
ARGV    命令行参数数组。
CONVFMT    转换数字格式。
ENVIRON    从shell中传递来的包含当前环境变量的数组。
ERRNO    当使用close函数或者通过getline函数读取的时候，发生的重新定向错误的描述信息就保存在这个变量中。
FIELDWIDTHS    在对记录进行固定域宽的分割时，可以替代FS的分隔符的列表。FILENAME  当前的输入文件名。
FNR    当前文件的记录号。
FS    输入分隔符，默认是空格。
IGNORECASE    在正则表达式和字符串操作中关闭大小写敏感。
NF    当前文件域的数量。
NR    当前文件记录数。
OFMT    数字输出格式。
OFS    输出域分隔符。
ORS    输出记录分隔符。
RLENGTH    通过match函数匹配的字符串的长度。
RS    输入记录分隔符。
RSTART    通过match函数匹配的字符串的偏移量。
SUBSEP    下标分隔符。

[zhangy@localhost test]$ awk 'BEGIN{OFS="|";}{print $1,$2}' test1
 111|222
 333|444
 555|666
[zhangy@localhost test]$ awk 'BEGIN{OFS="|";}{print $1 OFS $2}' test1
 111|222
 333|444
 555|666
[zhangy@localhost test]$ awk 'BEGIN{OFS="|";}{print $0}' test1
222
444
666
[zhangy@localhost test]$ awk 'BEGIN{OFS="|";}{NF=NF;print $0}' test1
 111|222
 333|444
 555|666
为什么第二种方法中的OFS生效呢？个人觉得，awk觉查到列有所变化时，就会让OFS生效，没变化直接输出了。 可以设置$1=$1

可以用NF来引用最后一个字段。 $NF，$(2+3)

多行记录

FS="\n"; RS="" 记录分隔符为空字符串，代表空行。 

OFS="\n"; ORS="\n\n"; 

格式化打印 

printf(format,[args]) , 圆括号可选。 Shell常用技巧(五) awk编程 ， Awk学习笔记 ，Shell编程-awk

format的格式：％－width.precision specifier , 数值的默认precision为"%.6g" ，默认精度可以通过设置系统变量OFMT来改变，如"%.2f"。

向脚本传递参数

awk引用外部变量

控制结构，和C相同，if [else if] else, for(;;),while(){}, do{}while(),break,continue

next导致读入下一个输入行，并返回到脚本底部，可以避免当前输入行执行其他操作　　。 exit是输入主循环退出，转到END规则。没有END或者在END中用exit则终止脚本的执行。exit可以使用一个表达式作为参数，作为awk的退出状态返回。

数组

a[sub]=value,不必指明数组大小，awk的所有数组都是关联数组，下标可以使字符串和数字。

遍历：for( var in arr )do something with arr[var]　，访问顺序随机。 eg: arr[grade]++ ,即使grade最初不在数组arr中。

重要的是记住awk中的所有下标都是字符串型的，即使使用数字作为下标，awk自动将它们转为字符串，当使用浮点数做下标时向字符串转可能会有影响。

成员测试： item in array， 存在返回1，否则返回0。   awk应用小结(所有命令行均经调试)    

awk数组学习心得

split()创建数组： n=split(str, array, sep), 返回元素个数，sep可以是正则。

删除数组元素： delete array[sub]

模拟多维数组： array[3,2]， 成员测试时下标必须放置在圆括号中。 if((i,j) in array)。 多维数组的下标分别解释为单独的字符串，用系统变量SUBSEP连接，默认为“\034”。

多维数组循环： for(item in array) split(item,sub,SUBSEP). 必须用split()函数来访问单独的下标分量，split使用下标item创建数组sub。

系统变量的数组： 命令行参数ARGV,下标0到ARGC-1，不包括脚本名和选项，ARGV[0]是'awk'。  ENVIRON环境变量数组，其中下标是环境变量的名字。

 可以向ARGV数组添加元素，但是注意要同时增加ARGC的值，awk使用ARGC的值来得到ARGV中有多少元素可以处理。如果ARGV的元素值是一个空串awk将跳过它。

函数

数学函数...

取整int(),print int(100/3)

rand()生成0到1之间的浮点随机数。srand()为随机数发生器设置一个种子数或者起点数，srand([x])，不带参数是使用当前时间。

字符串函数：字符串的起始位置为1，

sub(regex,s,[t=$0]),替换第一个出现的，成功返回1否则返回0. gsub(regex,s,[t=$0])返回替换的个数。正则用//包围。 直接改变指定字符窜，返回的不是替换后的字符串。 和sed一样，替换字符串中的&将被正则匹配的字符串代替。\&代表"&"，在字符串中必须输入两个\\。

index(s,t)返回t在s中的位置，没有指定s返回0. length([s=$0])。

match(s,regex)，正则用//包围,返回regex出现的起始位置，若没有，返回0。设置RSTART和RLENGTH的值。可以用在while循环中，但在每次循环中要改变已匹配的[RSTART..RSTART+RLENGTH]部分，使下次循环是不再匹配已匹配的部分。   注意sub的正则在前面，match的正则在后面。

split(s,arr,sep)返回元素个数，没有sep则用FS。

sprintf(fmt,ecpr)，  substr(s,p,[n]),子串p开始最大长度为n。 tolower(s), toupper(s)。

lowerChars="abcdef..."; f=substr($1,1,1); if(i=index(lowerChars,f)) $1=substr(upperChars,i,1) substr($1,2) #首字母改大写

awk 用法 Awk 命令学习总结 Linux Shell常用技巧(五) awk编程 awk使用手册

自定义函数

function name(arg1,arg2,..){ statements }  return 语句返回。

函数参数都是局部变量。 函数体重定义的变量默认为全局变量。 可以将局部的临时变量列在参数列表末尾。　在参数列表中参数按顺序接受传递来的值。其他的参数初始化为空串。

高级主题

getline函数用于从输入中读取另一行。也能处理来自文件和管道的输入。next语句也是读取下一行，但是next语句将控制传递到脚本的顶部。getline函数得到下一行但不改变脚本的控制。返回值，1：读取一行， 0：到达文件末尾， -1：遇到错误。 尽管被称为一个函数，但是它类似于一个语句，且不能写成getline()。   while(getline > 0) cmd=amd $0

当读取新行后，getline将它赋给$0,并将它分解成字段，同时设置NF,NR,FNR。因此新行变成当前行。如果需要，可以用getline读取一行并将它赋给一个变量从而避免改变$0。 getline var

从文件中读取：while( (getline < "data") > 0 ) ,"data"是一个文件名字符串。加括号是为了防止混乱。

标准输入读取： getline [var] < "-"

将输入赋值给变量：getline var 不是var = getline, 对$0没有影响。输入行没有被分解为字段，对NF没有影响。但它递增了记录计数器NR, FNR。

从管道读取： "who an i" |　getline .将命令的结果赋给$0，同时设置系统变量。$0被改变，$1,NF等变量肯定都跟着改变,它也是根据FS来分隔字段，所以要注意改变FS的地方。 即使$0不改变，NR, FNR也会改变。

当包含多个输入行时getline一次读取一行, 要读取所有行就必须创建一个循环来执行getline直到不再有输出为止。while("who" |　getline)...注意：其中who命令值执行一次，但是getline则调用多次。

 close()函数: 关闭打开的文件或管道。

因为：1. 每次只能代开一定数量的管道。 通常用在getline返回0或-1是，如close("who"). 2. 关闭管道使得你可以运行用一个命令两次。 3.为了得到一个输出管道来完成它的工作，使用close()可能是必要的,{some processing of $0 | "sort > tmpfile"}  END{close("sort > tmpfile")}  close(filename)

system()函数执行命令。然而它没有产生可供程序处理的输出。它返回被执行命令的退出状态。 if(system("mkdir dale") != 0) print "failed!"

 直接向文件或管道输出：

print和printf可以用输出重定向操作">"和">>"将结果直接写入到文件中。　　print > data.out 将记录写入data.out

print | command 直接输出到管道。该命令在第一次执行时打开一个管道，并将当前记录作为输入传送给命令，换句话说这里的命令只执行一次，但每执行一次print将提供另一个输入行。 

使用#!语法： #!/bin/awk -f 其中-f是选项。在这一行之后可以写awk脚本，不必使用引号。-f是必须的。

在正则中使用shell变量：   在原始的awk中很难使用动态模式，因为在脚本解释时它们必须是固定的，这一问题可以使用shell变量。

 var="shell"
 awk '$1 ~ /'"$var"'/' #实际上这是一对单引号，一对双引号，再跟一对单引号引住的文本。 还可以使用shell的其他功能，如"${var:-.*}"变量替换，.*是正则语法，因为包含在双引号中所以不被shell执行通配符解释。

   如果awk的FS为空串，那么每个字符都成为一个单独的字段。类似，如果split的第三个参数sep为空串，那么每个字符将成为目标数组的一个元素。

nextfile放弃当前文件，返回到脚本顶端开始处理下一个文件。 gawk和mawk允许RS是正则。

gawk --re-interval是gawk可以识别区间表达式。如: /stuff{1,3}/, gawk可以使用\<, \> , \w，等。

1. 在BEGIN操作里或者action部分改变OFS,然后不做赋值操作直接输出$0 会把整条记录按原样输出,输出$1,$2...则会以OFS分隔。$0=$0也不会有作用。NF=NF有效。
2. 在BEGIN操作里或者action部分改变ORS,直接生效。