Linux文本处理

一、正则表达式

1.RE字符

RE字符	意义
^word	行首
word$	行尾
^$	空白行
\	转义字符
.	通配符，一个字符，包括空格
*	匹配紧挨在前面的字符任意次(0,1,多次)
.*	匹配任意长度的任意字符
\？	*匹配紧挨在前面的字符0次或1次
\+	*匹配紧挨在前面的字符1次或多次
()	*群组
|	*或者
[list]	匹配指定范围内的任意单个字符
[^list]	匹配指定不在范围内的任意单个字符
\{m,n\}	匹配其前面的字符至少m次，至多n次
\{m,\}	匹配其前面的字符至少m次
\{m\}	精确匹配前面的m次{0,n}:0到n次
< pattern>	单词锚点
\< pattern	匹配单词的开始
pattern\>	匹配单词的结束

二、grep

1.参数

参数	意义
-b	将可执行文件（binary）当作文本文件（text）来搜索
-c	仅显示找到的行数
-i	忽略大小写
-n	显示行号
-v	反向选择—仅列出没有“关键词”的行
-E	使用正则表达式
-o	只输出文件中匹配到的部分
-l	搜索多个文件并查找匹配文本在哪些文件中
-r	在多级目录中对文本进行递归搜索
-e	制动多个匹配样式

三、sed

1.参数

参数	意义
-n	只打印模式匹配的行
-e	直接在命令行模式上进行sed动作编辑，此为默认选项
-f	将sed的动作写在一个文件内，用–f filename 执行filename内的sed动作
-r	支持扩展表达式
-i	直接修改文件内容

2.限定范围式

限定范围式	意义
限定参数	参数为正则或行号，一行。行号：1~n~$
限定参数,限定参数	以第一个参数为主(第二个无效),第二正则失效变为$，行号失效去逗号
限定参数,限定参数!	取反

3.编辑命令

编辑命令	意义
[限定范围式] p	打印匹配行（和-n选项一起合用）
[限定范围式] =	显示文件行号
[限定范围式] a\字符串	在定位行后插入新文本信息
[限定范围式] i\字符串	在定位行前插入新文本信息
[限定范围式] d	删除定位行
[限定范围式] c\字符串	替换定位行
[限定范围式] r 文件名	将文本插入定位行后
[限定范围式] w 文件名	将定位行写入新文件
[限定范围式] s/正则/[&]字符串/[数字][g]	替换字符串,&代表自身,g代表所有
{}	在定位行执行的命令组，用分号隔开

四、awk

awk ‘BEGIN{ commands } pattern{ commands } END{ commands }’

1.参数

参数	意义
-F fs	fs指定输入分隔符，fs可以是字符串或正则表达式
-v var=value	赋值一个用户定义变量，将外部变量传递给awk
-f scripfile	从脚本文件中读取awk命令

2.awk内置变量

说明：[A][N][P][G]表示第一个支持变量的工具，[A]=awk、[N]=nawk、[P]=POSIXawk、[G]=gawk

支持工具	参数	意义
	$n	前记录的第n个字段，比如n为1表示第一个字段，n为2表示第二个字段。
	$0	个变量包含执行过程中当前行的文本内容。
[N]	ARGC	令行参数的数目。
[G]	ARGIND	令行中当前文件的位置（从0开始算）。
[N]	ARGV	含命令行参数的数组。
[G]	CONVFMT	字转换格式（默认值为%.6g）。
[P]	ENVIRON	境变量关联数组。
[N]	ERRNO	后一个系统错误的描述。
[G]	FIELDWIDTHS	段宽度列表（用空格键分隔）。
[A]	FILENAME	前输入文件的名。
[P]	FNR	同NR，相对于当前文件。
[A]	FS	段分隔符（默认是任何空格）。
[G]	IGNORECASE	果为真，则进行忽略大小写的匹配。
[A]	NF	示字段数，在执行过程中对应于当前的字段数。
[A]	NR	示记录数，在执行过程中对应于当前的行号。
[A]	OFMT	字的输出格式（默认值是%.6g）。
[A]	OFS	出字段分隔符（默认值是一个空格）。
[A]	ORS	出记录分隔符（默认值是一个换行符）。
[A]	RS	录分隔符（默认是一个换行符）。
[N]	RSTART	match函数所匹配的字符串的第一个位置。
[N]	RLENGTH	match函数所匹配的字符串的长度。
[N]	SUBSEP	组下标分隔符（默认值是34）。

3.运算符

运算符	意义
~	匹配正则表达式
~!	不匹配正则表达式
^ *	求幂

4.算术函数

格式	描述
atan2( y, x )	返回 y/x 的反正切。
cos( x )	返回 x 的余弦；x 是弧度。
sin( x )	返回 x 的正弦；x 是弧度。
exp( x )	返回 x 幂函数。
log( x )	返回 x 的自然对数。
sqrt( x )	返回 x 平方根。
int( x )	返回 x 的截断至整数的值。
rand( )	返回任意数字 n，其中 0 <= n < 1。
srand( [expr] )	将 rand 函数的种子值设置为 Expr 参数的值，或如果省略 Expr 参数则使用某天的时间。返回先前的种子值。

5.字符串函数

注：Ere都可以是正则表达式。

格式	描述
gsub( Ere, Repl, [ In ] )	除了正则表达式所有具体值被替代这点，它和 sub 函数完全一样地执行。
sub( Ere, Repl, [ In ] )	用 Repl 参数指定的字符串替换 In 参数指定的字符串中的由 Ere 参数指定的扩展正则表达式的第一个具体值。sub 函数返回替换的数量。出现在 Repl 参数指定的字符串中的 &（和符号）由 In 参数指定的与 Ere 参数的指定的扩展正则表达式匹配的字符串替换。如果未指定 In 参数，缺省值是整个记录（$0 记录变量）。
index( String1, String2 )	在由 String1 参数指定的字符串（其中有出现 String2 指定的参数）中，返回位置，从 1 开始编号。如果 String2 参数不在 String1 参数中出现，则返回 0（零）。
length [(String)]	返回 String 参数指定的字符串的长度（字符形式）。如果未给出 String 参数，则返回整个记录的长度（$0 记录变量）。
blength [(String)]	返回 String 参数指定的字符串的长度（以字节为单位）。如果未给出 String 参数，则返回整个记录的长度（$0 记录变量）。
substr( String, M, [ N ] )	返回具有 N 参数指定的字符数量子串。子串从 String 参数指定的字符串取得，其字符以 M 参数指定的位置开始。M 参数指定为将 String 参数中的第一个字符作为编号 1。如果未指定 N 参数，则子串的长度将是 M 参数指定的位置到 String 参数的末尾 的长度。
match( String, Ere )	在 String 参数指定的字符串（Ere 参数指定的扩展正则表达式出现在其中）中返回位置（字符形式），从 1 开始编号，或如果 Ere 参数不出现，则返回 0（零）。RSTART 特殊变量设置为返回值。RLENGTH 特殊变量设置为匹配的字符串的长度，或如果未找到任何匹配，则设置为 -1（负一）。
split( String, A, [Ere] )	将 String 参数指定的参数分割为数组元素 A[1], A[2], …, A[n]，并返回 n 变量的值。此分隔可以通过 Ere 参数指定的扩展正则表达式进行，或用当前字段分隔符（FS 特殊变量）来进行（如果没有给出 Ere 参数）。除非上下文指明特定的元素还应具有一个数字值，否则 A 数组中的元素用字符串值来创建。
tolower( String )	返回 String 参数指定的字符串，字符串中每个大写字符将更改为小写。大写和小写的映射由当前语言环境的 LC_CTYPE 范畴定义。
toupper( String )	返回 String 参数指定的字符串，字符串中每个小写字符将更改为大写。大写和小写的映射由当前语言环境的 LC_CTYPE 范畴定义。
sprintf(Format, Expr, Expr, … )	根据 Format 参数指定的 printf 子例程格式字符串来格式化 Expr 参数指定的表达式并返回最后生成的字符串。

格式化字符串输出（sprintf使用）

格式	描述
%d	十进制有符号整数
%u	十进制无符号整数
%f	浮点数
%s	字符串
%c	单个字符
%p	指针的值
%e	指数形式的浮点数
%x	%X 无符号以十六进制表示的整数
%o	无符号以八进制表示的整数
%g	自动选择合适的表示法

6.一般函数

格式	描述
close( Expression )	用同一个带字符串值的 Expression 参数来关闭由 print 或 printf 语句打开的或调用 getline 函数打开的文件或管道。如果文件或管道成功关闭，则返回 0；其它情况下返回非零值。如果打算写一个文件，并稍后在同一个程序中读取文件，则 close 语句是必需的。
system(command )	执行 Command 参数指定的命令，并返回退出状态。等同于 system 子例程。
Expression	getline [ Variable ]
getline [ Variable ] < Expression	从 Expression 参数指定的文件读取输入的下一个记录，并将 Variable 参数指定的变量设置为该记录的值。只要流保留打开且 Expression 参数对同一个字符串求值，则对 getline 函数的每次后续调用读取另一个记录。如果未指定 Variable 参数，则 $0 记录变量和 NF 特殊变量设置为从流读取的记录。
getline [ Variable ]	将 Variable 参数指定的变量设置为从当前输入文件读取的下一个输入记录。如果未指定 Variable 参数，则 $0 记录变量设置为该记录的值，还将设置 NF、NR 和 FNR 特殊变量。

7.时间函数

函数名	说明
mktime( YYYY MM dd HH MM ss[ DST])	生成时间格式
strftime([format [, timestamp]])	格式化时间输出，将时间戳转为时间字符串
systime()	得到时间戳,返回从1970年1月1日开始到当前时间(不计闰年)的整秒数

strftime日期和时间格式说明符

格式	描述
%a	星期几的缩写(Sun)
%A	星期几的完整写法(Sunday)
%b	月名的缩写(Oct)
%B	月名的完整写法(October)
%c	本地日期和时间
%d	十进制日期
%D	日期 08/20/99
%e	日期，如果只有一位会补上一个空格
%H	用十进制表示24小时格式的小时
%I	用十进制表示12小时格式的小时
%j	从1月1日起一年中的第几天
%m	十进制表示的月份
%M	十进制表示的分钟
%p	12小时表示法(AM/PM)
%S	十进制表示的秒
%U	十进制表示的一年中的第几个星期(星期天作为一个星期的开始)
%w	十进制表示的星期几(星期天是0)
%W	十进制表示的一年中的第几个星期(星期一作为一个星期的开始)
%x	重新设置本地日期(08/20/99)
%X	重新设置本地时间(12：00：00)
%y	两位数字表示的年(99)
%Y	当前月份
%Z	时区(PDT)
%%	百分号(%)