自动化运维工程师必备的shell脚本知识(正则表达式、awk、sed、grep详解)

一、 正则表达式:
正则表达式(或称 Regular Expression,简称 RE)就是由普通字符(例如字符 a 到 z)以及特殊字符(称
为元字符)组成的文字模式。
该模式描述在查找文字主体时待匹配的一个或多个字符串。
正则表达式作为一个模板,将某个字符模式与所搜索的字符串进行匹配。简单的说,正则表示式就是处
理字符串的方法,它是以行为单位来进行字符串的处理行为, 正则表示式通过一些特殊符号的辅助,可以
让使用者轻易的达到搜寻/删除/取代某特定字符串的处理程序。vim、grep、find、awk、sed 等命令都支持
正则表达式。
常用正则表达式:
1、 . 代表 任意单个字符, 如:/l..e/与包含一个 l,后跟两个字符,然后跟一个 e 的行相匹配
2、^代表行的开始。 ^love 如:与所有 love 开头的行匹配
3、$代表行的结束。love$ 如:与所有 love 结尾的行匹配
那么‘^$’  就表示空行
4、[…]匹配括号中的字符之一
[abc] 匹配单个字符 a 或 b 或 c
[123] 匹配单个字符 1 或 2 或 3
[a-z] 匹配小写字母 a-z 之一
[a-zA-Z] 匹配任意英文字母之一
[0-9a-zA-Z]匹配任意英文字母或数字之一
注意:上面标红色的单个和之一,不管[ ]里面多复杂,它的结果都是 一个字符!
可以用^标记做[ ]内的前缀,表示除[ ]内的字符之外的字符。比如 搜索 oo 前没有 g 的字符串的行. 应用
'[^g]oo' 作搜索字符串,^符号如果出现在[ ]的起始位置表示否定,但是在[ ]的其他位置是普通字符。
[^ab^c] 匹配不是 a,b,^,c 的任意单个字符
5、* 用于 修饰 前导字符,表示前导字符出现 0 次或任意多次
如:'a*grep'匹配所有 0 个或多个 a 后紧跟 grep 的行。“.*”表示任意字符串
6、\? 用于 修饰 前导字符,表示前导字符出现 0 或 1 次
a\? 匹配 0 或 1 个 a
7、\+ 用于 修饰 前导字符,表示前导字符出现 1 或多次
a\+ 匹配 1 或多个 a
8、\{n,m\} 用于 修饰 前导字符,表示前导字符出现 n 至 m 次 (n 和 m 都是整数,且 na\{3,5\} 匹配 3 至 5 个连续的 a
\{n,m\}还有其他几种形式:
\{n\} 连续的 n 个前导字符
\{n,\} 连续的至少 n 个前导字符
9、\ 用于转义紧跟其后的单个 特殊字符 ,使该特殊字符成为普通字符
如:^\.[0-9][0-9] 对以一个句点和两个数字开始
例如:
a* 匹配连续的任意(也包括 0)个 a
a\? 匹配 0 或 1 个 字符串
a\+ 匹配 1 或多个 字符串
a\{3,5\} 匹配 3 至 5 个连续的 字符串
\.* 匹配 0 或多个连续的. \.表示普通字符句点
10、 、|表示或 如: a|b|c  匹配 a 或 或 b 或 或 c 。如:grep|sed  匹配 grep 或 或 sed
11、 、(),将部分内容合成一个单位组,比如 要搜索 glad 或 good 可以如下 'g(la|oo)d'
综合举例1:
1 Christian Scott lives here and will put on a Christmas party.
2 There are around 30 to 35 people invited.
3 They are:
4 Tom
5 Dan
6 Rhonda Savage
7 Nicky and Kimerly.
8 Steve, Suzanne, Ginger and Larry.
^ ^[A-Z]..$
搜索行以A至Z的一个字母开头,然后跟两个任意字母,然后跟一个换行符的行。将找到第5行。
^ ^[A-Z][a-z]*3[0-5]
搜索以一个大写字母开头,后跟0个或多个小写字母,再跟数字3,再跟0—5之间的一个数字。无法找到匹
配行(改成^[A-Z][a-z]*.*3[0-5]可找到第2行)
^ ^ *[A-Z][a-z][a-z]$
搜索以0个或多个空格开头,跟一个大写字母,两个小写字母和一个换行符。将找到第4行的TOM(整行匹配)
和第5行。注意,*前面有一个空格。
^ ^[A-Za-z]*[^,][A-Za-z]*$
将查找以 0 个或多个大写或小写字母开头,不跟逗号,然后跟 0 个或多个大写或小写字母,然后跟一个换
行符。将找到第 5 行。
综合举例2:
# # ls - - l / / bin | grep '^...s'
上面的命令是用来查找suid文件的;
# # ls - -l l R /usr | grep '^...s..s'
上面的命令是用来查找 suid 和 guid 的。
二、grep  命令的用法
grep (global search regular expression(RE) and print out the line,全面搜索正则表达式并把行打印出来)是一
种强大的文本搜索工具,它能使用正则表达式搜索文本,并把匹配的行打印出来.
参数:
1. -A NUM,--after-context=NUM 除了列出符合行之外,并且列出后 NUM 行。
如: $ grep –A 1 panda file (从 file 中搜寻有 panda 样式的行,并显示该行的后 1 行)
2. -B NUM,--before-context=NUM 与 -A NUM 相对,但这此参数是显示除符合行之外并显示在它之前的
NUM 行。如: (从 file 中搜寻有 panda 样式的行,并显示该行的前 1 行)
$ grep -B 1 panda file
3、 -C [NUM], -NUM, --context[=NUM] 列出符合行之外并列出上下各 NUM 行。默认值为 2
如: (列出 file 中除包含 panda 样式的行外并列出其上下 2 行)(若要改变默认值,直接改变 NUM 即可)
$ grep -C[NUM] panda file
4、 -c, --count 不显示符合样式行,只显示符合的总行数。若再加上-v,--invert-match,参数显示不符合的
总行数
5、-i,--ignore-case 忽略大小写差别
6、-n,--line-number 在匹配的行前面打印行号
7、-v,--revert-match 反检索,只显示不匹配的行
8、精确匹配:\<字符串\>
例如在抽取字符串“ 48”,返回结果包含诸如 484 和 483 等包含“48”的其他字符串,实际上应精确
抽取只包含 48 的各行。
使用 grep 抽取精确匹配的一种有效方式是在抽取字符串后加\>。假定现在精确抽取 48,
方法如下:
#grep '48\>' filename
9、-s 不显示不存在或无匹配文本的错误信息
如:执行命令 grep "root" /etc/password,因为 password 文件不存在,所以在屏幕上输出错误信息,若
使用 grep 命令-s 开关,可屏蔽错误信息
要用好 grep 这个工具,其实就是要写好正则表达式,所以这里不对 grep 的所有功能进行实例讲解,只列几
个例子,讲解一个正则表达式的写法。
$ ls -l | grep '^d'
通过管道过滤 ls -l 输出的内容,只显示以 d 开头的行。
$ grep 'test' d*
显示所有以 d 开头的文件中包含 test 的行。
$ grep 'test' aa bb cc
显示在 aa,bb,cc 文件中匹配 test 的行。
$ grep '[a-z]\{5,\}' aa
显示所有包含每个字符串至少有 5 个连续小写字符的字符串的行。
$grep ‘t[a|e]st’ filename
显示包含 test 或 tast 的所有行。
$grep '\.$' filename
显示以.为结尾的所有行。
三、sed  命令的用法
sed 是一种在线编辑器,它一次处理一行内容。处理时,把当前处理的行存储在临时缓冲区中,称为“模
式空间”(pattern space),接着用 sed 命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。
接着处理下一行,这样不断重复,直到文件末尾。文件内容并没有改变,除非你使用重定向存储输出。
sed 的基本命令:
1.替换: s 命令
1.1 基本用法
如: sed 's/day/night/' new
该例子将文件 old 中的每一行第一次出现的 day 替换成 night, 将结果输出到文件 new
s " 替换 " 命令
/../../ 分割符 (Delimiter)
day 搜索字符串
night 替换字符串
其实 , 分割符 "/" 可以用别的符号代替,比如 ",", "|"等 .
如:sed 's/\/usr\/local\/bin/\/common\/bin/'new
等价于 sed 's_/usr/local/bin_/common/bin_' new
显然 , 此时用 "_" 作分割符比 "/" 好得多
1.2 用 & 表示匹配的字符串
有时可能会想在匹配到的字符串周围或附近加上一些字符 .
如: sed 's/abc/(abc)/' new
该例子在找到的 abc 前后加上括号 .
该例子还可以写成 sed 's/abc/(&)/' new
下面是更复杂的例子 :
sed 's/[a-z]*/(&)/' new
sed 默认只替换搜索字符串的第一次出现 , 利用 /g 可以替换搜索字符串所有
$ sed 's/test/mytest/g' example-----在整行范围内把 test 替换为 mytest。如果没有 g 标记,则只有每行第
一个匹配的 test 被替换成 mytest。
$ sed 's/^192.168.0.1/&localhost/' example-----&符号表示替换字符串中被找到的部份。所有以 192.168.0.1
开头的行都会被替换成它自已加 localhost,变成 192.168.0.1localhost。
$ sed 's#10#100#g' example-----不论什么字符,紧跟着 s 命令的都被认为是新的分隔符,所以,“#”在这
里是分隔符,代替了默认的“/”分隔符。表示把所有 10 替换成 100。
如果需要对同一文件或行作多次修改,可以使用 "-e" 选项


取得 eth0 网卡 IP 地址:

2.删除行:d 命令

    从某文件中删除包含 "how" 的所有行


将/etc/passwd 的内容显示并找印行号,同时将 2~5 删除


附:nl 命令在 linux 系统中用来计算文件中行号。nl 可以将输出的文件内容自动的加上行号
如果只要删除第 2 行,可以使用 nl /etc/passwd | sed '2d' 来达成,至于若是要删除第 3 到最后一行,
则是 nl /etc/passwd | sed '3,$d'的啦。
3.增加行:a 命令(在指定的行后新增)或 i 命令(在指定的行前新增)
a 的后面可以接字符串,而这些字符串会在新的一行出现

在/etc/passwd 的第二行后增加“XXXXX”字样的新行

自动化运维工程师必备的shell脚本知识(正则表达式、awk、sed、grep详解)_第1张图片

在/etc/passwd 的第二行前增加“XXXXX”字样的新行

自动化运维工程师必备的shell脚本知识(正则表达式、awk、sed、grep详解)_第2张图片

如果要同时新增多行,则每行之间要用反斜杠\来进行新行的添加

自动化运维工程师必备的shell脚本知识(正则表达式、awk、sed、grep详解)_第3张图片

4、取代行:c 命令

c 的后面可以接字符串,这些字符串可以取代 n1,n2 之间的行


5、打印:p 命令
sed '/north/p' datafile 默认输出所有行,找到 north 的行重复打印
sed –n '/north/p' datafile 禁止默认输出,只打印找到 north 的行
nl /etc/passwd | sed -n '5,7p' 仅列出/etc/passwd 文件中的第 5~7 行内容

注:sed 的-i 选项可以直接修改文件中的内容


6.扩展:
调用sed有三种方式:
  在命令行键入命令
  将sed命令插入脚本文件,然后调用sed
  将sed命令插入脚本文件,并使sed脚本可执行。
A、 使用sed命令行格式为:
sed [选项] sed命令 输入文件。
记住在命令行使用sed命令时,实际命令要加单引号。sed也允许加双引号。
B、使用sed脚本文件,格式为:
sed [选项] - - f sed脚本文件 输入文件
C、要使用第一行具有sed命令解释器的sed脚本文件,其格式为:
sed脚本文件 [选项] 输入文件
不管是使用shell命令行方式或脚本文件方式,如果没有指定输入文件, sed从标准输入中接受输入,一般
是键盘或重定向结果。
sed选项如下:
-f, --filer=script-file 引导 sed 脚本文件名
综合举例:

通过 sed 脚本对 test.txt 进行处理,test.txt 文件内容如下:


创建 sed 脚本文件 append.sed,通过 sed 脚本向 test.txt 中新增内容,脚本内容如下:

保存它,增加可执行权限:chmod +x append.sed

运行脚本 append.sed


显示结果如下:

自动化运维工程师必备的shell脚本知识(正则表达式、awk、sed、grep详解)_第4张图片

现在查看其具体功能。
第一行是sed命令解释行。脚本在这一行查找sed以运行命令,这里定位在/bin。
第二行以/company/开始,这是附加操作起始位置。a\通知sed这是一个附加操作,首先应插入二个新行。
第三、四行是附加操作要加入到拷贝的实际文本。
这里只举例通过sed脚本增加新行的操作,有关sed的其他操作大家要会举一反三。
四、printf  命令:
printf 是一个把从标准输入的字符按照你所要求的格式输出到标准输出即屏幕的命令. 在很多时候,
我们可能需要将自己的数据给他格式化输出的。例如考试分数的输出:假设有一个文件 test.txt 记录着考试

分数,内容如下图所示:


上表的数据主要分成五个字段,各个字段之间可使用 tab 或空格键进行分隔。
printf 命令格式:

printf '打印格式' 实际内容

自动化运维工程师必备的shell脚本知识(正则表达式、awk、sed、grep详解)_第5张图片

接下来我们来进行几个常见的练习。假设所有的数据都是一般文字 (这也是最常见的状态),因此
最常用来分隔数据的符号就是 [Tab] 。因为 [Tab] 按键可以将数据作个整齐的排列!那么如何利
用 printf 命令?

例如 1:下列命令是以整数形式输出 23 并换行;以字符串形式输出 hello 并换行.


例如 2:下列命令是以 4 位整数形式输出 23 并换行;以 7 位字符串形式输出 hello 并换行.


例如 3:

参考底下这个范例:


如上所示,printf 命令的输出结果并没有对齐,%s 代表一个不固定长度的字符串,而字符串与字符串中间
就以 \t 这个 [tab] 分隔符来处理。既然每个字段的长度不固定会造成上述的困扰,那我将每个字段固定就
好啦。

将 test.txt 文件中的内容,分别以字符串、整数、小数点来显示:


上面的格式共分为五个字段, %10s 代表的是一个长度为 10 个字符的字符串字段,%5i 代表的是长度为 5
个字符的数字字段,至于那个 %8.2f 则代表长度为 8 个字符的具有小数点的字段,其中小数点有两个字
符宽度;全部的宽度仅有 8 个字符,整数部分占有 5 个字符,小数点本身 (.) 占一位,小数点后的位数
则有两位。
printf 除了可以格式化处理之外,他还可以依据 ASCII 的数字与字符对应来显示数据,举例来说 16 进位的

55 可以得到什么 ASCII 的显示字符?


五、awk  命令:
awk 也是一个数据处理工具!相较于 sed 常常作用于一整个行的处理, awk 则比较倾向于一行当中
分成数个字段来处理。
. awk 语言的最基本功能是在文件或字符串中基于指定规则来分解抽取信息,也可以基于指定的规则来
输出数据。其实他更像一门编程语言,他可以自定义变量,有条件语句,有循环,有数组,有正则,有函
数等。
有三种方式调用 awk
1.命令行方式
awk [-F field-separator] 'commands' input-files
其中,[-F 域分隔符]是可选的,因为 awk 使用空格或 tab 键作为缺省的域分隔符,因此如果要浏览域
间有空格的文本,不必指定这个选项,如果要浏览诸如 passwd 文件,此文件各域以冒号作为分隔符,
则必须指明-F 选项,如:awk -F: 'commands' input-file。
注:在 linux 系统中用环境变量 IFS 存储分隔符,但根据实际应用也可以改变 IFS 的值.

例如:

自动化运维工程师必备的shell脚本知识(正则表达式、awk、sed、grep详解)_第6张图片

脚本执行结果如下:


commands 是真正 awk 命令, input-files 是待处理的文件。
iput_files 可以是多于一个文件的文件列表,awk 将按顺序处理列表中的每个文件。
在 awk 中,文件的每一行中,由域分隔符分开的每一项称为一个域。通常,在不指名-F 域分隔符的情
况下,默认的域分隔符是空格或 tab 键。
2.shell 脚本方式
将所有的 awk 命令插入一个文件,并使 awk 程序可执行,然后 awk 命令解释器作为脚本的首行,以
便通过键入脚本名称来调用。
相当于 shell 脚本首行的:#!/bin/sh 可以换成:#!/bin/awk
3.将所有的 awk 命令插入一个单独文件,然后调用:
Awk -f awk-script-file input-files
其中,-f 选项加载 awk-script-file 中的 awk 脚本,input-files 跟上面的是一样的。
awk 的模式和动作
任何 awk 语句都由模式和动作组成(awk_pattern { actions })。
在一个 awk 脚本中可能有许多语句。
模式部分决定动作语句何时触发及触发事件。处理即对数据进行的操作。如果省略模式部分,动作将时
刻保持执行状态。即省略时不对输入记录进行匹配比较就执行相应的 actions。
模式可以是任何条件语句或正则表达式等。awk_pattern 可以是以下几种类型:
1) 正则表达式用作 awk_pattern: /regexp/
例如:awk '/ ^[a-z]/' input_file
2) 布尔表达式用作 awk_pattern,表达式成立时,触发相应的 actions 执行。
① 表达式中可以使用变量(如字段变量$1,$2 等)和/regexp/
② 布尔表达式中的操作符:
关系操作符: < > <= >= == !=
匹配操作符: value ~ /regexp/ 如果 value 匹配/regexp/,则返回真
value !~ /regexp/ 如果 value 不匹配/regexp/,则返回真
例如: awk '$2 > 10 {print "ok"}' input_file
awk '$3 ~ /^d/ {print "ok"}' input_file
③ &&(与) 和 ||(或) 可以连接两个/regexp/或者布尔表达式,构成混合表达式。!(非) 可以用于
布尔表达式或者/regexp/之前。
例如: awk '($1 < 10 ) && ($2 > 10) {print "ok"}' input_file
awk '/^d/ || /x$/ {print "ok"}' input_file
模式包括两个特殊字段 BEGIN 和 END。使用 BEGIN 语句设置计数和打印头。BEGIN 语句使用在任何文
本浏览动作之前,之后文本浏览动作依据输入文本开始执行。END 语句用在 awk 完成文本浏览动作后
打印输出文本总数和结尾状态标志。
实际动作在大括号{ }内指明。动作大多数用来打印,但是还有些更长的代码诸如i f和循环语句及循环
退出结构。如果不指明采取动作,awk将打印出所有浏览出来的记录。
awk执行时,其浏览域标记为$1,$2...$n。这种方法称为域标识。使用这些域标识将更容易对域进行进
一步处理。
使用$1 , $3表示参照第1和第3域,注意这里用逗号做域分隔。如果希望打印一个有5个域
的记录的所有域,不必指明$1 , $2 , $3 , $4 , $5,可使用$0,意即所有域。
为打印一个域或所有域,使用 print 命令。这是一个 awk 动作
awk 的运行过程:
① 如果 BEGIN 区块存在,awk 执行它指定的 actions。
② awk 从输入文件中读取一行,称为一条输入记录。(如果输入文件省略,将从标准输入读取)
③ awk 将读入的记录分割成字段,将第 1 个字段放入变量$1 中,第 2 个字段放入$2,以此类推。
$0 表示整条记录。
④ 把当前输入记录依次与每一个 awk_cmd 中 awk_pattern 比较,看是否匹配,如果相匹配,就执
行对应的 actions。如果不匹配,就跳过对应的 actions,直到比较完所有的 awk_cmd。
⑤ 当一条输入记录比较了所有的 awk_cmd 后,awk 读取输入的下一行,继续重复步骤③和④,这
个过程一直持续,直到 awk 读取到文件尾。
⑥ 当 awk 读完所有的输入行后,如果存在 END,就执行相应的 actions。
入门实例:

例 1:显示/etc/passwd 文件中的用户名和登录 shell


如果只是显示/etc/passwd 的账户和账户对应的 shell,而账户与 shell 之间以 tab 键分割


如果只是显示/etc/passwd 文件中的用户名和登录 shell, 而账户与 shell 之间以逗号分割


注:awk 的总是输出到标准输出,如果想让 awk 输出到文件,可以使用重定向。

例 2:显示/etc/passwd 文件中的 UID 大于 500 的所有用户的用户名和登录 shell


例 3:如果只是显示/etc/passwd 文件中的 UID 大于 500 的用户名和登录 shell,而账户与 shell 之间以

逗号分割,而且在所有行添加列名 name,shell,在最后一行添加"blue,/bin/nosh"。

自动化运维工程师必备的shell脚本知识(正则表达式、awk、sed、grep详解)_第7张图片

注:
1. awk 后面接两个单引号并加上大括号 {} 来设定想要对数据进行的处理动作
2.awk 工作流程是这样的:先执行 BEGING,然后读取文件,读入有\n 换行符分割的一条记
录,然后将记录按指定的域分隔符划分域,填充域,$0 则表示所有域,$1 表示第一个域,$n
表示第 n 个域,随后开始执行模式所对应的动作。接着开始读入第二条记录······直到所
有的记录都读完,最后执行 END 操作。
思考题:如何打印所有记录(以/etc/passwd 中的内容为例)


例 4:搜索/etc/passwd 有 root 关键字的所有行


这种是 pattern(模式)的使用示例,匹配了 pattern(这里是 root)的行才会执行 action(没有
指定 action,默认输出每行的内容)。

搜索支持正则表达式,例如找 root 开头的:


搜索/etc/passwd 有 root 关键字的所有行,并显示对应的 shell

这里指定了 action 是{print $7}
例 5:显示最近登录系统的 5 个用户信息,只显示用户名和 IP 地址

使用 last 命令可以查看最近登录的用户信息。如下图所示:

自动化运维工程师必备的shell脚本知识(正则表达式、awk、sed、grep详解)_第8张图片

使用 awk 命令抽取用户名和 IP 区域的数据




awk 内置变量
awk 有许多内置变量用来设置环境信息,下面给出了最常用的一些变量。
FILENAME awk 浏览的文件名
FS 设置输入域分隔符,等价于命令行-F 选项
NF 浏览记录的域个数(每一行($0)拥有的字段总数)
NR 已读的记录数(awk 所处理的是第几行数据)
例 6:统计/etc/passwd:文件名,每行的行号,每行的列数,对应的完整行内容:

自动化运维工程师必备的shell脚本知识(正则表达式、awk、sed、grep详解)_第9张图片

显示所有账户的记录,并带有其记录号,并在 END 部分打印输入文件名


除了 awk 的内置变量,awk 还可以自定义变量

例 7:统计/etc/passwd 的账户人数


count是自定义变量。之前的action{}里都是只有一个print,其实print只是一个语句,而action{}
可以有多个语句,以;号隔开。

这里没有初始化 count,虽然默认是 0,但是妥当的做法还是初始化为 0:


例 8:统计某个文件夹下的文件占用的字节数


如果以 M 为单位显示:


注意:以上统计没有包括子目录中的文件。

如果想快速查看所有文件的长度及其总和,但要排除子目录,如何实现:

自动化运维工程师必备的shell脚本知识(正则表达式、awk、sed、grep详解)_第10张图片

六、函数及脚本的综合应用
1、shell 函数:shell 允许将一组命令集或语句形成一个可用块,这些块称为 shell 函数。
函数由两部分组成:函数标题、函数体。
标题是函数名。函数体是函数内的命令集合。
标题名应该唯一;如果不是,将会混淆结果,因为脚本在查看调用脚本前将首先搜索函数调用相应的
shell。
2、定义函数的格式为:
函数名(){
命令1
...
}
如果愿意,可在函数名前加上关键字 function,这取决于使用者。
function 函数名()
{
命令1
...
}
3、举例:
例 1:删除文件中的空行
这个脚本(脚本名为del.lines)可以处理一个或多个文件。每个文件在用sed删除空行之前要先核实是
否存在。
sed的输出被导入一个文件名中含有$ $的临时文件,最后这个临时文件又被移回到原来的文件中。
该脚本使用shift命令取得所有的文件名,用while循环逐个处理所有的文件,直至处理完

为止。可以使用del.lines --help获得一个简短的帮助


自动化运维工程师必备的shell脚本知识(正则表达式、awk、sed、grep详解)_第11张图片


自动化运维工程师必备的shell脚本知识(正则表达式、awk、sed、grep详解)_第12张图片

保存后给脚本文件增加执行权限:chmod +x del.lines
执行脚本进行测试


注:
1、basename 命令能够从路径中分离出文件名。通常用于 shell 脚本中
2、shift 语句 用于迁移位置变量,将 $1~$9  依次向左传递
例如,若当前脚本程序获得的位置变量如下:
$1=file1、$2=file2、$3=file3、$4=file4
则执行一次 t shift  命令后,各位置变量为:
$1=file2、$2=file3、$3=file4
再次执行 t shift  命令后,各位置变量为:
$1=file3、$2=file4
例2:如果某些日志文件超过了特定的长度(如8K),那么它的内容将被倒换到另一个文件中,并清除原有
文件中的内容.
系统中的有些日志文件增长十分迅速,每天手工检查这些日志文件的长度并倒换这些日志文件(通常
是给文件名加个时间戳)是非常乏味的。可以编写一个脚本来自动完成这项工作。该脚本将提交给cron
进程来运行,如果某个日志文件超过了特定的长度,那么它的内容将被倒换到另一个文件中,并清除
原有文件中的内容。
该脚本中日志文件的长度限制是由变量BLOCK_LIMIT设定的。这一数字代表了块数目,在本例中是8
(块大小默认为4K)。可以按照自己的需求把这一数字设得更高。所有要检查的日志文件名都保存在
变量LOGS中。
这里使用了一个for循环来依次检查每一个日志文件,使用du命令来获取日志文件长度。
如果相应的文件长度大于BLOCK_LIMIT变量所规定的值,那么该文件将被拷贝到一个文件

名含有时间戳的文件中,原先的文件长度将被截断为0。

自动化运维工程师必备的shell脚本知识(正则表达式、awk、sed、grep详解)_第13张图片

注:du 并不是显示文件的实际大小,而是显示文件所占用的 block 大小,默认 linux 系统分区的 block
size 是 4k,也就是说即使文件只有 1 个字节,也会占用 4k.
ls -l 则是文件的实际大小。



你可能感兴趣的:(自动化运维工程师必备的shell脚本知识(正则表达式、awk、sed、grep详解))