m0_74536424

shell文本处理

一、grep

过滤来自一个文件或标准输入匹配模式内容。除了 grep 外，还有 egrep、fgrep。egrep 是 grep 的扩展，相当于 grep -E。fgrep 相当于 grep -f，用的比较少。

用法

grep [OPTION]... PATTERN [FILE]...

支持的正则	描述
-E，–extended-regexp	模式是扩展正则表达式（ERE）
-P，–perl-regexp	模式是 Perl 正则表达式
-e，–regexp=PATTERN	使用模式匹配，可指定多个模式匹配
-f，–file=FILE	从文件每一行获取匹配模式
-i，–ignore-case	忽略大小写
-w，–word-regexp	模式匹配整个单词
-x，–line-regexp	模式匹配整行
-v，–invert-match	打印不匹配的行

输出控制	描述
-m，–max-count=NUM	输出匹配的结果 num 数
-n，–line-number	打印行号
-H，–with-filename	打印每个匹配的文件名
-h，–no-filename	不输出文件名
-o，–only-matching	只打印匹配的内容
-q，–quiet	不输出正常信息
-s, --no-messages	不输出错误信息
-r，–recursive	递归目录
-c，–count	只打印每个文件匹配的行数
–include=FILE_PATTERN	只检索匹配的文件
–exclude=FILE_PATTERN	跳过匹配的文件
–exclude-from=FILE	跳过匹配的文件，来自文件模式
–exclude-dir=PATTERN	跳过匹配的目录

内容行控制	描述
-B，–before-context=NUM	打印匹配的前几行
-A，–after-context=NUM	打印匹配的后几行
-C，–context=NUM	打印匹配的前后几行
–color[=WHEN]	匹配的字体颜色

示例:

输出 b 文件中在 a 文件相同的行

# grep -f a b

输出 b 文件中在 a 文件不同的行

# grep -v -f a b

匹配多个模式

# echo "a bc de" |xargs -n1 |grep -e 'a' -e 'bc'
a
bc

去除空格 http.conf 文件空行或开头#号的行

# grep -E -v "^$|^#" /etc/httpd/conf/httpd.conf

匹配开头不分大小写的单词

# echo "A a b c" |xargs -n1 |grep -i a
或
# echo "A a b c" |xargs -n1 |grep '[Aa]'
A
a

只显示匹配的字符串

# echo "this is a test" |grep -o 'is'
is
is

输出匹配的前五个结果

# seq 1 20 |grep -m 5 -E '[0-9]{2}'
10
11
12
13
14

统计匹配多少行

# seq 1 20 |grep -c -E '[0-9]{2}'
11

匹配 b 字符开头的行

 # echo "a bc de" |xargs -n1 |grep '^b'
 bc

匹配 de 字符结尾的行并输出匹配的行

# echo "a ab abc abcd abcde" |xargs -n1 |grep -n 'de$'
5:abcde

递归搜索/etc 目录下包含 ip 的 conf 后缀文件

# grep -r '192.167.1.1' /etc --include *.conf

排除搜索 bak 后缀的文件

# grep -r '192.167.1.1' /opt --exclude *.bak

排除来自 file 中的文件

# grep -r '192.167.1.1' /opt --exclude-from file

匹配 41 或 42 的数字

# seq 41 45 |grep -E '4[12]'
41
42

匹配至少 2 个字符

# seq 13 |grep -E '[0-9]{2}'
10
11
12
13

匹配至少 2 个字符的单词，最多 3 个字符的单词

# echo "a ab abc abcd abcde" |xargs -n1 |grep -E -w -o '[a-z]{2,3}'
ab
abc

匹配所有 IP

# ifconfig |grep -E -o "[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}"
# ifconfig |grep -E -o "[0-9]{1,3}\.{3}[0-9]{1,3}"
# ifconfig | grep -E -o '((25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.){3}(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)'

打印匹配结果及后 3 行

# seq 1 10 |grep 5 -A 3
5
6
7
8

打印匹配结果及前 3 行

# seq 1 10 |grep 5 -B 3
2
3
45

打印匹配结果及前后 3 行

# seq 1 10 |grep 5 -C 3
2
3
4
5
6
7
8

不显示输出

## 不显示错误输出：
# grep 'a' abc
grep: abc: No such file or directory
# grep -s 'a' abc
# echo $?
2
## 不显示正常输出：
# grep -q 'a' a.txt

二、sed

流编辑器，过滤和替换文本。

工作原理：sed 命令将当前处理的行读入模式空间进行处理，处理完把结果输出，并清空模式空间。然后再将下一行读入模式空间进行处理输出，以此类推，直到最后一行。还有一个空间叫保持空间，又称暂存空间，可以暂时存放一些处理的数据，但不能直接输出，只能放到模式空间输出。这两个空间其实就是在内存中初始化的一个内存区域，存放正在处理的数据和临时存放的数据。

用法

sed [OPTION]... {script-only-if-no-other-script} [input-file]...
sed [选项] '地址 命令' file

选项	描述
-n	不打印模式空间
-e	执行脚本、表达式来处理
-f	执行动作从文件读取执行
-i	修改原文件
-r	使用扩展正则表达式

命令	描述
s/regexp/replacement/	替换字符串
p	打印当前模式空间
P	打印模式空间的第一行
d	删除模式空间，开始下一个循环
D	删除模式空间的第一行，开始下一个循环
=	打印当前行号
a \text	当前行追加文本
i \text	当前行上面插入文本
c \text	所选行替换新文本
q	立即退出 sed 脚本
r	追加文本来自文件
: label	label 为 b 和 t 命令
b label	分支到脚本中带有标签的位置，如果分支不存在则分支到脚本的末尾
t label	如果 s///是一个成功的替换，才跳转到标签
h H	复制/追加模式空间到保持空间
g G	复制/追加保持空间到模式空间
x	交换模式空间和保持空间内容
l	打印模式空间的行，并显示控制字符$
n N	读取/追加下一行输入到模式空间
w filename	写入当前模式空间到文件
!	取反、否定
&	引用已匹配字符串

地址	描述
first~step	步长，每 step 行，从第 first 开始
$	匹配最后一行
/regexp/	正则表达式匹配行
number	只匹配指定行
addr1,addr2	开始匹配 addr1 行开始，直接 addr2 行结束
addr1,+N	从 addr1 行开始，向后的 N 行
addr1,~N	从 addr1 行开始，到 N 行结束

匹配打印：

借助以下文本内容作为示例讲解

# tail /etc/services
aigairserver    21221/tcp               # Services for Air Server
ka-kdp          31016/udp               # Kollective Agent Kollective Delivery
ka-sddp         31016/tcp               # Kollective Agent Secure Distributed Delivery
edi_service     34567/udp               # dhanalakshmi.org EDI Service
axio-disc       35100/tcp               # Axiomatic discovery protocol
axio-disc       35100/udp               # Axiomatic discovery protocol
pmwebapi        44323/tcp               # Performance Co-Pilot client HTTP API
cloudcheck-ping 45514/udp               # ASSIA CloudCheck WiFi Management keepalive
cloudcheck      45514/tcp               # ASSIA CloudCheck WiFi Management System
spremotetablet  46998/tcp               # Capture handwritten signatures

打印匹配axio开头的行

# tail /etc/services | sed -n '/^axio/p'
axio-disc       35100/tcp               # Axiomatic discovery protocol
axio-disc       35100/udp               # Axiomatic discovery protocol

打印第一行

# tail /etc/services | sed -n '1 p'
aigairserver    21221/tcp               # Services for Air Server

打印第一行至第三行

# tail /etc/services | sed -n '1,3 p'
aigairserver    21221/tcp               # Services for Air Server
ka-kdp          31016/udp               # Kollective Agent Kollective Delivery
ka-sddp         31016/tcp               # Kollective Agent Secure Distributed Delivery

打印奇数行

tail /etc/services | sed -n '1~2 p'
aigairserver    21221/tcp               # Services for Air Server
ka-sddp         31016/tcp               # Kollective Agent Secure Distributed Delivery
axio-disc       35100/tcp               # Axiomatic discovery protocol
pmwebapi        44323/tcp               # Performance Co-Pilot client HTTP API
cloudcheck      45514/tcp               # ASSIA CloudCheck WiFi Management System

打印匹配行及后一行

# tail /etc/services | sed -n '/pmw/,+1 p'
pmwebapi        44323/tcp               # Performance Co-Pilot client HTTP API
cloudcheck-ping 45514/udp               # ASSIA CloudCheck WiFi Management keepalive

打印最后一行

# tail /etc/services | sed -n '$ p'
spremotetablet  46998/tcp               # Capture handwritten signatures

不打印最会一行

# tail /etc/services | sed -n '$ !p'
aigairserver    21221/tcp               # Services for Air Server
ka-kdp          31016/udp               # Kollective Agent Kollective Delivery
ka-sddp         31016/tcp               # Kollective Agent Secure Distributed Delivery
edi_service     34567/udp               # dhanalakshmi.org EDI Service
axio-disc       35100/tcp               # Axiomatic discovery protocol
axio-disc       35100/udp               # Axiomatic discovery protocol
pmwebapi        44323/tcp               # Performance Co-Pilot client HTTP API
cloudcheck-ping 45514/udp               # ASSIA CloudCheck WiFi Management keepalive
cloudcheck      45514/tcp               # ASSIA CloudCheck WiFi Management System

匹配范围

# tail /etc/services | sed -n '/^axio/,/^pmw/ p'
axio-disc       35100/tcp               # Axiomatic discovery protocol
axio-disc       35100/udp               # Axiomatic discovery protocol
pmwebapi        44323/tcp               # Performance Co-Pilot client HTTP API

匹配开头行到最后一行

# tail /etc/services | sed -n '/^axio/,$ p'
axio-disc       35100/tcp               # Axiomatic discovery protocol
axio-disc       35100/udp               # Axiomatic discovery protocol
pmwebapi        44323/tcp               # Performance Co-Pilot client HTTP API
cloudcheck-ping 45514/udp               # ASSIA CloudCheck WiFi Management keepalive
cloudcheck      45514/tcp               # ASSIA CloudCheck WiFi Management System
spremotetablet  46998/tcp               # Capture handwritten signatures

引用系统变量，用引号

# tail /etc/services | sed -n "$a,3 p"
aigairserver    21221/tcp               # Services for Air Server
ka-kdp          31016/udp               # Kollective Agent Kollective Delivery
ka-sddp         31016/tcp               # Kollective Agent Secure Distributed Delivery
# tail /etc/services | sed -n ''$a',3 p'
aigairserver    21221/tcp               # Services for Air Server
ka-kdp          31016/udp               # Kollective Agent Kollective Delivery
ka-sddp         31016/tcp               # Kollective Agent Secure Distributed Delivery

注意：
- sed 命令用单引号时，里面变量用单引号引起来，或者 sed 命令用双引号，因为双引号解释特殊符号原有意义。
- 感叹号也就是对后面的命令取反。

匹配删除：

打印是把匹配的打印出来，删除是把匹配的删除，删除只是不用-n 选项。

# tail /etc/services | sed '/axio/ d'
aigairserver    21221/tcp               # Services for Air Server
ka-kdp          31016/udp               # Kollective Agent Kollective Delivery
ka-sddp         31016/tcp               # Kollective Agent Secure Distributed Delivery
edi_service     34567/udp               # dhanalakshmi.org EDI Service
pmwebapi        44323/tcp               # Performance Co-Pilot client HTTP API
cloudcheck-ping 45514/udp               # ASSIA CloudCheck WiFi Management keepalive
cloudcheck      45514/tcp               # ASSIA CloudCheck WiFi Management System
spremotetablet  46998/tcp               # Capture handwritten signatures

# tail /etc/services | sed '1 d'
ka-kdp          31016/udp               # Kollective Agent Kollective Delivery
ka-sddp         31016/tcp               # Kollective Agent Secure Distributed Delivery
edi_service     34567/udp               # dhanalakshmi.org EDI Service
axio-disc       35100/tcp               # Axiomatic discovery protocol
axio-disc       35100/udp               # Axiomatic discovery protocol
pmwebapi        44323/tcp               # Performance Co-Pilot client HTTP API
cloudcheck-ping 45514/udp               # ASSIA CloudCheck WiFi Management keepalive
cloudcheck      45514/tcp               # ASSIA CloudCheck WiFi Management System
spremotetablet  46998/tcp               # Capture handwritten signatures

# tail /etc/services | sed '1~2 d'
ka-kdp          31016/udp               # Kollective Agent Kollective Delivery
edi_service     34567/udp               # dhanalakshmi.org EDI Service
axio-disc       35100/udp               # Axiomatic discovery protocol
cloudcheck-ping 45514/udp               # ASSIA CloudCheck WiFi Management keepalive
spremotetablet  46998/tcp               # Capture handwritten signatures

# tail /etc/services | sed '1,3 d'
edi_service     34567/udp               # dhanalakshmi.org EDI Service
axio-disc       35100/tcp               # Axiomatic discovery protocol
axio-disc       35100/udp               # Axiomatic discovery protocol
pmwebapi        44323/tcp               # Performance Co-Pilot client HTTP API
cloudcheck-ping 45514/udp               # ASSIA CloudCheck WiFi Management keepalive
cloudcheck      45514/tcp               # ASSIA CloudCheck WiFi Management System
spremotetablet  46998/tcp               # Capture handwritten signatures

## 去除空格http.conf文件空行或开头#号的行
# sed '/^#/d;/^$/d' /etc/httpd/conf/httpd.conf

替换 s/ / /

替换axio-disc字符串为test

# tail /etc/services | sed 's/axio-disc/test/'
aigairserver    21221/tcp               # Services for Air Server
ka-kdp          31016/udp               # Kollective Agent Kollective Delivery
ka-sddp         31016/tcp               # Kollective Agent Secure Distributed Delivery
edi_service     34567/udp               # dhanalakshmi.org EDI Service
test       35100/tcp               # Axiomatic discovery protocol
test       35100/udp               # Axiomatic discovery protocol
pmwebapi        44323/tcp               # Performance Co-Pilot client HTTP API
cloudcheck-ping 45514/udp               # ASSIA CloudCheck WiFi Management keepalive
cloudcheck      45514/tcp               # ASSIA CloudCheck WiFi Management System
spremotetablet  46998/tcp               # Capture handwritten signatures

替换开头是axio-disc的字符串并打印

 # tail /etc/services | sed -n 's/^axio-disc/test/ p'
test       35100/tcp               # Axiomatic discovery protocol
test       35100/udp               # Axiomatic discovery protocol

使用&命令引用匹配内容并替换

# tail /etc/services | sed 's/21221/&.0/'
aigairserver    21221.0/tcp               # Services for Air Server
ka-kdp          31016/udp               # Kollective Agent Kollective Delivery
ka-sddp         31016/tcp               # Kollective Agent Secure Distributed Delivery
edi_service     34567/udp               # dhanalakshmi.org EDI Service
axio-disc       35100/tcp               # Axiomatic discovery protocol
axio-disc       35100/udp               # Axiomatic discovery protocol
pmwebapi        44323/tcp               # Performance Co-Pilot client HTTP API
cloudcheck-ping 45514/udp               # ASSIA CloudCheck WiFi Management keepalive
cloudcheck      45514/tcp               # ASSIA CloudCheck WiFi Management System
spremotetablet  46998/tcp               # Capture handwritten signatures

IP加引号

echo '172.25.254.100 172.25.254.101 172.25.254.102' | sed -r 's/[^ ]+/"&"/g'
"172.25.254.100" "172.25.254.101" "172.25.254.102"

对1-4行的ka-kdp进行替换

# tail /etc/services | sed '1,4s/ka-kdp/test/'
aigairserver    21221/tcp               # Services for Air Server
test          31016/udp               # Kollective Agent Kollective Delivery
ka-sddp         31016/tcp               # Kollective Agent Secure Distributed Delivery
edi_service     34567/udp               # dhanalakshmi.org EDI Service
axio-disc       35100/tcp               # Axiomatic discovery protocol
axio-disc       35100/udp               # Axiomatic discovery protocol
pmwebapi        44323/tcp               # Performance Co-Pilot client HTTP API
cloudcheck-ping 45514/udp               # ASSIA CloudCheck WiFi Management keepalive
cloudcheck      45514/tcp               # ASSIA CloudCheck WiFi Management System
spremotetablet  46998/tcp               # Capture handwritten signatures

对匹配行进行替换

tail /etc/services | sed '/21221\/tcp/s/aigairserver/test/'
test    21221/tcp               # Services for Air Server
ka-kdp          31016/udp               # Kollective Agent Kollective Delivery
ka-sddp         31016/tcp               # Kollective Agent Secure Distributed Delivery
edi_service     34567/udp               # dhanalakshmi.org EDI Service
axio-disc       35100/tcp               # Axiomatic discovery protocol
axio-disc       35100/udp               # Axiomatic discovery protocol
pmwebapi        44323/tcp               # Performance Co-Pilot client HTTP API
cloudcheck-ping 45514/udp               # ASSIA CloudCheck WiFi Management keepalive
cloudcheck      45514/tcp               # ASSIA CloudCheck WiFi Management System
spremotetablet  46998/tcp               # Capture handwritten signatures

二次匹配替换

# tail /etc/services | sed '/21221\/tcp/s/aigairserver/test/;s/ka-kdp/test/'
test    21221/tcp               # Services for Air Server
test          31016/udp               # Kollective Agent Kollective Delivery
ka-sddp         31016/tcp               # Kollective Agent Secure Distributed Delivery
edi_service     34567/udp               # dhanalakshmi.org EDI Service
axio-disc       35100/tcp               # Axiomatic discovery protocol
axio-disc       35100/udp               # Axiomatic discovery protocol
pmwebapi        44323/tcp               # Performance Co-Pilot client HTTP API
cloudcheck-ping 45514/udp               # ASSIA CloudCheck WiFi Management keepalive
cloudcheck      45514/tcp               # ASSIA CloudCheck WiFi Management System
spremotetablet  46998/tcp               # Capture handwritten signatures

分组使用，在每个字符串后面添加123

# tail /etc/services | sed  -r 's/(.*) (.*)(#.*)/\1\2test \3/'
aigairserver    21221/tcp              test # Services for Air Server
ka-kdp          31016/udp              test # Kollective Agent Kollective Delivery
ka-sddp         31016/tcp              test # Kollective Agent Secure Distributed Delivery
edi_service     34567/udp              test # dhanalakshmi.org EDI Service
axio-disc       35100/tcp              test # Axiomatic discovery protocol
axio-disc       35100/udp              test # Axiomatic discovery protocol
pmwebapi        44323/tcp              test # Performance Co-Pilot client HTTP API
cloudcheck-ping 45514/udp              test # ASSIA CloudCheck WiFi Management keepalive
cloudcheck      45514/tcp              test # ASSIA CloudCheck WiFi Management System
spremotetablet  46998/tcp              test # Capture handwritten signatures

将协议与端口号位置调换

# tail /etc/services | sed -r 's/(.*)(\<[0-9]+\>)\/(tcp|udp)(.*)/\1\3\/\2\4/'
aigairserver    tcp/21221               # Services for Air Server
ka-kdp          udp/31016               # Kollective Agent Kollective Delivery
ka-sddp         tcp/31016               # Kollective Agent Secure Distributed Delivery
edi_service     udp/34567               # dhanalakshmi.org EDI Service
axio-disc       tcp/35100               # Axiomatic discovery protocol
axio-disc       udp/35100               # Axiomatic discovery protocol
pmwebapi        tcp/44323               # Performance Co-Pilot client HTTP API
cloudcheck-ping udp/45514               # ASSIA CloudCheck WiFi Management keepalive
cloudcheck      tcp/45514               # ASSIA CloudCheck WiFi Management System
spremotetablet  tcp/46998               # Capture handwritten signatures

位置调换

## 替换x字符为大写
# echo "abc cde xyz" | sed -r 's/(.*)x/\1X/'
abc cde Xyz
## 456与cde调换：
# echo "abc:cde;123:456" | sed -r 's/([^:]+)(;.*:)([^:]+$)/\3\2\1/'
abc:456;123:cde

注释匹配行后的多少行

# seq 10 | sed '/5/,+3s/^/#/'
1
2
3
4
#5
#6
#7
#8
9
10

注释指定多行

# seq 5 | sed -r '/^3|^4/s/^/#/'
1
2
#3
#4
5
# seq 5 | sed -r 's/^3|^4/#\0/'
1
2
#3
#4
5

去除开头和结尾空格或制表符

# echo " 1 2 3 "|sed 's/^[ \t]]*//;s/[ \t]*$//'
1 2 3

多重编辑（-e）

# tail /etc/services | sed -e '1,2d' -e 's/axio-disc/test/'
ka-sddp         31016/tcp               # Kollective Agent Secure Distributed Delivery
edi_service     34567/udp               # dhanalakshmi.org EDI Service
test       35100/tcp               # Axiomatic discovery protocol
test       35100/udp               # Axiomatic discovery protocol
pmwebapi        44323/tcp               # Performance Co-Pilot client HTTP API
cloudcheck-ping 45514/udp               # ASSIA CloudCheck WiFi Management keepalive
cloudcheck      45514/tcp               # ASSIA CloudCheck WiFi Management System
spremotetablet  46998/tcp               # Capture handwritten signatures

## 也可以使用分号分隔
# tail /etc/services | sed '1,2d;s/axio-disc/test/'
ka-sddp         31016/tcp               # Kollective Agent Secure Distributed Delivery
edi_service     34567/udp               # dhanalakshmi.org EDI Service
test       35100/tcp               # Axiomatic discovery protocol
test       35100/udp               # Axiomatic discovery protocol
pmwebapi        44323/tcp               # Performance Co-Pilot client HTTP API
cloudcheck-ping 45514/udp               # ASSIA CloudCheck WiFi Management keepalive
cloudcheck      45514/tcp               # ASSIA CloudCheck WiFi Management System
spremotetablet  46998/tcp               # Capture handwritten signatures

添加新内容（a、i和c）

在axio-disc上一行添加test

# tail /etc/services | sed '/axio-disc/i \test'
aigairserver    21221/tcp               # Services for Air Server
ka-kdp          31016/udp               # Kollective Agent Kollective Delivery
ka-sddp         31016/tcp               # Kollective Agent Secure Distributed Delivery
edi_service     34567/udp               # dhanalakshmi.org EDI Service
test
axio-disc       35100/tcp               # Axiomatic discovery protocol
test
axio-disc       35100/udp               # Axiomatic discovery protocol
pmwebapi        44323/tcp               # Performance Co-Pilot client HTTP API
cloudcheck-ping 45514/udp               # ASSIA CloudCheck WiFi Management keepalive
cloudcheck      45514/tcp               # ASSIA CloudCheck WiFi Management System
spremotetablet  46998/tcp               # Capture handwritten signatures

在axio-disc下一行添加test

# tail /etc/services | sed '/axio-disc/a \test'
aigairserver    21221/tcp               # Services for Air Server
ka-kdp          31016/udp               # Kollective Agent Kollective Delivery
ka-sddp         31016/tcp               # Kollective Agent Secure Distributed Delivery
edi_service     34567/udp               # dhanalakshmi.org EDI Service
axio-disc       35100/tcp               # Axiomatic discovery protocol
test
axio-disc       35100/udp               # Axiomatic discovery protocol
test
pmwebapi        44323/tcp               # Performance Co-Pilot client HTTP API
cloudcheck-ping 45514/udp               # ASSIA CloudCheck WiFi Management keepalive
cloudcheck      45514/tcp               # ASSIA CloudCheck WiFi Management System
spremotetablet  46998/tcp               # Capture handwritten signatures

将axio-disc替换新行

# tail /etc/services | sed '/axio-disc/c \test'
aigairserver    21221/tcp               # Services for Air Server
ka-kdp          31016/udp               # Kollective Agent Kollective Delivery
ka-sddp         31016/tcp               # Kollective Agent Secure Distributed Delivery
edi_service     34567/udp               # dhanalakshmi.org EDI Service
test
test
pmwebapi        44323/tcp               # Performance Co-Pilot client HTTP API
cloudcheck-ping 45514/udp               # ASSIA CloudCheck WiFi Management keepalive
cloudcheck      45514/tcp               # ASSIA CloudCheck WiFi Management System
spremotetablet  46998/tcp               # Capture handwritten signatures

在指定行下一行添加一行

# tail /etc/services | sed '2a \test'
aigairserver    21221/tcp               # Services for Air Server
ka-kdp          31016/udp               # Kollective Agent Kollective Delivery
test
ka-sddp         31016/tcp               # Kollective Agent Secure Distributed Delivery
edi_service     34567/udp               # dhanalakshmi.org EDI Service
axio-disc       35100/tcp               # Axiomatic discovery protocol
axio-disc       35100/udp               # Axiomatic discovery protocol
pmwebapi        44323/tcp               # Performance Co-Pilot client HTTP API
cloudcheck-ping 45514/udp               # ASSIA CloudCheck WiFi Management keepalive
cloudcheck      45514/tcp               # ASSIA CloudCheck WiFi Management System
spremotetablet  46998/tcp               # Capture handwritten signatures

在指定行的前面和后面添加一行

# seq 5 | sed '3s/.*/txt\n&/'
1
2
txt
3
4
5

# seq 5 | sed '3s/.*/&\ntxt/'
1
2
3
txt
4
5

读取文件并追加到匹配行后（r）

# cat a.txt
123
456

# tail /etc/services | sed '/axio-disc/r a.txt'
aigairserver    21221/tcp               # Services for Air Server
ka-kdp          31016/udp               # Kollective Agent Kollective Delivery
ka-sddp         31016/tcp               # Kollective Agent Secure Distributed Delivery
edi_service     34567/udp               # dhanalakshmi.org EDI Service
axio-disc       35100/tcp               # Axiomatic discovery protocol
123
456
axio-disc       35100/udp               # Axiomatic discovery protocol
123
456
pmwebapi        44323/tcp               # Performance Co-Pilot client HTTP API
cloudcheck-ping 45514/udp               # ASSIA CloudCheck WiFi Management keepalive
cloudcheck      45514/tcp               # ASSIA CloudCheck WiFi Management System
spremotetablet  46998/tcp               # Capture handwritten signatures

将匹配行写入文件（w）

# tail /etc/services | sed '/axio-disc/w b.txt'
aigairserver    21221/tcp               # Services for Air Server
ka-kdp          31016/udp               # Kollective Agent Kollective Delivery
ka-sddp         31016/tcp               # Kollective Agent Secure Distributed Delivery
edi_service     34567/udp               # dhanalakshmi.org EDI Service
axio-disc       35100/tcp               # Axiomatic discovery protocol
axio-disc       35100/udp               # Axiomatic discovery protocol
pmwebapi        44323/tcp               # Performance Co-Pilot client HTTP API
cloudcheck-ping 45514/udp               # ASSIA CloudCheck WiFi Management keepalive
cloudcheck      45514/tcp               # ASSIA CloudCheck WiFi Management System
spremotetablet  46998/tcp               # Capture handwritten signatures
# cat b.txt
axio-disc       35100/tcp               # Axiomatic discovery protocol
axio-disc       35100/udp               # Axiomatic discovery protocol

读取下一行（n和N）

n：读取下一行到模式空间。
N：追加下一行内容到模式空间，并以换行符\n分隔。
打印匹配的下一行
```
seq 5 | sed -n '/3/{n;p}'
4
```

打印偶数

# seq 6 | sed -n 'n;p'
2
4
6
## sed 先读取第一行 1，执行 n 命令，获取下一行 2，此时模式空间是 2，执行 p 命令，打印模式空间。 现在模式空间是 2，sed 再读取 3，执行 n 命令，获取下一行 4，此时模式空间为 4，执行 p 命令，以此类推。

打印奇数

# seq 6 | sed  'n;d'
1
3
5
## sed 先读取第一行 1，此时模式空间是 1，并打印模式空间 1，执行 n 命令，获取下一行 2，执行 d命令，删除模式空间的 2，sed 再读取 3，此时模式空间是 3，并打印模式空间，再执行 n 命令，获取下一行 4，执行 d 命令，删除模式空间的 3，以此类推。

每三行执行一次p命令

# seq 6 | sed 'n;n;p'
1
2
3
3
4
5
6
6
## sed 先读取第一行 1，并打印模式空间 1，执行 n 命令，获取下一行 2，并打印模式空间 2，再执行 n命令，获取下一行 3，执行 p 命令，打印模式空间 3。sed 读取下一行 3，并打印模式空间 3,以此类推。

每三行替换一次

## 我们只是把 p 命令改成了替换命令。
# seq 6 | sed 'n;n;s/^/=/;s/$/=/'
1
2
=3=
4
5
=6=
## 这次用到了地址匹配，来实现上面的效果：当执行多个 sed 命令时，有时相互会产生影响，我们可以用大括号{}把他们括起来。
# seq 6 | sed '3~3{s/^/=/;s/$/=/}'
1
2
=3=
4
5
=6=
## 当执行多个 sed 命令时，有时相互会产生影响，我们可以用大括号{}把他们括起来

N:追加下一行内容到模式空间，并以换行符\n分隔。

## sed 读取第一行 1，N 命令读取下一行 2，并以\n2 追加，此时模式空间是 1\n2，再执
行 q 退出。
# seq 6 | sed 'N;q'
1
2

## 执行 N 命令后，此时模式空间是 1\n2，再执行把\n 替换为空，此时模式空间是 12，并打印
# seq 6 | sed 'N;s/\n//'
12
34
56

##  N 命令是读取下一行追加到 sed 读取的当前行，当 N 读取下一行没有内容时，则退出，也不会执行 p 命令打印当前行,所以不会打印5。
# seq 5 | sed  -n 'N;p'
1
2
3
4
# seq 6 | sed  -n 'N;p'
1
2
3
4
5
6

## 打印奇数行的最后一行，加一个满足条件，当 sed 执行到最后一行时，用感叹号不去执行 N 命令，随后执行 p 命令。
# seq 5 | sed -n '$!N;p'
1
2
3
4
5

打印和删除模式空间的第一行（P和D）

P：打印模式空间的第一行。
D：删除模式空间的第一行。
打印奇数
```
# seq 6 | sed -n 'N;P'
1
3
5
```

保留最后一行

# seq 6 | sed 'N;D'
6
## 读取第一行 1，执行 N 命令读取下一行并追加到模式空间，此时模式空间是 1\n2，执行 D 命令删除模式空间第一行 1，剩余 2。
读取第二行，执行 N 命令，此时模式空间是 3\n4，执行 D 命令删除模式空间第一行 3，剩余 4。以此类推，读取最后一行打印时，而 N 获取不到下一行则退出，不再执行 D，因此模式空间只剩余 6就打印。

保持空间操作（h与H、g与G和x）

h：复制模式空间内容到保持空间（覆盖）。
H：复制模式空间内容追加到保持空间。
g：复制保持空间内容到模式空间（覆盖）。
G：复制保持空间内容追加到模式空间。
x：模式空间与保持空间内容互换。

将匹配的内容覆盖到另一个匹配

# seq 6 | sed -e '/3/{h;d}' -e '/5/g'
1
2
4
3
6
## h 命令把匹配的 3 复制到保持空间，d 命令删除模式空间的 3。后面命令再对模式空间匹配 5，并用g 命令把保持空间 3 覆盖模式空间 5。

将匹配的内容放到最后

# seq 6 | sed -e '/3/{h;d}' -e '$G'
1
2
4
5
6
3

交换模式空间和保持空间

# seq 6 | sed -e '/3/{h;d}' -e '/5/x' -e '$G'
1
2
4
3
6
5

倒叙输出

# seq 5 | sed '1!G;h;$!d'
5
4
3
2
1
## 1!G 第一行不执行把保持空间内容追加到模式空间，因为现在保持空间还没有数据。
h 将模式空间放到保持空间暂存。
$!d 最后一行不执行删除模式空间的内容。
读取第一行 1 时，跳过 G 命令，执行 h 命令将模式空间 1 复制到保持空间，执行 d 命令删除模式空间的 1。
读取第二行 2 时，模式空间是 2，执行 G 命令，将保持空间 1 追加到模式空间，此时模式空间是2\n1，执行 h 命令将 2\n1 覆盖到保持空间，d 删除模式空间。
读取第三行 3 时，模式空间是 3，执行 G 命令，将保持空间 2\n1 追加到模式空间，此时模式空间是3\n2\n1，执行 h 命令将模式空间内容复制到保持空间，d 删除模式空间。
以此类推，读到第 5 行时，模式空间是 5，执行 G 命令，将保持空间的 4\n3\n2\n1 追加模式空间，然后复制到模式空间，5\n4\n3\n2\n1，不执行 d，模式空间保留，输出。
由此可见，每次读取的行先放到模式空间，再复制到保持空间，d 命令删除模式空间内容，防止输出，再追加到模式空间，因为追加到模式空间，会追加到新读取的一行的后面，循环这样操作， 就把所有行一行行追加到新读取行的后面，就形成了倒叙。

每行后面添加新空行
```
# seq 5 | sed G
1

2

3

4

5
```

打印匹配行的上一行

# seq 5 | sed -n '/3/{x;p};h'
2
## 读取第一行 1，没有匹配到 3，不执行{x;p}，执行 h 命令将模式空间内容 1 覆盖到保持空间。
读取第二行 2，没有匹配到 3，不执行{x;p}，执行 h 命令将模式空间内容 2 覆盖到保持空间。
读取第三行 3，匹配到 3，执行 x 命令把模式空间 3 与保持空间 2 交换，再执行 p 打印模式空间 2.以此类推。

打印匹配行到最后一行或下一行到最后一行

## 打印匹配行到最后一行
# seq 5 |sed -n '/3/,$p'
3
4
5
# seq 5 |sed -n '/3/,${h;x;p}'
3
4
5
# seq 5 |sed -n '/3/{:a;N;$!ba;p}'
3
4
5
## 打印匹配行的下一行到最后一行
# seq 5 |sed -n '/3/{n;:a;N;$!ba;p}'
4
5

## 匹配到 3 时，n 读取下一行 4，此时模式空间是 4，执行 N 命令读取下一行并追加到模式空间，此时模式空间是 4\n5，标签循环完成后打印模式空间 4\n5。

标签（：、b和t）

标签可以控制流，实现分支判断。
：lable name 定义标签。
b lable 跳转到指定标签，如果没有标签则到脚本末尾。
t label 跳转到指定标签，前提是s///命令执行成功。

将换行符替换成逗号

## 方法1
# seq 6 | sed 'N;s/\n/,/'
1,2
3,4
5,6
## 这种方式并不能满足我们的需求，每次 sed 读取到模式空间再打印是新行，替换\n 也只能对 N 命令追加后的 1\n2 这样替换。

## 使用标签：:a 是定义的标签名，b a 是跳转到 a 位置。
sed 读取第一行 1，N 命令读取下一行 2，此时模式空间是 1\n2$，执行替换，此时模式空间是1,2$，执行 b 命令再跳转到标签 a 位置继续执行 N 命令，读取下一行 3 追加到模式空间，此时模式空间是 1,2\n3$，再替换，以此类推，不断追加替换，直到最后一行 N 读不到下一行内容退出。
# seq 6 | sed ':a;N;s/\n/,/;b a'
1,2,3,4,5,6

## 方法2：先将每行读入到模式空间，最后再执行全局替换。$!是如果是最后一行，则不执行 b a 跳转，最后执行全局替换。
# seq 6 | sed ':a;N;$!b a;s/\n/,/g'
1,2,3,4,5,6

每三个数字加一个逗号

# echo '123456789' | sed -r ':a ;s/([0-9]+)([0-9]+{3})/\1,\2/;t a'
123,456,789
## 执行第一次时，替换最后一个，跳转后，再对 123456 匹配替换，直到匹配替换不成功，不执行 t 命令。

忽略大小写匹配（I）

# echo -e "a\nA\nb\nc" | sed 's/a/1/Ig'
1
1
b
c

获取总行数（$=）
```
# seq 10 |sed -n '$='
```

三、awk

awk 是一个处理文本的编程语言工具，能用简短的程序处理标准输入或文件、数据排序、计算以及生成报表等等。

在 Linux 系统下默认 awk 是 gawk，它是 awk 的 GNU 版本。可以通过命令查看应用的版本：ls -l /bin/awk

awk 处理的工作方式与数据库类似，支持对记录和字段处理，这也是 grep 和 sed 不能实现的。

在 awk 中，缺省的情况下将文本文件中的一行视为一个记录，逐行放到内存中处理，而将一行中的某一部分作为记录中的一个字段。用 1,2,3…数字的方式顺序的表示行（记录）中的不同字段。用$后跟数字，引用对应的字段，以逗号分隔，0 表示整个行。

基本语法命令

awk option 'pattern {action}' file
其中 pattern 表示 AWK 在数据中查找的内容，而 action 是在找到匹配内容时所执行的一系列命令。花括号用于根据特定的模式对一系列指令进行分组。

选项

选项	描述
-f program-file	从文件中读取 awk 程序脚本源文件
-F fs	指定 fs 为输入字段分隔符
-v var=value	变量赋值
–posix	兼容 POSIX 正则表达式
–dump-variables=[file]	把 awk 命令时的全局变量写入文件，默认文件是awkvars.out
–profile=[file]	格式化 awk 语句到文件，默认是 awkprof.out

模式

Pattern	Description
BEGIN{ }	给程序赋予初始状态，先执行的工作
END{ }	程序结束之后执行的一些扫尾工作
/regular expression/	为每个输入记录匹配正则表达式
pattern && pattern	逻辑 and，满足两个模式
pattern \|\| pattern	逻辑 or，满足其中一个模式
! pattern	逻辑 not，不满足模式
pattern1, pattern2	范围模式，匹配所有模式 1 的记录，直到匹配到模式 2

动作：print、流程控制、I/O语句等

从文件读取awk程序处理文件

# vim test.awk
{pringt $2}
# tail -n3 /etc/services | awk -f test.awk
45514/udp
45514/tcp
46998/tcp

指定分隔符，打印指定字段

## 打印第二个字段，默认以空格分隔
# tail -n3 /etc/services | awk '{print $2}'
45514/udp
45514/tcp
46998/tcp
## 指定冒号为分隔符打印第一字段
# awk -F ':' '{print $1}' /etc/passwd
root
bin
daemon
adm
lp
sync
......

指定多个分隔符，作为同一个分隔符处理

# tail -n3 /etc/services | awk -F'[/#]' '{print $3}'
 ASSIA CloudCheck WiFi Management keepalive
 ASSIA CloudCheck WiFi Management System
 Capture handwritten signatures
 # tail -n3 /etc/services | awk -F'[ /]' '{print $1}'
cloudcheck-ping
cloudcheck
spremotetablet

# tail -n3 /etc/services | awk -F'/' '{print $1}'
cloudcheck-ping 45514
cloudcheck      45514
spremotetablet  46998

变量赋值

# awk -v a=123 'BEGIN{print a}'
123
## 系统变量作为awk变量的值
# a=123
# awk -v a=$a 'BEGIN{print a}'
123
## 使用单引号
# awk 'BEGIN{print '$a'}'
123

输出awk全局变量到文件

# seq 5 | awk --dump-variables '{print $0}'
1
2
3
4
5
# cat awkvars.out
ARGC: 1
ARGIND: 0
ARGV: array, 1 elements
BINMODE: 0
CONVFMT: "%.6g"
ENVIRON: array, 27 elements
ERRNO: ""
FIELDWIDTHS: ""
FILENAME: "-"
FNR: 5
FPAT: "[^[:space:]]+"
FS: " "
FUNCTAB: array, 41 elements
IGNORECASE: 0
LINT: 0
NF: 1
NR: 5
OFMT: "%.6g"
OFS: " "
ORS: "\n"
PREC: 53
PROCINFO: array, 21 elements
RLENGTH: 0
ROUNDMODE: "N"
RS: "\n"
RSTART: 0
RT: "\n"
SUBSEP: "\034"
SYMTAB: array, 28 elements
TEXTDOMAIN: "messages"

BEGIN 和 END

BEGIN：BEGIN 模式是在处理文件之前执行该操作，常用于修改内置变量、变量赋值和打印输出的页眉或标题。

## 打印页眉
# tail /etc/services | awk 'BEGIN{print "Service\t\tPort\t\t\tDescription\n=="}{print $0}'
Service         Port                    Description
==
aigairserver    21221/tcp               # Services for Air Server
ka-kdp          31016/udp               # Kollective Agent Kollective Delivery
ka-sddp         31016/tcp               # Kollective Agent Secure Distributed Delivery
edi_service     34567/udp               # dhanalakshmi.org EDI Service
axio-disc       35100/tcp               # Axiomatic discovery protocol
axio-disc       35100/udp               # Axiomatic discovery protocol
pmwebapi        44323/tcp               # Performance Co-Pilot client HTTP API
cloudcheck-ping 45514/udp               # ASSIA CloudCheck WiFi Management keepalive
cloudcheck      45514/tcp               # ASSIA CloudCheck WiFi Management System
spremotetablet  46998/tcp               # Capture handwritten signatures

END：END 模式是在程序处理完才会执行。

## 打印页尾
# tail /etc/services | awk '{print $0}END{print "==\nEND......"}'
aigairserver    21221/tcp               # Services for Air Server
ka-kdp          31016/udp               # Kollective Agent Kollective Delivery
ka-sddp         31016/tcp               # Kollective Agent Secure Distributed Delivery
edi_service     34567/udp               # dhanalakshmi.org EDI Service
axio-disc       35100/tcp                # Axiomatic discovery protocol
axio-disc       35100/udp               # Axiomatic discovery protocol
pmwebapi        44323/tcp               # Performance Co-Pilot client HTTP API
cloudcheck-ping 45514/udp               # ASSIA CloudCheck WiFi Management keepalive
cloudcheck      45514/tcp               # ASSIA CloudCheck WiFi Management System
spremotetablet  46998/tcp               # Capture handwritten signatures
==
END......

格式化输出awk命令到文件

# tail /etc/services | awk --profile 'BEGIN{print "Service\t\tPort\t\t\tDescription\n==="}{print $0}END{print "===\nEND......"}'
Service         Port                    Description
===
aigairserver    21221/tcp               # Services for Air Server
ka-kdp          31016/udp               # Kollective Agent Kollective Delivery
ka-sddp         31016/tcp               # Kollective Agent Secure Distributed Delivery
edi_service     34567/udp               # dhanalakshmi.org EDI Service
axio-disc       35100/tcp               # Axiomatic discovery protocol
axio-disc       35100/udp               # Axiomatic discovery protocol
pmwebapi        44323/tcp               # Performance Co-Pilot client HTTP API
cloudcheck-ping 45514/udp               # ASSIA CloudCheck WiFi Management keepalive
cloudcheck      45514/tcp               # ASSIA CloudCheck WiFi Management System
spremotetablet  46998/tcp               # Capture handwritten signatures
===
END......
# cat awkprof.out
        # gawk profile, created Sun Feb  9 05:17:03 2025

        # BEGIN rule(s)

        BEGIN {
     1          print "Service\t\tPort\t\t\tDescription\n==="
        }

        # Rule(s)

    10  {
    10          print $0
        }

        # END rule(s)

        END {
     1          print "===\nEND......"
        }

/re/正则匹配

# tail /etc/services | awk '/tcp/{print $0}'
aigairserver    21221/tcp               # Services for Air Server
ka-sddp         31016/tcp               # Kollective Agent Secure Distributed Delivery
axio-disc       35100/tcp               # Axiomatic discovery protocol
pmwebapi        44323/tcp               # Performance Co-Pilot client HTTP API
cloudcheck      45514/tcp               # ASSIA CloudCheck WiFi Management System
spremotetablet  46998/tcp               # Capture handwritten signatures

逻辑and、or和not

匹配记录中包含 axio 和 tcp 的行：

# tail /etc/services | awk  '/axio/ && /tcp/{print $0}'
axio-disc       35100/tcp               # Axiomatic discovery protocol

匹配记录中包含axio 或 tcp 的行：

# tail /etc/services | awk  '/axio/ || /tcp/{print $0}'
aigairserver    21221/tcp               # Services for Air Server
ka-sddp         31016/tcp               # Kollective Agent Secure Distributed Delivery
axio-disc       35100/tcp               # Axiomatic discovery protocol
axio-disc       35100/udp               # Axiomatic discovery protocol
pmwebapi        44323/tcp               # Performance Co-Pilot client HTTP API
cloudcheck      45514/tcp               # ASSIA CloudCheck WiFi Management System
spremotetablet  46998/tcp               # Capture handwritten signatures

不匹配开头是#和空行：

# awk '! /^#/ && ! /^$/{print $0}' /etc/httpd/conf/httpd.conf
# awk '/^[^#]/ && !/^$/' /etc/httpd/conf/httpd.conf
# awk '/^[^#] | ^$/' /etc/httpd/conf/httpd.conf

匹配范围

# tail /etc/services | awk '/^axio/,/^cloudcheck/'
axio-disc       35100/tcp               # Axiomatic discovery protocol
axio-disc       35100/udp               # Axiomatic discovery protocol
pmwebapi        44323/tcp               # Performance Co-Pilot client HTTP API
cloudcheck-ping 45514/udp               # ASSIA CloudCheck WiFi Management keepalive

## 对匹配范围后记录再次处理，例如匹配关键字下一行到最后一行：
# seq 5 |awk '/3/,/^$/{printf /3/?"":$0"\n"}'
4
5

# seq 5 | awk '/3/{t=1;next}t'
4
5
## 1 和 2 都不匹配 3，不执行后面{}，执行 t，t 变量还没赋值，为空，空在 awk 中就为假，就不打印当前行。匹配到 3，执行 t=1，next 跳出，不执行 t。4 也不匹配 3，执行 t，t 的值上次赋值的 1，为真，打印当前行，以此类推。（非 0 的数字都为真，所以 t 可以写任意非 0 数字）如果想打印匹配行都最后一行，就可以这样了：
# seq 5 | awk '/3/{t=1}t'
3
4
5

内置变量

变量名	描述
FS OFS	输入字段分隔符，默认是空格或制表符输出字段分隔符，默认是空格
RS ORS	输入记录分隔符，默认是换行符\n 输出记录分隔符，默认是换行符\n
NF NR	统计当前记录中字段个数统计记录编号，每处理一行记录，编号就会+1
FNR	统计记录编号，每处理一行记录，编号也会+1，与 NR 不同的是，处理第二个文件时，编号会重新计数。
ARGC	命令行参数数量
ARGV	命令行参数数组序列数组，下标从 0 开始，ARGV[0]是 awk
ARGIND	当前正在处理的文件索引值。第一个文件是 1，第二个文件是 2，以此类推
EVNIRON	当前系统的环境变量
FILENAME	输出当前处理的文件名
IGNORECASE	忽略大小写
SUBSEP	数组中下标的分隔符，默认为"\034"

示例：

FS和OFS

## 在程序开始前重新赋值 FS 变量，改变默认分隔符为冒号，与-F 一样。
# awk 'BEGIN{FS=":"}{print $1,$2}' /etc/passwd | head -5
root x
bin x
daemon x
adm x
lp x

## 也可以使用-v来重新赋值这个变量
# awk -vFS=":" '{print $1,$2}' /etc/passwd | head -5
root x
bin x
daemon x
adm x
lp x

##由于OFS默认是以空格分隔，反向引用多个字段分隔也是空格，如果想指定输出分隔符这样；
# awk 'BEGIN{FS=":";OFS=":"}{print $1,$2}' /etc/passwd | head -n5
root:x
bin:x
daemon:x
adm:x
lp:x

## 也可以通过字符串拼接实现分隔
 awk 'BEGIN{FS=":"}{print $1"#"$2}' /etc/passwd|head -5
root#x
bin#x
daemon#x
adm#x
lp#x

RS和ORS

## RS默认是\n分隔每行，如果想指定以某个字符作为分隔符来处理记录；
# echo "www.baidu.com/user/test.html" | awk 'BEGIN{RS="/"}{print $0}'
www.baidu.com
user
test.html

## RS也支持正则，简单演示
# seq -f "str%02g" 10 | sed 'n;n;a\---'| awk 'BEGIN{RS="-+"}{print $1}'
str01
str04
str07
str10

## 将输出的换行符替换为+号；
# seq 10 | awk 'BEGIN{ORS="+"}{print $0}'
1+2+3+4+5+6+7+8+9+10+

##替换某个字符
# tail -n2 /etc/services | awk 'BEGIN{RS="/";ORS="#"}{print $0}'
cloudcheck      45514#tcp               # ASSIA CloudCheck WiFi Management System
spremotetablet  46998#tcp               # Capture handwritten signatures

NF:NF是字段个数

# echo "a b c d e f"|awk '{print NF}'
6

## 打印最后一个字段：
# echo "a b c d e f"|awk '{print $NF}'
f

## 打印倒数第二个字段：
# echo "a b c d e f"|awk '{print $(NF-1)}'
e

## 排除最后两个字段：
# echo "a b c d e f"|awk '{$NF="";$(NF-1)="";print $0}'
a b c d

## 排除第一个字段：
# echo "a b c d e f"|awk '{$1="";print $0}'
 b c d e f

NR和FNR

NR 统计记录编号，每处理一行记录，编号就会+1，FNR 不同的是在统计第二个文件时会重新计数。

## 打印行数
# tail -n5 /etc/services|awk '{print NR,$0}'
1 axio-disc       35100/udp               # Axiomatic discovery protocol
2 pmwebapi        44323/tcp               # Performance Co-Pilot client HTTP API
3 cloudcheck-ping 45514/udp               # ASSIA CloudCheck WiFi Management keepalive
4 cloudcheck      45514/tcp               # ASSIA CloudCheck WiFi Management System
5 spremotetablet  46998/tcp               # Capture handwritten signatures

## 打印总行数
# tail -n5 /etc/services|awk 'END{print NR}'
5
## 打印第三行
# tail -n5 /etc/services|awk 'NR==3'
cloudcheck-ping 45514/udp               # ASSIA CloudCheck WiFi Management keepalive
## 打印第三行的第二个字段
# tail -n5 /etc/services|awk 'NR==3{print $2}'
45514/udp
## 打印前三行
# tail -n5 /etc/services|awk 'NR<=3{print NR,$0}'
1 axio-disc       35100/udp               # Axiomatic discovery protocol
2 pmwebapi        44323/tcp               # Performance Co-Pilot client HTTP API
3 cloudcheck-ping 45514/udp               # ASSIA CloudCheck WiFi Management keepalive

接下来，我们来看看NR和FNR的区别

[root@openEulter-1 ~]# cat a.txt
a
b
c
[root@openEulter-1 ~]# cat b.txt
c
d
e
[root@openEulter-1 ~]# awk '{print NR,FNR,$0}' a.txt b.txt
1 1 a
2 2 b
3 3 c
4 1 c
5 2 d
6 3 e
## 我们可以发现：NR 每处理一行就会+1，而 FNR 在处理第二个文件时，编号重新计数。同时也知道 awk 处理两个文件时，是合并到一起处理。
[root@openEulter-1 ~]# awk 'FNR==NR{print $0"1"}FNR!=NR{print $0"2"}' a.txt b.txt
a1
b1
c1
c2
d2
e2
## 当 FNR==NR 时，说明在处理第一个文件内容，不等于时说明在处理第二个文件内容。

ARGC和ARGV

ARGC：是命令行参数数量；

ARGV：是将命令行参数存到数组，元素由ARGC指定，数组下标从0开始

[root@openEulter-1 ~]# awk 'BEGIN{print ARGC}' 1 2 3
4
[root@openEulter-1 ~]# awk 'BEGIN{print ARGV[0]}'
awk
[root@openEulter-1 ~]# awk 'BEGIN{print ARGV[1]}' 1 2
1
[root@openEulter-1 ~]# awk 'BEGIN{print ARGV[2]}' 1 2
2

ARGIND

ARGIND是当前正在处理的文件索引值，第一个文件是1，第二个文件是2，以此类推，从而可以通过这种方式判断正在处理哪个文件。

[root@openEulter-1 ~]# awk '{print ARGIND,$0}' a.txt b.txt
1 a
1 b
1 c
2 c
2 d
2 e
[root@openEulter-1 ~]# awk 'ARGIND==1{print "a->"$0}ARGIND==2{print "b->"$0}' a.txt b.txt
a->a
a->b
a->c
b->c
b->d
b->e

ENVIRON

ENVIRON调用系统变量

[root@openEulter-1 ~]# awk 'BEGIN{print ENVIRON["HOME"]}'
/root
## 如果是设置的环境变量，还需要用export导入到系统变量中才能调用
[root@openEulter-1 ~]# awk 'BEGIN{print ENVIRON["a"]}'

[root@openEulter-1 ~]# export a=123
[root@openEulter-1 ~]# awk 'BEGIN{print ENVIRON["a"]}'
123

FILENAME

FILENAME是当前处理文件的文件名

[root@openEulter-1 ~]# awk 'FNR==NR{print FILENAME"->"$0}FNR!=NR{print FILENAME"->"$0}' a.txt b.txt
a.txt->a
a.txt->b
a.txt->c
b.txt->c
b.txt->d
b.txt->e

IGNORECASE

IGNORECASE=1代表忽略大小写

[root@openEulter-1 ~]# echo "A a b c"|xargs -n1|awk 'BEGIN{IGNORECASE=1}/a/'
A
a

操作符

运算符	描述
(…)	分组
$	字段引用
++ –	递增和递减
+ - !	加号：将字符串转化为数字，如果字符串以数字开头，则提取数字部分并输出，否则输出0 减号：将字符串转化为数字，如果字符串以数字开头，则提取数字部分并取反输出，否则输出0 逻辑否定
\| \|&	乘、除、取余
< > <= >= != ==	关系运算符
~ !~	正则表达式匹配，否定正则表达式匹配
in	数组成员
&& \|\|	逻辑and、逻辑or
?:	简写条件表达式：expr1 ? expr2 : expr3 第一个表达式为真，执行 expr2，否则执行 expr3
= += -= *= /= %= ^=	变量赋值运算符

注意：

在 awk 中，有 3 种情况表达式为假：数字是 0，空字符串和未定义的值。

数值运算，未定义变量初始值为 0。字符运算，未定义变量初始值为空。
[root@openEulter-1 ~]# awk 'BEGIN{s="";if(s)print "true";else print"false"}'
false
[root@openEulter-1 ~]# awk 'BEGIN{n=0;if(n)print "true";else print "false"}'
false
[root@openEulter-1 ~]# awk 'BEGIN{if(n)print "true";else print "false"}'
false

示例：

截取整数

[root@openEulter-1 ~]# echo "123abc abc123 123abc123"|xargs -n1 | awk '{print +$0}'
123
0
123
[root@openEulter-1 ~]# echo "123abc abc123 123abc123"|xargs -n1 | awk '{print -$0}'
-123
0
-123

感叹号

# 打印奇数行
[root@openEulter-1 ~]# seq 6| awk 'i=!i'
1
3
5

## 解释：当处理第一行输入时，执行 i=!i。此时 i 初始值为 0（false），!i 则为 1（true），并将 1 赋值给 i。由于 i 的值为 1（true），在 awk 中，条件为真时会默认执行 print 操作，所以会输出当前行，即 1。
当处理第二行输入时，再次执行 i=!i。此时 i 的值为 1（true），!i 为 0（false），并将 0 赋值给 i。因为 i 的值为 0（false），所以不会输出当前行。
当处理第三行输入时，又执行 i=!i。此时 i 的值为 0（false），!i 为 1（true），并将 1 赋值给 i。由于 i 的值为 1（true），所以会输出当前行，即 3。
以此类推，对于后续的每一行输入，i 的值会在 0 和 1 之间交替变化，导致奇数行对应的 i 值为 1（true）而被输出，偶数行对应的 i 值为 0（false）而不被输出

# 打印偶数行
[root@openEulter-1 ~]# seq 6| awk '!(i=!i)'
2
4
6

不匹配某行

[root@openEulter-1 ~]# tail /etc/services | awk '!/axio/{print $0}'
aigairserver    21221/tcp               # Services for Air Server
ka-kdp          31016/udp               # Kollective Agent Kollective Delivery
ka-sddp         31016/tcp               # Kollective Agent Secure Distributed Delivery
edi_service     34567/udp               # dhanalakshmi.org EDI Service
pmwebapi        44323/tcp               # Performance Co-Pilot client HTTP API
cloudcheck-ping 45514/udp               # ASSIA CloudCheck WiFi Management keepalive
cloudcheck      45514/tcp               # ASSIA CloudCheck WiFi Management System
spremotetablet  46998/tcp               # Capture handwritten signatures

乘法和除法及取模

[root@openEulter-1 ~]# seq 5 | awk '{print $0*2}'
2
4
6
8
10
[root@openEulter-1 ~]# seq 5 | awk '{print $0/2}'
0.5
1
1.5
2
2.5
[root@openEulter-1 ~]# seq 5 | awk '$0%2==0{print $0}'
2
4
[root@openEulter-1 ~]# seq 5 | awk '$0%2!=0{print $0}'
1
3
5

管道符的使用

[root@openEulter-1 ~]# seq 5 | shuf | awk '{print $0|"sort"}'
1
2
3
4
5
## shuf 命令用于对输入的行进行随机排序
## print $0|"sort"：这是一个管道操作。print $0 会将当前行的内容输出，| 是管道符号，它将 print 的输出传递给 sort 命令。sort 命令用于对输入的行进行排序，默认是按字典序升序排列。

正则表达式匹配

[root@openEulter-1 ~]# seq 5 | awk '$0~3{print $0}'
3
[root@openEulter-1 ~]# seq 5 | awk '$0!~3{print $0}'
1
2
4
5
[root@openEulter-1 ~]# seq 5 | awk '$0~/[34]/{print $0}'
3
4
[root@openEulter-1 ~]# seq 5 | awk '$0!~/[34]/{print $0}'
1
2
5
[root@openEulter-1 ~]# seq 5 | awk '$0~/[^34]/{print $0}'
1
2
5

判断数组成员

[root@openEulter-1 ~]# awk 'BEGIN{a["a"]=123}END{if("a" in a)print"yes"}'

 
      三目运算符
 [root@openEulter-1 ~]# awk 'BEGIN{print 1==1?"yes":"no"}'
yes
[root@openEulter-1 ~]# seq 5 | awk '{print n=(n?n","$0:$0)}'
1
1,2
1,2,3
1,2,3,4
1,2,3,4,5
## 解释：n?n","$0:$0：这是一个三元运算符表达式，其语法为 条件?表达式1:表达式2。如果条件为真，则返回表达式 1 的值；如果条件为假，则返回表达式 2 的值。
当处理第一行输入时，n 初始值为空字符串，在布尔语境下相当于 false。所以 n?n","$0:$0 会返回 $0，即当前行的内容。此时 n 被赋值为当前行内容 1，并通过 print 输出 1。
当处理第二行输入时，n 已经被赋值为 1，在布尔语境下为 true。所以 n?n","$0:$0 会返回 n","$0，也就是将 n 的值（即 1）和当前行内容 2 用逗号连接起来，得到 1,2。然后将 1,2 赋值给 n 并输出。
当处理第三行输入时，n 的值为 1,2，为 true。n?n","$0:$0 返回 n（即 1,2）和当前行内容 3 用逗号连接的结果 1,2,3，再将其赋值给 n 并输出。
以此类推，对于后续的每一行输入，都会将之前积累的内容 n 和当前行内容用逗号连接起来，更新 n 的值并输出。

# 每三行后面添加新一行
[root@openEulter-1 ~]# seq 10 | awk '{print NR%3?$0:$0"\ntxt"}'
1
2
3
txt
4
5
6
txt
7
8
9
txt
10
# 两行合并一行
[root@openEulter-1 ~]# seq 6|awk '{printf NR%2!=0?$0" ":$0" \n"}'
1 2
3 4
5 6
[root@openEulter-1 ~]# seq 6|awk 'ORS=NR%2?" ":"\n"'
1 2
3 4
5 6
## 解释：
ORS：ORS 是 awk 的内置变量，代表输出记录分隔符（Output Record Separator），默认值是换行符 \n。awk 在输出每一行内容后，会自动添加 ORS 所代表的分隔符。
NR：NR 也是 awk 的内置变量，它表示当前处理的行号，从 1 开始计数。
NR%2：使用取模运算符 % 计算当前行号除以 2 的余数。如果余数为 1，说明当前行号是奇数；如果余数为 0，说明当前行号是偶数。
NR%2?" ":"\n"：这是一个三元运算符表达式，语法为 条件?表达式1:表达式2。如果 NR%2 的结果为真（即余数为 1，当前行号是奇数），则返回表达式 1 的值，即空格 " "；如果 NR%2 的结果为假（即余数为 0，当前行号是偶数），则返回表达式 2 的值，即换行符 "\n"。
ORS=NR%2?" ":"\n"：将三元运算符的结果赋值给 ORS。这意味着，当处理奇数行时，ORS 被设置为空格 " "；当处理偶数行时，ORS 被设置为换行符 "\n"
[root@openEulter-1 ~]# seq 6 | awk '{if(NR%2)ORS=" ";else ORS="\n";print}'
1 2
3 4
5 6

  
      变量赋值
 # 字段求和
## sum未初始化，默认值为0
[root@openEulter-1 ~]# seq 5 | awk '{sum+=1}END{print sum}'
5
[root@openEulter-1 ~]# seq 5 | awk '{sum+=$0}END{print sum}'
15

 [root@openEulter-1 ~]# awk ‘BEGIN{print 1==1?“yes”:“no”}’
 yes
 [root@openEulter-1 ~]# seq 5 | awk ‘{print n=(n?n","$0:$0)}’
 1
 1,2
 1,2,3
 1,2,3,4
 1,2,3,4,5
 解释：n?n","$0:$0：这是一个三元运算符表达式，其语法为 条件?表达式1:表达式2。如果条件为真，则返回表达式 1 的值；如果条件为假，则返回表达式 2 的值。
 当处理第一行输入时，n 初始值为空字符串，在布尔语境下相当于 false。所以 n?n",“$0:$0 会返回 $0，即当前行的内容。此时 n 被赋值为当前行内容 1，并通过 print 输出 1。
 当处理第二行输入时，n 已经被赋值为 1，在布尔语境下为 true。所以 n?n”,“$0:$0 会返回 n”,“$0，也就是将 n 的值（即 1）和当前行内容 2 用逗号连接起来，得到 1,2。然后将 1,2 赋值给 n 并输出。
 当处理第三行输入时，n 的值为 1,2，为 true。n?n”,"$0:$0 返回 n（即 1,2）和当前行内容 3 用逗号连接的结果 1,2,3，再将其赋值给 n 并输出。
 以此类推，对于后续的每一行输入，都会将之前积累的内容 n 和当前行内容用逗号连接起来，更新 n 的值并输出。
 每三行后面添加新一行
 [root@openEulter-1 ~]# seq 10 | awk ‘{print NR%3?$0:$0"\ntxt"}’
 1
 2
 3
 txt
 4
 5
 6
 txt
 7
 8
 9
 txt
 10
 两行合并一行
 [root@openEulter-1 ~]# seq 6|awk ‘{printf NR%2!=0?$0" “:$0” \n"}’
 1 2
 3 4
 5 6
 [root@openEulter-1 ~]# seq 6|awk ‘ORS=NR%2?" “:”\n"’
 1 2
 3 4
 5 6
 解释：
 ORS：ORS 是 awk 的内置变量，代表输出记录分隔符（Output Record Separator），默认值是换行符 \n。awk 在输出每一行内容后，会自动添加 ORS 所代表的分隔符。
 NR：NR 也是 awk 的内置变量，它表示当前处理的行号，从 1 开始计数。
 NR%2：使用取模运算符 % 计算当前行号除以 2 的余数。如果余数为 1，说明当前行号是奇数；如果余数为 0，说明当前行号是偶数。
 NR%2?" “:”\n"：这是一个三元运算符表达式，语法为 条件?表达式1:表达式2。如果 NR%2 的结果为真（即余数为 1，当前行号是奇数），则返回表达式 1 的值，即空格 " “；如果 NR%2 的结果为假（即余数为 0，当前行号是偶数），则返回表达式 2 的值，即换行符 “\n”。
 ORS=NR%2?” “:”\n"：将三元运算符的结果赋值给 ORS。这意味着，当处理奇数行时，ORS 被设置为空格 " “；当处理偶数行时，ORS 被设置为换行符 “\n”
 [root@openEulter-1 ~]# seq 6 | awk '{if(NR%2)ORS=” “;else ORS=”\n";print}’
 1 2
 3 4
 5 6
 
  
      变量赋值
 # 字段求和
## sum未初始化，默认值为0
[root@openEulter-1 ~]# seq 5 | awk '{sum+=1}END{print sum}'
5
[root@openEulter-1 ~]# seq 5 | awk '{sum+=$0}END{print sum}'
15

MySQL 连接指定端口后，为什么实际仍是 3306？ XMYX-0 mysql 数据库
文章目录MySQL连接指定端口后，为什么实际仍是3306？问题现象复现原因分析没有指定-h，默认走的是本地UnixSocket多实例环境中未显式指定目标地址正确的连接方法方法一：添加-h127.0.0.1方法二：添加--protocol=TCP验证是否连接成功附加说明总结✅建议MySQL连接指定端口后，为什么实际仍是3306？在日常运维或开发过程中，有时我们在使用mysql命令行工具连接MySQL
Linux内核启动：深入理解Initramfs与Initrd机制 CClaris linux 服务器嵌入式嵌入式操作系统操作系统
在Linux系统启动过程中，内核需要访问根文件系统来继续启动过程。然而，根文件系统可能位于内核无法直接访问的存储设备上，这就产生了一个"鸡生蛋，蛋生鸡"的问题：内核需要驱动程序来访问存储设备，而驱动程序又存储在这些设备上。为了解决这个问题，Linux引入了initrd和initramfs机制。本文将深入探讨这两种机制的工作原理、区别以及实际应用。问题的由来早期Linux系统的局限性在Linux系统
Linux离线搭建Jenkins 为你奋斗！开发环境软件安装 servlet 测试工具经验分享笔记
Linux离线搭建Jenkins(centos7)Jenkins简介:Jenkins只是一个平台，真正运作的都是插件。这就是jenkins流行的原因，因为jenkins什么插件都有，Hudson是Jenkins的前身，是基于Java开发的一种持续集成工具，用于监控程序重复的工作，Hudson后来被收购，成为商业版。后来创始人又写了一个jenkins,jenkins在功能上远远超过hudson.下载
《Redis高并发优化策略与规范清单：从开发到运维的全流程指南》猕员桃 redis 运维数据库
Redis高并发优化策略与规范清单：从开发到运维的全流程指南在互联网应用的后端架构中，Redis凭借其高性能、高并发的特性，成为缓存和数据存储的首选方案。无论是电商抢购、社交平台的点赞计数，还是在线旅游平台的实时数据查询，Redis都在支撑着海量请求的快速处理。然而，随着业务规模的扩大和流量的激增，Redis在高并发场景下也面临诸多挑战，如性能瓶颈、内存溢出、缓存雪崩等。为了确保Redis在高并发
远程光伏电站网络解决方案：SD-WAN与传统方式的双剑合璧北极光SD-WAN组网网络
在“双碳”目标驱动下，光伏行业迎来了爆发式增长。然而，光伏电站由于数量多、分布广且位置偏远，其远程运维管理面临巨大挑战。传统的网络接入方式（如VPN和专线）虽然成熟稳定，但在成本、灵活性和扩展性上存在明显不足。而近年来兴起的**SD-WAN（软件定义广域网）**技术，凭借其智能化、敏捷性和成本优势，为光伏行业提供了更为灵活高效的网络解决方案。但从实际场景来看，完全“抛弃”传统方式并不可取，而是需要
麒麟系统使用-进行.NET开发 mystonelxj 麒麟系统 .net 麒麟系统控制台及web
文章目录前言一、搭建dotnet环境1.获取相关资源2.配置dotnet二、使用dotnet三、其他说明总结前言麒麟系统的内核是基于linux的，如果需要进行.NET开发，则需要安装特定的应用。由于NETFramework是仅适用于Windows版本的.NET，所以要进行.NET开发需要特定的安装及配置。使用.NET方式与在windows环境下使用有些出入。本文将细致讲解在如何在麒麟系统中使用.N
【DeepSeek实战】3、Ollama实战指南：LobeChat+多网关架构打造高可用大模型集群无心水 Ollama实战指南 LobeChat实战 DeepSeek实战 DeepSeek全栈应用开发 AI入门大模型 CSDN技术干货
一、企业级大模型集群架构全景解析在人工智能落地应用的过程中，大模型服务的高可用性、成本控制和灵活扩展能力成为企业关注的核心痛点。本方案通过LobeChat前端、AI网关层和Ollama模型集群的三层架构设计，实现了无需复杂运维即可部署的生产级大模型服务体系。该架构不仅支持负载均衡、故障转移和模型热切换等企业级特性。还通过量化技术将硬件成本降低60%以上，为中小企业提供了与商业云服务相当的性能体验。
Mariadb-Server的二进制安装 linux土老帽 linux土老帽 mariadb linux centos
搭建环境：OS:centos7.6版本mariadb:mariadb-10.2.25-linux-x86_64.tar.gz#下载地址：DownloadMariaDBServer-MariaDB.org1.创建用户组useradd-r-s/sbin/nologin-d/data/mysqlmysql#创建用户-r系统账户-s指定shell/sbin/nologin-d指定家目录但是不创建原因是系统
MySql主从备份Slave 甚享享 mysql 数据库
Mysql主从备份可以在除主服务器外的其他服务器是部署从库，用于实时备份生产环境数据，核心是mysql的log-bin日志（二进制日志），主库开启bin日志后，从库通过日志同步(SlaveI/O)和回放(SlaveSQL)实现数据同步.因为设置主从备份时，需要指定主库lob-bin日志运行行数，所以之前的数据需要通过“数据同步”或者手动同步完成修改配置文件Linux:my.cnfWindows:m
Mysql 主从备份龙那个猫robot 数据库 mysql
英文好的可以直接去mysql官网查看https://dev.mysql.com/doc/refman/5.7/en/replication.html1环境准备我这里准备两套linux虚拟机，主mysql服务器,从mysql服务区ip192.168.1.30ip192.168.1.1001.1备份主mysql数据库1.2从数据库恢复主mysql数据库1.3配置主mysql服务器配置server-id
让一个程序在后台运行 Hi_kenyon python linux 网络
PartI:如何让一个程序在后台运行，在关闭终端的时候，命令或者进行不会被中断在Linux上，如果你希望一个命令在后台持续运行，即使你关闭终端，它不会被终止，有几种常用的方法可以实现这个目的：方法一：使用nohupnohup（nohangup）命令可以让进程忽略挂起（HUP）信号，这样即使关闭终端也不会结束。nohupyour-command>output.log2>&1&your-command
ubuntu切换目录命令 Joel Jin ubuntu ubuntu linux
UbuntuLinux命令查看目录信息1.切换目录命令的使用cd~效果:cd..效果:cd.效果cd-效果1.切换目录命令的使用命令说明cd目录切换到指定目录cd~切换到当前用户的主目录cd…两个点切换到上一级目录cd.切换到当前目录cd-切换到上一次目录cd~效果:root@root1:~#cd/etc/acpiroot@root1:/etc/acpi#cd~root@root1:~#cd…效果
linux服务器上创建一个文件需要授权一次的问题根源：umask qq_30024063 linux 运维服务器
umask命令用于设置文件的默认权限掩码。文件的权限掩码决定了新建文件的默认权限。umask命令的语法如下：umask[-S][模式]其中，-S选项用于以符号方式显示当前的权限掩码。模式表示要设置的新的权限掩码，可以使用八进制或者符号两种方式。在Linux系统中，每个文件都有三个属性：所有者权限、所属组权限和其他用户权限。每个属性有读、写和执行三个权限，分别用r、w和x表示。对于每一个属性，权限可
如何用Docker部署Mysql 小楠小楠小楠 docker mysql 容器
1.安装Docker确保已安装Docker，并启动Docker服务。Linux：bash复制sudoaptupdatesudoaptinstalldocker.iosudosystemctlstartdockersudosystemctlenabledocker2.拉取MySQL镜像从DockerHub拉取官方MySQL镜像。bash复制dockerpullmysql:latest3.启动MySQ
瑞芯微RK3506工业芯片实例方案解析：从架构到场景的深度实践淡远-九鼎创展科技架构嵌入式硬件人工智能电脑
一、芯片技术架构解析瑞芯微RK3506作为2024年第四季度推出的工业级MPU，采用三核Cortex-A7（1.5GHz）+单核Cortex-M0（200MHz）的异构架构，形成独特的"3+1"处理核心组合。这种设计通过AMP多核调度技术，实现了Linux、RTOS、Bare-metal系统的混合运行，典型配置如"2×A7运行Linux（HMI交互）+1×A7运行RTOS（协议处理）+M0裸机（实
【网络】Linux 内核优化实战 - net.core.rmem_max 锅锅来了 Linux性能优化原理和实战网络 linux 运维
目录参数作用与原理默认值与查看方法调整场景与方法适用场景调整方法与其他参数的协同性能影响与注意事项典型案例总结net.core.rmem_max是Linux内核中控制套接字接收缓冲区（ReceiveBuffer）最大允许值的参数。它与net.core.rmem_default（默认值）共同决定了网络数据接收的性能上限和内存使用策略。以下是详细解析：参数作用与原理核心功能：限制单个套接字接收缓冲区的
RK3566系统移植 | 基于rk-linux-sdk移植uboot（2017.09） Mculover666 linux
文章目录一、测试已有的配置二、移植到fireflyROC-RK3566开发板1.新建单板2.新建设备树3.编译4.测试一、测试已有的配置查看rksdk中提供的uboot中对于rk3566的配置：rk3566.config内容如下：CONFIG_BASE_DEFCONFIG="rk3568_defconfig"CONFIG_LOADER_INI="RK3566MINIALL.ini"因为rk3566
Linux I/O 文件操作详解：从系统调用到实际工程应用平凡灵感码头 linux学习 linux 运维服务器
一、写在前面在Linux或任何类Unix操作系统中，文件是一切的核心——无论是硬盘上的文本文件，还是串口设备、GPIO寄存器、甚至网络接口，几乎都被抽象为“文件”。理解Linux下的I/O文件操作机制，不仅是嵌入式开发的基础，也是进行系统编程与底层控制的关键。二、I/O的本质：一切皆文件Linux将外设抽象成文件的方式，统一了对各种资源的操作模型。你可以用open打开串口设备/dev/ttyS0，
【网络】Linux 内核优化实战 - net.ipv4.tcp_rmem 和 net.core.rmem_default 关系锅锅来了 Linux性能优化原理和实战网络 linux tcp/ip
net.ipv4.tcp_rmem和net.core.rmem_default都是Linux内核中控制网络接收缓冲区的参数，但它们的作用范围、优先级和使用场景存在明显区别。以下是详细对比：核心区别参数net.ipv4.tcp_rmemnet.core.rmem_default作用协议仅针对TCP协议针对所有网络协议（TCP、UDP等）参数类型三元组：mindefaultmax单个值：默认缓冲区大小
Memfault 简介及在Nordic nRF91 系列 DK的应用
1：Memfault是一个云平台，它允许您和您的团队持续监控设备、调试固件问题，并将OTA更新部署到您的设备群，从而以软件的速度交付硬件产品。Memfault以嵌入式优先：支持运行在任何实时操作系统（RTOS）或Android、Linux等操作系统上的嵌入式系统和设备它适用于任何设备：从功能强大的SoC一直到功能受限的MCU，Memfault都能适配您设备的可用闪存、RAM和带宽我们的SDK是专为
Linux ps 指令 halugin Linux指令 linux 运维
Linuxps指令ps（ProcessStatus）是Linux系统中用于查看进程状态的核心命令行工具。它提供系统当前运行进程的快照，显示进程ID、CPU和内存使用情况、运行状态等信息。作为系统管理员或开发人员，ps是监控系统资源、排查性能问题和管理系统进程的必备工具。其灵活的选项和输出格式使其适用于从简单查询到复杂分析的各种场景。什么是ps指令？概述ps是一个经典的Linux/Unix命令，用于
Linux netstat 指令 halugin Linux指令 linux 运维
Linuxnetstat指令netstat（NetworkStatistics）是Linux系统中用于查看网络状态、连接、路由表和接口统计信息的经典命令行工具。它为系统管理员和开发人员提供了强大的网络诊断功能，帮助分析网络连接、监控流量以及排查网络问题。尽管在现代Linux系统中，netstat正在被更新的工具（如ss）部分取代，但其简单性和广泛适用性使其仍然是许多场景下的首选工具。什么是nets
Linux ss 指令 halugin Linux指令 linux 运维
Linuxss指令ss（SocketStatistics）是Linux系统中用于显示网络套接字（socket）信息的现代命令行工具，是netstat的继任者，性能更高、输出更简洁。它提供详细的网络连接、监听端口和协议统计信息，广泛用于网络监控、故障排查和性能分析。相比传统的netstat，ss直接从内核获取数据显示更快，功能更强大，适合现代Linux系统。什么是ss指令？ss是Linux系统中的一
三阶落地：腾讯云Serverless+Spring Cloud的微服务实战架构大熊计算机 #腾讯云架构腾讯云 serverless
云原生演进的关键挑战（1）传统微服务架构痛点资源利用率低（非峰值期资源闲置率>60%）运维复杂度高（需管理数百个容器实例）突发流量处理能力弱（扩容延迟导致P99延迟飙升）（2）Serverless的破局价值腾讯云SCF（ServerlessCloudFunction）提供：毫秒级计费粒度（成本下降40%~70%）百毫秒级弹性伸缩（支持每秒万级并发扩容）零基础设施运维同步调用异步事件用户请求API网
Linux操作系统，故障排查月堂 linux 运维服务器
案例1：GRUB引导故障故障现象：系统启动卡在"GRUB>"提示符，无法进入系统原因分析：GRUB配置文件损坏（/boot/grub/grub.cfg）引导文件被误删或磁盘损坏解决步骤：在GRUB命令行依次执行：insmodxfssetroot=(hd0,msdos1)linux/vmlinuz-root=/dev/sda1initrd/initramfs-.imgboot进入系统后执行：grub
linux mysql命令行操作
命令行,linux,命令行操作相关学习资料：https://edu.51cto.com/video/797.htmlhttps://edu.51cto.com/video/1400.htmlhttps://edu.51cto.com/video/3832.htmlLinuxMySQL命令行操作入门指南作为一名刚入行的开发者，掌握Linux系统下的MySQL命令行操作是一项基本技能。本文将带你一步步
Ansible——lookup,过滤器凤凰战士芭比Q Ansible ansible linux
文章目录Ansible——lookup,过滤器lookup读取文件lookup生成随机密码lookup读取环境变量lookup读取Linux命令的执行结果lookup读取template变量替换后的文件lookup读取配置文件lookup读取DNS解析的值过滤器过滤器使用的位置过滤器对普通变量的操作过滤器对文件路径的操作过滤器对字符串变量的操作过滤器对JSON的操作过滤器对数据结构的操作过滤器的链
【linux】yum工具篇 nanguochenchuan Linux操作系统 linux 运维服务器
Yum工具概述Yum（YellowdogUpdaterModified）是RedHat系列Linux发行版（如CentOS、Fedora）中最核心的软件包管理工具，它基于RPM包管理系统构建，通过自动解决依赖关系极大简化了软件管理流程。与直接使用rpm命令相比，Yum能自动处理软件包依赖，让系统管理员从"依赖地狱"中解脱出来。Yum工作原理深度解析Yum的工作流程可分为四个关键阶段：仓库配置读取：
Linux命令行基础：常用命令与技巧 m0_73843831 chrome 前端 Linux 命令行常用命文件操作权限管理
1.Linux命令行概述Linux命令行（也称为终端或Shell）是Linux操作系统中与用户交互的文本界面。通过命令行，用户可以执行各种任务，如文件管理、进程控制、系统配置等。相比图形用户界面（GUI），命令行具有更高的效率和灵活性，尤其适用于服务器管理和自动化任务。本文将涵盖以下内容：常用命令文件与目录操作权限管理进程管理命令行技巧2.常用命令2.1文件与目录操作ls功能：列出当前目录下的文件
Linux tcp_info：监控TCP连接的秘密武器 CodeWithMe 网络 linux tcp/ip
深入解析Linuxtcp_info：TCP状态的实时监控利器在开发和运维网络服务时，我们常常遇到这些问题：我的TCP连接为什么速度慢？是发生了重传，还是窗口太小？拥塞控制到底有没有生效？这些问题的答案，其实隐藏在内核的tcp_info结构中。本文将详细介绍：tcp_info是什么，怎么用？各字段含义和实际用途在调优TCP服务中的应用实践一、什么是tcp_info？tcp_info是Linux内核中
继之前的线程循环加到窗口中运行 3213213333332132 java thread JFrame JPanel
之前写了有关java线程的循环执行和结束，因为想制作成exe文件，想把执行的效果加到窗口上，所以就结合了JFrame和JPanel写了这个程序，这里直接贴出代码，在窗口上运行的效果下面有附图。 package thread; import java.awt.Graphics; import java.text.SimpleDateFormat; import java.util
linux 常用命令 BlueSkator linux 命令
1.grep 相信这个命令可以说是大家最常用的命令之一了。尤其是查询生产环境的日志，这个命令绝对是必不可少的。但之前总是习惯于使用（grep -n 关键字文件名）查出关键字以及该关键字所在的行数，然后再用（sed -n '100,200p' 文件名），去查出该关键字之后的日志内容。但其实还有更简便的办法，就是用（grep -B n、-A n、-C n 关键
php heredoc原文档和nowdoc语法 dcj3sjt126com PHP heredoc nowdoc
<!doctype html> <html lang="en"> <head> <meta charset="utf-8"> <title>Current To-Do List</title> </head> <body> <?
overflow的属性周华华 JavaScript
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/1999/xhtml&q
《我所了解的Java》——总体目录 g21121 java
准备用一年左右时间写一个系列的文章《我所了解的Java》，目录及内容会不断完善及调整。在编写相关内容时难免出现笔误、代码无法执行、名词理解错误等，请大家及时指出，我会第一时间更正。 &n
[简单]docx4j常用方法小结 53873039oycg docx
本代码基于docx4j-3.2.0，在office word 2007上测试通过。代码如下: import java.io.File; import java.io.FileInputStream; import ja
Spring配置学习云端月影 spring配置
首先来看一个标准的Spring配置文件 applicationContext.xml <?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi=&q
Java新手入门的30个基本概念三 aijuans java 新手 java 入门
17.Java中的每一个类都是从Object类扩展而来的。　　18.object类中的equal和toString方法。　　equal用于测试一个对象是否同另一个对象相等。　　toString返回一个代表该对象的字符串,几乎每一个类都会重载该方法,以便返回当前状态的正确表示.(toString 方法是一个很重要的方法)　　 19.通用编程:任何类类型的所有值都可以同object类性的变量来代替。　
《2008 IBM Rational 软件开发高峰论坛会议》小记 antonyup_2006 软件测试敏捷开发项目管理 IBM 活动
我一直想写些总结,用于交流和备忘,然都没提笔,今以一篇参加活动的感受小记开个头,呵呵! 其实参加《2008 IBM Rational 软件开发高峰论坛会议》是9月4号,那天刚好调休.但接着项目颇为忙,所以今天在中秋佳节的假期里整理了下. 参加这次活动是一个朋友给的一个邀请书,才知道有这样的一个活动,虽然现在项目暂时没用到IBM的解决方案,但觉的参与这样一个活动可以拓宽下视野和相关知识.
PL/SQL的过程编程,异常,声明变量,PL/SQL块百合不是茶 PL/SQL的过程编程异常 PL/SQL块声明变量
PL/SQL; 过程; 符号; 变量; PL/SQL块; 输出; 异常; PL/SQL 是过程语言(Procedural Language)与结构化查询语言(SQL)结合而成的编程语言PL/SQL 是对 SQL 的扩展,sql的执行时每次都要写操作
Mockito(三)--完整功能介绍 bijian1013 持续集成 mockito 单元测试
mockito官网：http://code.google.com/p/mockito/，打开documentation可以看到官方最新的文档资料。一.使用mockito验证行为 //首先要import Mockito import static org.mockito.Mockito.*; //mo
精通Oracle10编程SQL(8)使用复合数据类型 bijian1013 oracle 数据库 plsql
/* *使用复合数据类型 */ --PL/SQL记录 --定义PL/SQL记录 --自定义PL/SQL记录 DECLARE TYPE emp_record_type IS RECORD( name emp.ename%TYPE, salary emp.sal%TYPE, dno emp.deptno%TYPE ); emp_
【Linux常用命令一】grep命令 bit1129 Linux常用命令
grep命令格式 grep [option] pattern [file-list] grep命令用于在指定的文件(一个或者多个,file-list)中查找包含模式串(pattern)的行,[option]用于控制grep命令的查找方式。 pattern可以是普通字符串，也可以是正则表达式，当查找的字符串包含正则表达式字符或者特
mybatis3入门学习笔记白糖_ sql ibatis qq jdbc 配置管理
MyBatis 的前身就是iBatis，是一个数据持久层(ORM)框架。 MyBatis 是支持普通 SQL 查询，存储过程和高级映射的优秀持久层框架。MyBatis对JDBC进行了一次很浅的封装。以前也学过iBatis，因为MyBatis是iBatis的升级版本，最初以为改动应该不大，实际结果是MyBatis对配置文件进行了一些大的改动，使整个框架更加方便人性化。
Linux 命令神器：lsof 入门 ronin47 lsof
lsof是系统管理/安全的尤伯工具。我大多数时候用它来从系统获得与网络连接相关的信息，但那只是这个强大而又鲜为人知的应用的第一步。将这个工具称之为lsof真实名副其实，因为它是指“列出打开文件（lists openfiles）”。而有一点要切记，在Unix中一切（包括网络套接口）都是文件。有趣的是，lsof也是有着最多
java实现两个大数相加，可能存在溢出。 bylijinnan java实现
import java.math.BigInteger; import java.util.regex.Matcher; import java.util.regex.Pattern; public class BigIntegerAddition { /** * 题目：java实现两个大数相加，可能存在溢出。 * 如123456789 + 987654321
Kettle学习资料分享，附大神用Kettle的一套流程完成对整个数据库迁移方法 Kai_Ge Kettle
Kettle学习资料分享 Kettle 3.2 使用说明书目录概述..........................................................................................................................................7 1.Kettle 资源库管
[货币与金融]钢之炼金术士 comsci 金融
自古以来,都有一些人在从事炼金术的工作.........但是很少有成功的那么随着人类在理论物理和工程物理上面取得的一些突破性进展...... 炼金术这个古老
Toast原来也可以多样化 dai_lm android toast
Style 1：默认 Toast def = Toast.makeText(this, "default", Toast.LENGTH_SHORT); def.show(); Style 2：顶部显示 Toast top = Toast.makeText(this, "top", Toast.LENGTH_SHORT); t
java数据计算的几种解决方法3 datamachine java hadoop ibatis r-langue r
4、iBatis 简单敏捷因此强大的数据计算层。和Hibernate不同，它鼓励写SQL，所以学习成本最低。同时它用最小的代价实现了计算脚本和JAVA代码的解耦，只用20%的代价就实现了hibernate 80%的功能,没实现的20%是计算脚本和数据库的解耦。复杂计算环境是它的弱项，比如：分布式计算、复杂计算、非数据
向网页中插入透明Flash的方法和技巧 dcj3sjt126com html Web Flash
将 Flash 作品插入网页的时候，我们有时候会需要将它设为透明，有时候我们需要在Flash的背面插入一些漂亮的图片，搭配出漂亮的效果……下面我们介绍一些将Flash插入网页中的一些透明的设置技巧。　　一、Swf透明、无坐标控制　　首先教大家最简单的插入Flash的代码，透明，无坐标控制：　　注意wmode="transparent"是控制Flash是否透明
ios UICollectionView的使用 dcj3sjt126com
UICollectionView的使用有两种方法，一种是继承UICollectionViewController，这个Controller会自带一个UICollectionView；另外一种是作为一个视图放在普通的UIViewController里面。个人更喜欢第二种。下面采用第二种方式简单介绍一下UICollectionView的使用。 1.UIViewController实现委托，代码如
Eos平台java公共逻辑蕃薯耀 Eos平台java公共逻辑 Eos平台 java公共逻辑
Eos平台java公共逻辑 >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> 蕃薯耀 2015年6月1日 17:20:4
SpringMVC4零配置--Web上下文配置【MvcConfig】 hanqunfeng springmvc4
与SpringSecurity的配置类似，spring同样为我们提供了一个实现类WebMvcConfigurationSupport和一个注解@EnableWebMvc以帮助我们减少bean的声明。 applicationContext-MvcConfig.xml  <
解决ie和其他浏览器poi下载excel文件名乱码 jackyrong Excel
使用poi,做传统的excel导出，然后想在浏览器中，让用户选择另存为，保存用户下载的xls文件，这个时候，可能的是在ie下出现乱码（ie,9,10,11),但在firefox,chrome下没乱码，因此必须综合判断，编写一个工具类： /** * * @Title: pro
挥洒泪水的青春 lampcy 编程生活程序员
2015年2月28日，我辞职了，离开了相处一年的触控，转过身--挥洒掉泪水，毅然来到了兄弟连，背负着许多的不解、质疑——”你一个零基础、脑子又不聪明的人，还敢跨行业，选择Unity3D？“，”真是不自量力••••••“，”真是初生牛犊不怕虎•••••“，••••••我只是淡淡一笑，拎着行李----坐上了通向挥洒泪水的青春之地——兄弟连！这就是我青春的分割线，不后悔，只会去用泪水浇灌——已经来到
稳增长之中国股市两点意见-----严控做空，建立涨跌停版停牌重组机制 nannan408
对于股市，我们国家的监管还是有点拼的，但始终拼不过飞流直下的恐慌，为什么呢？笔者首先支持股市的监管。对于股市越管越荡的现象，笔者认为首先是做空力量超过了股市自身的升力，并且对于跌停停牌重组的快速反应还没建立好，上市公司对于股价下跌没有很好的利好支撑。我们来看美国和香港是怎么应对股灾的。美国是靠禁止重要股票做空，在
动态设置iframe高度(iframe高度自适应) Rainbow702 JavaScript iframe contentDocument 高度自适应局部刷新
如果需要对画面中的部分区域作局部刷新，大家可能都会想到使用ajax。但有些情况下，须使用在页面中嵌入一个iframe来作局部刷新。对于使用iframe的情况，发现有一个问题，就是iframe中的页面的高度可能会很高，但是外面页面并不会被iframe内部页面给撑开，如下面的结构： <div id="content"> <div id=&quo
用Rapael做图表 tntxia rap
function drawReport(paper,attr,data){ var width = attr.width; var height = attr.height; var max = 0; &nbs
HTML5 bootstrap2网页兼容（支持IE10以下） xiaoluode html5 bootstrap
<!DOCTYPE html> <html> <head lang="zh-CN"> <meta charset="UTF-8"> <meta http-equiv="X-UA-Compatible" content="IE=edge">

shell文本处理