weixin_34183910

三剑客之 sed详解

sed

作者：Jack.X

归档：学习笔记

2017/4/13

三剑客之sed

第1章 sed详解：

1.1 sed介绍：

sed是linux命令中三剑客的老二，sed命令是操作、过滤和转换文本内容的强大工具，常用功能有增删改查（增加，删除，修改，查询）。其中查询的功能中最常用的两大功能是过滤（过滤指定字符串），取行（取出指定行）。

我先在用的sed版本是GNU开源版本的，实验环境是Centos6.8系统，内核是2.6.32-642.el6.x86_64

[root@oldboyedu-35 ~]# cat /etc/redhat-release

CentOS release 6.8 (Final)

[root@oldboyedu-35 ~]# uname -r

2.6.32-642.el6.x86_64

[root@oldboyedu-35 ~]# sed --version

GNU sed version 4.2.1

This is free software; see the source for copyingconditions. There is NO

warranty; not even for MERCHANTABILITY or FITNESSFOR A PARTICULAR PURPOSE,

to the extent permitted by law.

1.2 语法格式：

sed [options] [sed - commands] [input - file]

sed [选项] [sed命令] [输入文件]

说明：

1、注意sed软件以及后面选项、sed命令和输入文件，每个元素之间都至少有个空格。

2、为了避免混淆，本文称呼sed为sed软件。sed - commands（sed命令）是sed软件内置的一些命令选项，为了和前面的options（选项）区分，故称为sed命令。

3、sed - commands 既可以是单个sed命令，也可以搓个sed命令组合。

4、input - file（输入文件）是可选项，sed还能够从标准输入如管道获取输入。

1.3 命令执行流程：

概括流程：sed软件从文件或管道中读取一行，处理一行，输出一行；再读取一行，在处理一行，再输出一行……

小知识：一次一行的设计使得sed软件性能很高，sed在读取非常庞大的文件时不会出现卡顿的现象。用过vi命令就知道，用vi命令打开几十M或更大的文件，会发现有卡顿现象，这是因为vi命令打开文件时一次性将文件加载到内存，然后在打开，因此卡顿的时间长短就取决于从磁盘到内存的读取速度了。而且如果文件过大的话还会造成内存溢出现象。sed软件就很好的避免了这种情况，打开速度非常快，执行速度也很快。

1.4 sed选项说明：

options（选项）	解释说明
-n	取消默认的sed权健的输出，鲳鱼sed命令的p连用。
-e	一行命令语句可以执行多条sed命令
-f	选项后面可以接sed脚本的文件名
-r	使用扩展正则表达式，默认情况sed只识别基本正则表达式。
-i	直接修改文件内容，而不是输出到终端。如果不使用-i选项sed软件只是修改在内存中的数据，并不会影响磁盘上的文件。

1.5 sed命令说明：

sed - commands [sed命令]	解释说明
a	追加，在指定行后添加一行或多行文本。
c	取代指定的行
d	删除指定的行
D	删除模式空间的部分内容，直到遇到换行\n结束操作，与多行模式相关。
i	插入，在指定行前添加一行或多行文本。
h	把模式空间的内容复制到保持空间
H	把模式空间的内容追加到保持空间
g	把保持空间的内容复制到模式空间
G	把保持空间的内容追加到模式空间
x	交换模式空间和保持空间的内容
l	打印不可见的字符
n	情况模式空间的内容并读入下一行
N	不清空模式空间，并读取下一行数据并追加到模式空间
p	打印模式空间的内容，通常p会与选项-n一起使用
P	打印模式空间的内容，直到遇到换行符\n结束操作
q	退出sed
r	从指定文件读取数据
s	取代，s#oldboy#new#gè这里g是s命令的替代标志，注意和g命令区分。
w	另存，把模式空间的内容保存到文件中
y	根据对应位置转换字符
：label	定义一个标签
b label	执行该标签后面的命令
t	如果前面的命令执行成功，那么就跳转到t指定的标签处，继续往下执行后续命令。否则，仍然继续正常的执行过程。

1.6 sed中常用特殊符号：

特殊符号	解释说明
！	对指定行以外的所有行应用命令
=	打印当前行行号
~	“First~Step”表示从First行开始，以步长Step递增
&	代表被替换的内容
；	实现一行命令语句可以执行多条sed命令
{}	对单个地址或地址范围执行批量操作
+	地址范围中用到的符号，做加法运算。

第2章 sed常见的四个功能

sed命令的"四斧头"--增删改查

2.1 增加：

第一把斧头è往文件指定位置追加或插入指定文本。

这个功能非常有用，比如我们平时往配置文件写入几行文本，最常用的是vi或vim命令，但是这个两个命令是交互式的命令，还需要我们在vi和vim编辑器几面输入字符串然后保存退出，操作有些繁琐但是还能用，但是当我们学会了shell脚本后，就会发现在脚本中不能正常使用vi和vim命令。

我们学习shell脚本主要是为了解放我们的双手，执行一个脚本，然后自动往文件中写入数据，不需要我们再动手，因此我们想到了sed软件，它能够帮助我们实现目的。

2.1.1 sed增加实例：

这里需要用到两个sed命令，分别是

“a”：追加文本到指定行后，记忆方法：a的全拼是apend，意思是追加

“i”：插入文本到指定行前，记忆方法：i的全拼是insert，意思是插入。

2.1.1.1单行增加：

首先我们看一下单行增加的用法，说白了就是文件中增加一行文本，我们以前学过echo命令可以在文件的末尾追加文本，比较简单，但是我们还有其他的复杂需求，比如第10行插入一行数字等等，这里就需要sed出马了。比如下面的例子：

创建环境：

[root@oldboyedu-35 ~]# cat>person.txt<

> 101,oldboy,CEO

> 102,zhangyao,CTO

> 103,Alex,COO

> 104,yy,CFO

> 105,feixue,CIO

> EOF

[root@oldboyedu-35 ~]# cat person.txt

101,oldboy,CEO

102,zhangyao,CTO

103,Alex,COO

104,yy,CFO

105,feixue,CIO

一、追加：

[root@oldboyedu-35 ~]# sed '2a 106,dandan,CSO' person.txt
101,oldboy,CEO
102,zhangyao,CTO
106,dandan,CSO
103,Alex,COO
104,yy,CFO
105,feixue,CIO

命令行详解：

首先我们看一下命令的结果，我们可以看到在第二行"102，zhangyao，CTO"后面追加了新的一行为"106，dandan，CSO"

二、插入：

[root@oldboyedu-35 ~]# sed '2i 106,dandan,CSO' person.txt
101,oldboy,CEO
106,dandan,CSO
102,zhangyao,CTO
103,Alex,COO
104,yy,CFO
105,feixue,CIO

命令行详解：

首先我们看一下命令的结果，我们可以看到在第二行"102，zhangyao，CTO"前面插入了新的一行为"106，dandan，CSO"

2.1.1.2多行增加：

前面学习的内容已经实现了往文件追加或插入单行文本，但是还有插入多行文本的需求，我们也学过cat命令能够往文件中追加多行文本。

实例：

追加多行：

[root@oldboyedu-35 ~]# sed '2a 106,dandan,CSO\n107,sunxin,CEO' person.txt
101,oldboy,CEO
102,zhangyao,CTO
106,dandan,CSO
107,sunxin,CEO
103,Alex,COO
104,yy,CFO
105,feixue,CIO

我们可以看到在第二行“102，zhangyao，CTO”后面追加了两行106，dandan，CSO和107，sunxin，CEO。

插入多行：

[root@oldboyedu-35 ~]# sed '2i 106,dandan,CSO\n107,sunxin,CEO' person.txt
101,oldboy,CEO
106,dandan,CSO
107,sunxin,CEO
102,zhangyao,CTO
103,Alex,COO
104,yy,CFO
105,feixue,CIO

可以看到第二行“102，zhangyao，CTO”前面追加了两行“106，dandan，CSO和107，sunxin，CEO”。

2.1.1.3企业案例：

用sed命令在/etc/ssh/sshd_config的第13行前面插入下列五行：

Port 52113
PermitRootLogin no
PermitEmptyPasswords no
UseDNS no
GSSAPIAuthentication no

【解答】：

[root@oldboyedu-35 ~]# sed '^C6,dandan,CSO\n107,sunxin,CEO' person.txt
[root@oldboyedu-35 ~]# sed '13i Port52113\nPermitRootLogin no\nPermitEmptyPasswords no\nUseDNSno\nGSSAPIAutheneicattion no' /etc/ssh/sshd_config |cat -n
    13 Port 52113
    14 PermitRootLogin no
    15 PermitEmptyPasswords no
    16 UseDNS no
    17 GSSAPIAutheneicattion no
    18 #Port 22

2.2 删除：

这里我们要用到d这个sed命令。

2.2.1 删除单行：

[root@oldboyedu-35 ~]# sed '2d' person.txt
101,oldboy,CEO
103,Alex,COO
104,yy,CFO
105,feixue,CIO

第二行被删除。

注意：

sed软件可以对单行或多行文本进行处理。如果在sed命令前面不知道地址范围，那么默认会匹配所有行。

[root@oldboyedu-35 ~]# sed 'd' person.txt
[root@oldboyedu-35 ~]#

2.2.2 删除最后一行：

[root@oldboyedu-35 ~]# sed '$d' person.txt
101,oldboy,CEO
102,zhangyao,CTO
103,Alex,COO
104,yy,CFO

最后一行被删除。

2.2.3 删除多行：

[root@oldboyedu-35 ~]# sed '2,3d' person.txt
101,oldboy,CEO
104,yy,CFO
105,feixue,CIO

第二行和第三行被删除。

2.2.4 删除1到3行：

[root@oldboyedu-35 ~]# sed '1,+2d' person.txt
104,yy,CFO
105,feixue,CIO

第一行和第一行后面两行都被删除。

2.2.5 删除从二开始每次加两行（删除偶数行）：

[root@oldboyedu-35 ~]# sed '2~2d' person.txt
101,oldboy,CEO
103,Alex,COO
105,feixue,CIO

偶数行被删除。

2.2.6 删除从一开始每次加两行（删除奇数）：

[root@oldboyedu-35 ~]# sed '1~2d' person.txt
102,zhangyao,CTO
104,yy,CFO

奇数行被删除。

2.2.7 删除带有oldboy的行：

[root@oldboyedu-35 ~]# sed '/oldboy/d' person.txt
102,zhangyao,CTO
103,Alex,COO
104,yy,CFO
105,feixue,CIO

或者：

[root@oldboyedu-35 ~]# sed '/ol.*/d' person.txt
102,zhangyao,CTO
103,Alex,COO
104,yy,CFO
105,feixue,CIO

带有oldboy字符的行被删除。

2.2.8 删除排除某个行或多行（取反）：

[root@oldboyedu-35 ~]# sed '2~2!d' person.txt
102,zhangyao,CTO
104,yy,CFO

[root@oldboyedu-35 ~]# sed '2!d' person.txt
102,zhangyao,CTO

！带有取反的意思，如例子：除了偶数行其他全删了和除了第二行其他全被删。

2.2.9 删除不规则的跳行：

[root@oldboyedu-35 ~]# sed '1d;2d;4d' person.txt
103,Alex,COO
105,feixue,CIO

或者

[root@oldboyedu-35 ~]# sed -e '1d' -e '3d' -e '5d'person.txt
102,zhangyao,CTO
104,yy,CFO

一些不规则的跳行被删除。

2.2.10 地址范围的含义：

地址范围	含义
10{sed - commands}	对第10行操作
10,20{sed - commands}	对10到20行操作，包括第10,20行
10,20+{sed - commands}	对10到30{10+20}行操作，包括第10,30行
1~2{sed - commands}	对1,3,5,7，…..操作
10,$ {sed - commands}	对10到最后一行（$代表最后一行）操作，包括第10行
/oldboy/{sed -commands}	对匹配oldboy的行操作
/oldboy/,/Alex/{sed - commands}	对匹配oldboy的行到匹配Alex的行操作
/oldboy/,${sed -commands}	对匹配oldboy的行到最后一行操作
/oldboy/,10{sed - command}	对匹配oldboy的行到第10行操作，注意：如果前10行没有匹配到oldboy，sed软件会显示10行以后的匹配oldboy的行。
1，/Alex/{sed - commands}	对第一行到匹配Alex的行操作
/oldboy/,+2{sed - commands}	对匹配oldboy的行到行的气候的2行操作。

企业案例2：打印文件内容但不包括oldboy

这是一道企业的面试题，很简单，就是把包含oldboy字符串的行删掉即可，我们可以用“grep -v”取反得到我们想要的结果，但在这里我们使用的sed软件可以实现。

【解答】：

[root@oldboyedu-35 ~]# sed '/oldboy/d' person.txt
102,zhangyao,CTO
103,Alex,COO
104,yy,CFO
105,feixue,CIO

学完sed软件两把斧头，都是锋利的斧头！当然后面还有更厉害的大招è改，这是一个杀招，杀手锏，一出手就定乾坤。在学习linux时，我们最常见的操作就改配置文件，改参数等等，而且更秒的是前面我们学习过的增加和删除其实都可以用我们准备要学的修改变相实现。

2.3 修改：

2.3.1 换行替换：

这里用到的sed的命令是c：用新行取代旧行，记忆方法：c的全拼是change，意思是替换。

【例子】：

[root@oldboyedu-35 ~]# cat person.txt
101,oldboy,CEO
102,zhangyao,CTO
103,Alex,COO
104,yy,CFO
105,feixue,CIO
[root@oldboyedu-35 ~]# sed '2c 007,sunxin,CEO'person.txt
101,oldboy,CEO
007,sunxin,CEO
103,Alex,COO
104,yy,CFO
105,feixue,CIO

2.3.2 文本替换：

接下来说的这个功能，有工作经验的同学应该非常得熟悉，因为使用sed软件80%的场景就是使用替换功能。

这里用到的sed命令、选项：

“s”单独使用è将每一行中第一处匹配的字符串进行替换。èsed命令

“g”每一行进行全部替换èsed命令s的替换标志之一（全局替换）è非sed命令。

“-i”修改文件内容èsed软件的选项（参数），不是sed命令i。

sed软件替换模型（$表示被替换成%）

sed -i 's/$/%/g' oldboy.log

sed -i 's#$#%#g' oldboy.log

注意：

s#$#%#g ,$能用正则表达式，但%不能用，必须是具体的。因为%使用正则的话会让sed软件无所适从，它不知道你要替换什么内容。

默认sed软件是对默认空间（内存中的数据）操作，而-i选项会更改磁盘上的文件内容。

2.3.3 企业案例：指定行修改配置文件

前面我们学过的模型能后将文件中所有满足条件的文本进行操作，但是我们也会碰到指定行精确修改配置文件的需求，因为这样可以避免修改多了地方。

[root@oldboyedu-35 ~]# sed '3s#0#9#g' person.txt
101,oldboy,CEO
102,zhangyao,CTO
193,Alex,COO
104,yy,CFO
105,feixue,CIO

命令说明，前面学习的例子在sed命令“s”前没有指定地址范围，因此默认是对所有行进行操作。

而这个案列要求值将第3行的0换成9，这里就用到了我们前面学过的地址范围只是，在sed命令“s”前加上3就代表对第三行进行替换。

2.3.4 特别注意：

一、

sed's#oldboy#$LANG#g' person.txt 里$LANG并不能解析出来

[root@oldboyedu-35 ~]# sed 's#oldboy#$LANG#g'person.txt
101,$LANG,CEO
102,zhangyao,CTO
103,Alex,COO
104,yy,CFO
105,feixue,CIO

说明：如果使用单引号我们可以看见结果是替换失败，因为我们知道单引号的作用是所见即所得，因此这里的oldboy并不会解析成$LANG，

二、

sed 's#oldboy#'$LANG'#g' person.txt 第一个单引号和第二个单引号才是一组。所以这条可以执行出$LANG可以执行出来。

[root@oldboyedu-35 ~]# sed 's#oldboy#'$LANG'#g'person.txt
101,en_US.UTF-8,CEO
102,zhangyao,CTO
103,Alex,COO
104,yy,CFO
105,feixue,CIO

说明：表面看起来结果是$LANG是解析不出来的，但其实这是用了障眼法，在我们眼中分段'$LANG'是解析不出来的，因为单引号是所见即所得。但是并非如此，真正的分段是's#oldboy#' '#g' 说以$LANG已经被解析了和上面的不一样了。

2.3.5 分组替换和\1的使用说明：

sed软件的的功能可以记住正则表达式的一部分，其中，\1位第一个记住的模式即第一个小括号中的匹配内容，\2第二记住的模式，即第二个小括号中的匹配内容，sed最多可以记住9个。

例：echo "I am oldboy teacher" 如果想保留着一行的单词oldboy，删除剩下的部分，使用圆括号标记想保留的部分。

[root@oldboyedu-35 ~]# echo "I am oldboyteacher" |sed -r 's#.*(oldboy).*#\1#g'
oldboy

[root@oldboyedu-35 ~]# echo "I am oldboyteacher" |sed -r 's#.*am ([a-z].*) te.*#\1#g'
oldboy

[root@oldboyedu-35 ~]# echo "I am oldboyteacher" |sed -r 's#(.*am) ([a-z].*) (te.*)#\2#g'
oldboy

[root@oldboyedu-35 ~]# echo "I am oldboyteacher" |sed 's#.*$oldboy$.*#\1#g'
oldboy
[root@oldboyedu-35 ~]# echo "I am oldboy teacher" |sed 's#$.*am$ $[a-z].*$ $te.*$#\2#g'
oldboy
[root@oldboyedu-35 ~]# echo "I am oldboy teacher" |sed 's#.*am $[a-z].*$ te.*#\1#g'
oldboy

说明：（）是扩展正则表达式的元字符，sed软件默认识别基本正则表达式，想要使用扩展正则表达式需要使用\转义，即\（\），sed使用-r 选项则可以识别扩展正则表达式，此时使用\（\）反而会出错。

2种格式总结：

sed 's#\（.*\）#\1#g'

sed -r 's#（.*）#\1#g'

命令说明：固定搭配，弄反了就错了，不使用-r选项就需要使用转义符号\，使用-r选项就可以直接使用（），推荐使用这种方法。

练习题：请执行命令取出linux中eth0的IP地址。

[root@oldboyedu-35 ~]# ifconfig eth0
eth0      Linkencap:Ethernet HWaddr00:0C:29:99:16:68
          inetaddr:192.168.56.128 Bcast:192.168.56.255 Mask:255.255.255.0
          inet6addr: fe80::20c:29ff:fe99:1668/64 Scope:Link
          UPBROADCAST RUNNING MULTICAST MTU:1500 Metric:1
          RXpackets:17333 errors:0 dropped:0 overruns:0 frame:0
          TXpackets:11501 errors:0 dropped:0 overruns:0 carrier:0
        collisions:0 txqueuelen:1000
          RXbytes:1714097 (1.6 MiB) TX bytes:1378349(1.3 MiB)

[root@oldboyedu-35 ~]# ifconfig eth0 |sed -nr'2s#^(.*)dr:(.*)Bc(.*)$#\2#gp'
192.168.56.128
[root@oldboyedu-35 ~]# ifconfig eth0 |sed -nr'2s#^.*ddr:(.*)Bca.*$#\1#gp'
192.168.56.128

2.3.6 企业案例：系统开机启动项优化

【解答】：

第一步：查看

abrt-ccpp 0:off 1:off 2:on 3:on 4:on 5:on 6:off

abrtd 0:off 1:off 2:on 3:on 4:on 5:on 6:off

acpid 0:off 1:off 2:on 3:on 4:on 5:on 6:off

atd 0:off 1:off 2:on 3:on 4:on 5:on 6:off

auditd 0:off 1:off 2:on 3:on 4:on 5:on 6:off

blk-availability 0:off 1:on 2:on 3:on 4:on 5:on 6:off

第二步：筛选3级别开启，并排除一些服务

[root@oldboyedu-35 ~]# chkconfig --list |grep"3:on" |egrep -v "sshd|crond|neuwork|rsyslog|sysstat"
abrt-ccpp      0:off      1:off      2:on       3:on       4:on       5:on       6:off
abrtd                 0:off      1:off      2:on       3:on       4:on       5:on       6:off
acpid                0:off      1:off      2:on       3:on       4:on       5:on       6:off
atd                  0:off      1:off      2:on       3:on       4:on       5:on       6:off
auditd                0:off      1:off      2:on       3:on       4:on       5:on       6:off
blk-availability    0:off      1:on       2:on       3:on       4:on       5:on       6:off
cpuspeed             0:off      1:on       2:on       3:on       4:on       5:on       6:off
haldaemon            0:off      1:off      2:on       3:on       4:on       5:on       6:off

第三步：取出服务名

[root@oldboyedu-35 ~]# chkconfig --list |grep"3:on" |egrep -v "sshd|crond|neuwork|rsyslog|sysstat" |awk'{print $1}'
abrt-ccpp
abrtd
acpid
atd
auditd
blk-availability
cpuspeed
haldaemon
ip6tables
iptables

第四步：用sed完成拼接

[root@oldboyedu-35 ~]# chkconfig --list |grep"3:on" |egrep -v "sshd|crond|neuwork|rsyslog|sysstat" |awk'{print $1}' |sed 's#$.*$#chkconfig \1off#g'
chkconfig abrt-ccpp off
chkconfig abrtd off
chkconfig acpid off
chkconfig atd off
chkconfig auditd off
chkconfig blk-availability off
chkconfig cpuspeed off
chkconfig haldaemon off
chkconfig ip6tables off
chkconfig iptables off
chkconfig irqbalance off
chkconfig kdump off
chkconfig lvm2-monitor off
chkconfig mdmonitor off
chkconfig messagebus off
chkconfig netconsole off
chkconfig netfs off
chkconfig network off

第五步：执行并检查

[root@oldboyedu-35 ~]# chkconfig --list |grep"3:on" |egrep -v "sshd|crond|neuwork|rsyslog|sysstat" |awk'{print $1}' |sed 's#$.*$#chkconfig \1off#g' |bash
[root@oldboyedu-35 ~]# chkconfig --list
abrt-ccpp      0:off      1:off      2:off      3:off      4:off      5:off      6:off
abrtd                 0:off      1:off      2:off      3:off      4:off      5:off      6:off
acpid                0:off      1:off      2:off      3:off      4:off      5:off      6:off
atd                  0:off      1:off      2:off      3:off      4:off      5:off      6:off
auditd                0:off      1:off      2:off      3:off      4:off      5:off      6:off
blk-availability    0:off      1:on       2:off      3:off      4:off      5:off      6:off
cpuspeed             0:off      1:on       2:off      3:off      4:off      5:off      6:off
crond                0:off      1:off      2:on       3:on       4:on       5:on       6:off
haldaemon            0:off      1:off      2:off      3:off      4:off      5:off      6:off
ip6tables      0:off      1:off      2:off      3:off      4:off      5:off      6:off
iptables       0:off      1:off      2:off      3:off      4:off      5:off      6:off
irqbalance     0:off      1:off      2:off      3:off      4:off      5:off      6:off
kdump              0:off      1:off      2:off      3:off      4:off      5:off      6:off
lvm2-monitor   0:off      1:on       2:off      3:off      4:off      5:off      6:off
mdmonitor           0:off      1:off      2:off      3:off      4:off      5:off      6:off

2.3.7 特殊符号&代表被替换的内容：

这是一个特殊技巧，在适合的场景使用特别方便，下面用特殊符号“&”与分组替换一起使用，进行对比。

[root@oldboyedu-35 ~]# sed -r's#(.*),(.*),(.*)#&------\1 \2 \3#g' person.txt
101,oldboy,CEO------101 oldboy CEO
102,zhangyao,CTO------102 zhangyao CTO
103,Alex,COO------103 Alex COO
104,yy,CFO------104 yy CFO
105,feixue,CIO------105 feixue CIO

命令说明：

1、这里将分组替换和&符号放在一起对比

2、命令中的分组天幻使用了3个小括号，每个小括号分别代表每一行以逗号作为分隔符的每一刻。

3、上面命令的&符号代表每一行，即模型中's#@#%#g'中的%

2.3.8 企业案例5：批量重命名文件

当前目录下有文件如下所示：

[root@oldboyedu-35 test]# touchstu_102999_{1..5}_finished.jpg
[root@oldboyedu-35 test]# ll
total 0
-rw-r--r-- 1 root root 0 Apr 14 15:38 stu_102999_1_finished.jpg
-rw-r--r-- 1 root root 0 Apr 14 15:38 stu_102999_2_finished.jpg
-rw-r--r-- 1 root root 0 Apr 14 15:38 stu_102999_3_finished.jpg
-rw-r--r-- 1 root root 0 Apr 14 15:38 stu_102999_4_finished.jpg
-rw-r--r-- 1 root root 0 Apr 14 15:38 stu_102999_5_finished.jpg

要求用sed命令重命名，效果为

stu_102999_1_finished，jpg == > stu_102999_1.jpg 即删除文件名的_finished

【解答】：

[root@oldboyedu-35 test]# find . -type f -name"*.jpg"|sed -r 's#(.*)_f.*ed(.*)#mv & \1 \2#g'
mv ./stu_102999_3_finished.jpg ./stu_102999_3 .jpg
mv ./stu_102999_1_finished.jpg ./stu_102999_1 .jpg
mv ./stu_102999_4_finished.jpg ./stu_102999_4 .jpg
mv ./stu_102999_2_finished.jpg ./stu_102999_2 .jpg
mv ./stu_102999_5_finished.jpg ./stu_102999_5 .jpg

2.3.9 rename改名工具：

[root@oldboyedu-35 test]# ll
total 0
-rw-r--r-- 1 root root 0 Apr 14 15:38 stu_102999_1_finished.jpg
-rw-r--r-- 1 root root 0 Apr 14 15:38 stu_102999_2_finished.jpg
-rw-r--r-- 1 root root 0 Apr 14 15:38 stu_102999_3_finished.jpg
-rw-r--r-- 1 root root 0 Apr 14 15:38 stu_102999_4_finished.jpg
-rw-r--r-- 1 root root 0 Apr 14 15:38 stu_102999_5_finished.jpg

[root@oldboyedu-35 test]#rename jpg JPG *
[root@oldboyedu-35 test]#ll
total 0
-rw-r--r-- 1 root root 0Apr 14 15:38 stu_102999_1_finished.JPG
-rw-r--r-- 1 root root 0Apr 14 15:38 stu_102999_2_finished.JPG
-rw-r--r-- 1 root root 0Apr 14 15:38 stu_102999_3_finished.JPG
-rw-r--r-- 1 root root 0Apr 14 15:38 stu_102999_4_finished.JPG
-rw-r--r-- 1 root root 0Apr 14 15:38 stu_102999_5_finished.JPG

注意：一次只能修改一次

例如：

[root@oldboyedu-35 test]# rename 1 0 *
[root@oldboyedu-35 test]# ll
total 0
-rw-r--r-- 1 root root 0 Apr 14 15:38 stu_002999_1_finished.JPG
-rw-r--r-- 1 root root 0 Apr 14 15:38 stu_002999_2_finished.JPG
-rw-r--r-- 1 root root 0 Apr 14 15:38 stu_002999_3_finished.JPG
-rw-r--r-- 1 root root 0 Apr 14 15:38 stu_002999_4_finished.JPG
-rw-r--r-- 1 root root 0 Apr 14 15:38 stu_002999_5_finished.JPG
[root@oldboyedu-35 test]# rename 1 0 *
[root@oldboyedu-35 test]# ll
total 0
-rw-r--r-- 1 root root 0 Apr 14 15:38 stu_002999_0_finished.JPG
-rw-r--r-- 1 root root 0 Apr 14 15:38stu_002999_2_finished.JPG
-rw-r--r-- 1 root root 0 Apr 14 15:38stu_002999_3_finished.JPG
-rw-r--r-- 1 root root 0 Apr 14 15:38stu_002999_4_finished.JPG
-rw-r--r-- 1 root root 0 Apr 14 15:38stu_002999_5_finished.JPG

2.4 查看：

说的这里，可以稍微踹口气了。因为sed里最常用最重要的我们已经学完了，接下来轻松解说一下sed的最后一把斧头：查看文本

这个功能也是非常得用，比如我们想查看文件中的某些行，以前最常用的是cat或more或less命令等，但这些命令有些缺点，就是不能查看指定的行，而我们用了很久的sed命令就有这个功能了，而且我们前面也说过使用sed比其他命令的读取速度更快。

这里我们需要用到1个sed命令

“p”：输出指定内容，但默认会输出2次匹配的结果，因此使用-n选项取消默认输出，记忆方法：p的全拼是print，意思是打印。

2.4.1 按行查询：

[root@chensiqi1 ~]# sed '2p' person.txt

101,chensiqi,CEO

102,zhangyang,CTO

103,Alex,COO

104,yy,CFO

105,feixue,CIO

[root@chensiqi1 ~]# sed -n '2p' person.txt

102,zhangyang,CTO

命令说明：选项-n取消默认输出，只输出匹配的文本，大家只需要记住使用命令p必用选项-n。

[root@chensiqi1 ~]# sed -n '2,3p' person.txt

102,zhangyang,CTO

103,Alex,COO

命令说明：查看文件的第2行到3行，使用地址范围“2，3”。取行就用sed，最简单

[root@chensiqi1 ~]# sed -n '1~2p' person.txt

101,chensiqi,CEO

103,Alex,COO

105,feixue,CIO

命令说明：打印文件的1，3，5行。～代表步长

[root@chensiqi1 ~]# sed -n 'p' person.txt

101,chensiqi,CEO

102,zhangyang,CTO

103,Alex,COO

104,yy,CFO

105,feixue,CIO

命令说明：不指定地址范围，默认打印全部内容。

2.4.2 按字符串查询：

[root@chensiqi1 ~]# sed -n '/CTO/p' person.txt

102,zhangyang,CTO

命令说明：打印含CTO的行

[root@chensiqi1 ~]# sed -n '/CTO/,/CFO/p'person.txt

102,zhangyang,CTO

103,Alex,COO

104,yy,CFO

命令说明：打印含CTO的行到含CFO的行。

2.4.3 混合查询：

[root@chensiqi1 ~]# sed -n '2,/CFO/p' person.txt

102,zhangyang,CTO

103,Alex,COO

104,yy,CFO

命令说明：打印第2行到含CFO的行。

[root@chensiqi1 ~]# sed -n '/feixue/,2p'person.txt

105,feixue,CIO

命令说明：特殊情况，前两行没有匹配到feixue，就向后匹配，如果匹配到feixue就打印此行。所以这种混合地址不推荐使用。

2.4.4 过滤多个字符：

[root@chensiqi1 ~]# sed -rn '/chensiqi|yy/p'person.txt

101,chensiqi,CEO

104,yy,CFO

命令说明：

使用扩展正则“|”，为了不使用转义符号“\”，因此使用-r选项开启扩展正则表达式模式

第3章 sed命令应用知识扩展：

3.1 sed修改文件的同时进行备份

[root@chensiqi1 ~]# cat person.txt

101,chensiqi,CEO

102,zhangyang,CTO

103,Alex,COO

104,yy,CFO

105,feixue,CIO

[root@chensiqi1 ~]# sed -i.bak 's#zhangyang#NB#g'person.txt

[root@chensiqi1 ~]# cat person.txt

101,chensiqi,CEO

102,NB,CTO

103,Alex,COO

104,yy,CFO

105,feixue,CIO

[root@chensiqi1 ~]# cat person.txt.bak

101,chensiqi,CEO

102,zhangyang,CTO

103,Alex,COO

104,yy,CFO

105,feixue,CIO

命令行说明：

在-i参数的后边加上.bak（.任意字符），sed会对文件进行先备份后修改

3.2 特殊符号：

[root@chensiqi1 ~]# sed '=' person.txt

101,chensiqi,CEO

102,NB,CTO

103,Alex,COO

104,yy,CFO

105,feixue,CIO

命令说明：使用特殊符号“=”就可以获取文件的行号，这是特殊用法，记住即可。从上面的命令结果我们也发现了一个不好的地方：行号和行不在一行。

[root@chensiqi1 ~]# sed '1,3=' person.txt

101,chensiqi,CEO

102,NB,CTO

103,Alex,COO

104,yy,CFO

105,feixue,CIO

命令说明：只打印1，2，3行的行号，同时打印输出文件中的内容

[root@chensiqi1 ~]# sed '/yy/=' person.txt

101,chensiqi,CEO

102,NB,CTO

103,Alex,COO

104,yy,CFO

105,feixue,CIO

命令说明：

只打印正则匹配行的行号，同时输出文件中的内容

[root@chensiqi1 ~]# sed -n '/yy/=' person.txt

命令说明：只显示行号但不显示行的内容即取消默认输出。

[root@chensiqi1 ~]# sed -n '$=' person.txt

命令说明：

“$”代表最后一行，因此显示最后一行的行号，变相得出文件的总行数。

方法改进：

[root@chensiqi1 ~]# sed '=' person.txt | sed'N;s#\n# #'

1 101,chensiqi,CEO

2 102,NB,CTO

3 103,Alex,COO

4 104,yy,CFO

5 105,feixue,CIO

命令说明：前面sed获取文件的行号有一个缺点，我们这里使用Sed命令N来补偿这个缺点。Sed命令N读取下一行数据并附加到模式空间。

3.3 特殊符号{}的使用

[root@chensiqi1 ~]# sed -n '2,4p;=' person.txt

102,NB,CTO

103,Alex,COO

104,yy,CFO

命令说明：-n去掉默认输出，2,4p，输出2到4行内容，=输出全部的行的行号

[root@chensiqi1 ~]# sed -n '2,4{p;=}' person.txt

102,NB,CTO

103,Alex,COO

104,yy,CFO

命令说明：

‘2，4{p;=}’代表统一输出2，4行的行号和内容

3.4 sed如何取不连续的行：

[root@chensiqi1 ~]# sed -n '1p;3p;5p' person.txt

101,chensiqi,CEO

103,Alex,COO

105,feixue,CIO

3.5 Ms# # #NG的使用：

语法说明：

MSè对第M行处理，无g替换标志，只处理第一处匹配，有g天幻标志则对第M行全部替换
Ngè对每一行，从第N处开始替换
Ms、Ng合用表示只对第M行从第N处匹配开始替换

案例演示：

使用下面的命令语句创建新的测试文本，通过下面的矩阵我们可以很清晰的看到替换的结果。

cat >num.txt <

1 1 1 1 1

EOF

[root@oldboyedu-35 ~]# sed '2s#1#0#2g' num.txt
1 1 1 1 1
1 0 0 0 0
1 1 1 1 1
1 1 1 1 1
[root@oldboyedu-35 ~]# sed '2s#1#0#g' num.txt
1 1 1 1 1
0 0 0 0 0
1 1 1 1 1
1 1 1 1 1
[root@oldboyedu-35 ~]# sed '2s#1#0#2' num.txt
1 1 1 1 1
1 0 1 1 1
1 1 1 1 1
1 1 1 1 1
[root@oldboyedu-35 ~]# sed '2s#1#0#2' num.txt

第4章 sed模式空间与保持空间：

SED之所以能以行为单位的编辑或修改文本，其原因在于它使用了两个空间：一个是活动的“模式空间（pattern space）”，另一个是起辅助作用的“暂存缓冲区（holdingspace）这2个空间的使用。

sed编辑器逐行处理文件，并将输出结果打印到屏幕上。sed命令将当前处理的行读入模式空间（pattern space）进行处理，sed在该行上执行完所有命令后就将处理好的行打印到屏幕上（除非之前的命令删除了该行），sed处理完一行就将其从模式空间中删除，然后将下一行读入模式空间，进行处理、显示。处理完文件的最后一行，sed便结束运行。sed在临时缓冲区（模式空间）对文件进行处理，所以不会修改原文件，除非显示指明-i选项。

sed之所以能以行为单位的编辑或修改文本，其原因在于它使用了两个空间：一个是活动的“模式空间（pattern space）”，另一个是起辅助作用的“保持空间（hold space）这2个空间的使用。

模式空间：可以想成工程里面的流水线，数据之间在它上面进行处理，用于处理文本行。

保持空间：可以想象成仓库，我们在进行数据处理的时候，作为数据的暂存区域，用于保留文本行，是保存已经处理过的输入行，默认有一个空行。

4.1 模式空间的操作命令：

4.1.1 命令n

命令n的作用：情况当前模式空间的内容，然后从输入文件中读取下一行。

命令n的作用执行过程中遇到n，那么它会改变正常的执行流程（读取数据-执行命令-打印输出-重复循环）。

假定命令n前后各有两个其他命令

sed -command -1

sed -command -2

sed -command -3

sed -command -4

这种情况下，sed -conroand-1和sed -conroand-2会在模式空间中执行，然后把内容输出到屏暮，遇到n就会清空当前模式空间的内容（sed -co sed -conrnand-4应用于新的模式空间的内容。

详情看下面例子：

[root6oldboyedu-35 ]# sed -n’p:p:n:p:p’ person, txt

101, sunxin, CEO

101, sunxin,CEO

102, zhangyao,CTO

103, Alex,COO

104, yy,CFO

105, feixue,CIO 105, feixue, CIO

_root6oldboyedu-35 ]# sedsed-d -n —hide=H0LD ’p:p:n:p:p’ person, txt

PATT: 101, sunxin, CEOS

COMM：p

101, sunxin, CEO PATT: 101, hujing, CEOS

PATT : 101.sunxin.CEO$

COMM：p

101, sunxin,CEO PATT: 101, hujing, CEOS COMM：p

101, sunxin,CEO PATT: 101, hujing, CEOS COMM：n

PATT:102, zhangyao, CTO$

COMM：p

102, zhangyao,CTO PATT:102, zhangyao, CTO$

COMM：p

102, zhangyao,CTO PATT:102, zhangyao, CTO$

PATT:103, Alex, COO$

COMM：p

103, Alex,COO PATT:103, Alex, COO$

COMM：p

103, Alex,COO PATT:103, Alex, COO$

COMM：n

PATT:104, yy,CFO$

COMM：p

104, yy,CFO PATT:104, yy，CFOS

PATT :104.yy.CEO$

4.1.2 命令N

N	不清空模式空间，并读取下一行数据追加到模式空间

如果在命令执行过程中遇到N，那么它会改变正常的执行流程（读取数据-执行命令-打印输出-重复循环）

假定命令n前后咅有两个其他命令

sed -command-1

sed -command-2

这种情况下，sed -command-1会在模式空间中执行，然后把内容输出到屏暮，遇到N就会不清空当前模式空间的内容（sed -command-1执行当前行的内容）并读取下一行内容追加到模式空间中，然后把sed -command-2应用于新的模式空间的内容。

详情请看下列例子

[rootoldboyedu—35 ]# sed _n’p:N:p’ person, txt

101, sunxin, CEO

101, sunxin,CEO

102, zhangyao,CTO

103, Alex,COO

104. yy.CFO

4.2 sed测试工具sedsed

sedsed软件是一个很椁的调试sed语句的工具，sedsed软件会详细的显示sed执行流程

sedsed软件是时下最流行的语言python写的，简单易用

sedsed软件最新版本是1.0版本，这个版本支持所有安装python2版本的系统平台 4.1安装sedsed软件

下载sedsed软件

wget http：//sedsed. sourceforge. net/sedsed-1. 0 -0 /bin/sedsed

给文件加上可执行权限

chmod +x /bin/sedsed

快速安装命令

wget http：//sedsed. sourceforge. net/sedsed-1. 0 -0 /bin/sedsed

chmod +x /bin/sedsed

4.2.1 sedsed语法与选项

sedsed软件可以非常清晰的告诉我们sed软件执行的流程，接下来介绍一下sedsed的语法，sedsed取代sed取代软件的位置，下面是sedsed命令的常用选项

选项	解释说明
-d	开启调试模式
--hids	隐藏一下调试信息，选项有PATT，HOLD，COMM PATT是pattem模式的缩写，即模式空间 HOLD是保持空间 COMM是command的缩写，即sed命令
-n	取消默认输入
$	表示文件的结尾，如果在文件的开头是$，则表示空行

4.2.2 sedsed软件执行过程

sedsed软件通过一些选项来讲sedsed名每一次操作都记录下来输出到屏幕，当sed命令不够直观的时候，就可以用sedsed软件来分析sed团建是如何取执行的，非常直观和简单

sedsed固定使用格式sedsed -d-n --hids=HOLD '[sed - commands]' [input - file]

当只有一个命令时

[root@oldboyedu-35 ~]# sed -n 'p' person.txt
101,oldboy,CEO
102,zhangyao,CTO
103,Alex,COO
104,yy,CFO
105,feixue,CIO

[root@oldboyedu-35 ~]# sedsed -d -n --hide=HOLD'p' person.txt
PATT:101,oldboy,CEO$
COMM:p
101,oldboy,CEO
PATT:101,oldboy,CEO$
PATT:102,zhangyao,CTO$
COMM:p
102,zhangyao,CTO
PATT:102,zhangyao,CTO$
PATT:103,Alex,COO$
COMM:p
103,Alex,COO
PATT:103,Alex,COO$
PATT:104,yy,CFO$
COMM:p
104,yy,CFO
PATT:104,yy,CFO$
PATT:105,feixue,CIO$
COMM:p
105,feixue,CIO
PATT:105,feixue,CIO$

sedsed软件可以将所有sed软件执行流程反馈出来

当有多个sed命令时

[root@oldboyedu-35 ~]# sed -n 'p;n' person.txt
101,oldboy,CEO
103,Alex,COO
105,feixue,CIO

[root@oldboyedu-35 ~]# sedsed -d -n --hide=HOLD'p;n' person.txt
PATT:101,oldboy,CEO$
COMM:p
101,oldboy,CEO
PATT:101,oldboy,CEO$
COMM:n
PATT:102,zhangyao,CTO$
PATT:103,Alex,COO$
COMM:p
103,Alex,COO
PATT:103,Alex,COO$
COMM:n
PATT:104,yy,CFO$
PATT:105,feixue,CIO$
COMM:p
105,feixue,CIO
PATT:105,feixue,CIO$
COMM:n

转载于:https://blog.51cto.com/jackx/1917136

你可能感兴趣的:(三剑客之 sed详解)

机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习 python
一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
扫地机类清洁产品之直流无刷电机控制悟空胆好小清洁服务机器人单片机人工智能
扫地机类清洁产品之直流无刷电机控制1.1前言扫地机产品有很多的电机控制，滚刷电机1个，边刷电机1-2个，清水泵电机，风机一个，部分中高端产品支持抹布功能，也就是存在抹布盘电机，还有追觅科沃斯石头等边刷抬升电机，滚刷抬升电机等的，这些电机有直流有刷电机，直接无刷电机，步进电机，电磁阀，挪动泵等不同类型。电机的原理，驱动控制方式也不行。接下来一段时间的几个文章会作个专题分析分享。直流有刷电机会自动持续
2018-07-23-催眠日作业-#不一样的31天#-66小鹿小鹿_33
预言日：人总是在逃避命运的路上，与之不期而遇。心理学上有个著名的名词，叫做自证预言；经济学上也有一个很著名的定律叫做，墨菲定律；在灵修派上，还有一个很著名的法则，叫做吸引力法则。这3个领域的词，虽然看起来不太一样，但是他们都在告诉人们一个现象：你越担心什么，就越有可能会发生什么。同样的道理，你越想得到什么，就应该要积极地去创造什么。无论是自证预言，墨菲定律还是吸引力法则，对人都有正反2个维度的影响
《大清方方案》| 第二话谁佐清欢
和珅究竟说了些什么？竟能令堂堂九五之尊龙颜失色！此处暂且按下不表；单说这位乾隆皇帝，果真不愧是康熙从小带过的，一旦决定了要做的事，便杀伐决断毫不含糊。他当即亲自拟旨，着令和珅为钦差大臣，全权负责处理方方事件，并钦赐尚方宝剑，遇急则三品以下官员可先斩后奏。和珅身负皇上重托，岂敢有半点怠慢，当夜即率领相关人等，马不停蹄杀奔江汉。这一路上，和珅的几位幕僚一直在商讨方方事件的处置方案。有位年轻幕僚建议快刀
《庄子.达生9》钱江潮369
【原文】孔子观于吕梁，县水三十仞，流沫四十里，鼋鼍鱼鳖之所不能游也。见一丈夫游之，以为有苦而欲死也，使弟子并流而拯之。数百步而出，被发行歌而游于塘下。孔子从而问焉，曰：“吾以子为鬼，察子则人也。请问，‘蹈水有道乎’”曰：“亡，吾无道。吾始乎故，长乎性，成乎命。与齐俱入，与汩偕出，从水之道而不为私焉。此吾所以蹈之也。”孔子曰：“何谓始乎故，长乎性，成乎命？”曰：“吾生于陵而安于陵，故也；长于水而安于
Python中os.environ基本介绍及使用方法鹤冲天Pro #Python python 服务器开发语言
文章目录python中os.environos.environ简介os.environ进行环境变量的增删改查python中os.environ的使用详解1.简介2.key字段详解2.1常见key字段3.os.environ.get()用法4.环境变量的增删改查和判断是否存在4.1新增环境变量4.2更新环境变量4.3获取环境变量4.4删除环境变量4.5判断环境变量是否存在python中os.envi
四章-32-点要素的聚合彩云飘过
本文基于腾讯课堂老胡的课《跟我学Openlayers--基础实例详解》做的学习笔记，使用的openlayers5.3.xapi。源码见1032.html，对应的官网示例https://openlayers.org/en/latest/examples/cluster.htmlhttps://openlayers.org/en/latest/examples/earthquake-clusters.
高端密码学院笔记285 柚子_b4b4
高端幸福密码学院（高级班）幸福使者：李华第（598）期《幸福》之回归内在深层生命原动力基础篇——揭秘“激励”成长的喜悦心理案例分析主讲：刘莉一，知识扩充:成功=艰苦劳动+正确方法+少说空话。贪图省力的船夫，目标永远下游。智者的梦再美，也不如愚人实干的脚印。幸福早课堂2020.10.16星期五一笔记:1，重视和珍惜的前提是知道它的价值非常重要，当你珍惜了，你就真正定下来，真正的学到身上。2，大家需要
2020-04-12每天三百字之连接与替代冷眼看潮
不知道是不是好为人师，有时候还真想和别人分享一下我对某些现象的看法或者解释。人类社会不断发展进步的过程，就是不断连接与替代的过程。人类发现了火并应用火以后，告别了茹毛饮血的野兽般的原始生活（火烧、烹饪替代了生食）人类用石器代替了完全手工，工具的使用使人类进步一大步。类似这样的替代还有很多，随着科技的发展，有更多的原始的事物被替代，代之以更高效、更先进的技术。在近现代，汽车替代了马车，高速公路和铁路
东南林氏之九牧林候选父系祖缘树TheYtree
渊源介绍东晋初年晋安林始祖林禄公入闽，传十世隋右丞林茂，由晋安迁居莆田北螺村。又五世而至林万宠，唐开元间任高平太守，生三子：韬、披、昌。韬公之孙攒，唐德宗立双阙以旌表其孝，时号"阙下林家"。昌公字茂吉，乃万宠公第三子，官兵部司马，配宋氏，生一子名萍。萍于唐贞元间明经及第，官沣洲司马(后追赠中宪大夫)。唐太和年间归隐后，迁居仙游游洋，世称“游洋林”；其后裔居游洋后迁移漳州漳浦路下，由路下林第四房平和
大伟说成语之唉声叹气求索大伟
＊大伟说成语＊【唉声叹气】叹气：因心里不痛快或不如意而吐出长气，发出声音。因为痛苦、憋闷或感伤而发出叹息的声音。【大伟说】情绪外露，非人类所特有，动物亦有情绪，悲哀和欢乐所表示的情绪亦是不一样的，会嗷嗷大叫也会低吟痛哭。不同的是，人类的情绪更复杂，更多样，更丰富。唉声叹气，可以说是最基础的情绪，因为无奈而举足无措，不知该如何如何化解，只有独自一人慢慢承受，长吁短叹不知如何是好，其实是无能无力的表现
libyuv之linux编译 jaronho Linux linux 运维服务器
文章目录一、下载源码二、编译源码三、注意事项1、银河麒麟系统（aarch64）（1）解决armv8-a+dotprod+i8mm指令集支持问题（2）解决armv9-a+sve2指令集支持问题一、下载源码到GitHub网站下载https://github.com/lemenkov/libyuv源码，或者用直接用git克隆到本地，如：gitclonehttps://github.com/lemenko
怎么做淘客赚钱(2022最新免费淘客盈利的方法) 高省_飞智666600
很多人都不知道什么是淘宝客，今天小编为大家解答一下吧。淘宝客，现在简称淘客，是时下比较流行的一个词语，特质为淘宝店推广商品获取提成的人，这些人没有自己的产品，只是在淘宝里面选择适合自己的产品，在自己比较熟悉的领域推广，把产品卖出去之后，会从淘宝店家那里获得百分之五到百分之五十左右的佣金。淘宝客付出的是什么呢？时间。你需要花时间去选适合自己推广的产品，需要花时间去选自己的推广方法，如果你打算自己做个
Python爬虫解析工具之xpath使用详解 eqa11 python 爬虫开发语言
文章目录Python爬虫解析工具之xpath使用详解一、引言二、环境准备1、插件安装2、依赖库安装三、xpath语法详解1、路径表达式2、通配符3、谓语4、常用函数四、xpath在Python代码中的使用1、文档树的创建2、使用xpath表达式3、获取元素内容和属性五、总结Python爬虫解析工具之xpath使用详解一、引言在Python爬虫开发中，数据提取是一个至关重要的环节。xpath作为一门
锁之缘尘缘诗词原创作品
是谁追寻梦的足迹，是谁在偷偷的哭泣，日月隔离在黑白天地情感在心中蔓延的痕迹天与地的距离有多远流失的星晨落入哪片空间不要让泪水模糊双眼心牢中一样充满温暖谁说爱情没有永远白娘子又为何爱许仙蝴蝶墓地展翅翩翩轻歌慢舞袖卷人间传奇千古留爱万年…………月落星飞徘徊是选择不去问自已为合舍不得寂寞本就是痛苦的不在追寻梦中的痕迹才不会失去真实的自已
ARM驱动学习之基础小知识 JT灬新一 ARM 嵌入式 arm开发学习
ARM驱动学习之基础小知识•sch原理图工程师工作内容–方案–元器件选型–采购（能不能买到，价格）–原理图（涉及到稳定性）•layout画板工程师–layout（封装、布局，布线，log）（涉及到稳定性）–焊接的一部分工作（调试阶段板子的焊接）•驱动工程师–驱动，原理图，layout三部分的交集容易发生矛盾•PCB研发流程介绍–方案，原理图(网表)–layout工程师（gerber文件）–PCB板
ARM驱动学习之5 LEDS驱动 JT灬新一嵌入式 C 底层 arm开发学习单片机
ARM驱动学习之5LEDS驱动知识点：•linuxGPIO申请函数和赋值函数–gpio_request–gpio_set_value•三星平台配置GPIO函数–s3c_gpio_cfgpin•GPIO配置输出模式的宏变量–S3C_GPIO_OUTPUT注意点：DRIVER_NAME和DEVICE_NAME匹配。实现步骤：1.加入需要的头文件：//Linux平台的gpio头文件#include//三
ARM驱动学习之4小结 JT灬新一嵌入式 C++arm开发学习 linux
ARM驱动学习之4小结#include#include#include#include#include#defineDEVICE_NAME"hello_ctl123"MODULE_LICENSE("DualBSD/GPL");MODULE_AUTHOR("TOPEET");staticlonghello_ioctl(structfile*file,unsignedintcmd,unsignedlo
C++ | Leetcode C++题解之第409题最长回文串 Ddddddd_158 经验分享 C++Leetcode 题解
题目：题解：classSolution{public:intlongestPalindrome(strings){unordered_mapcount;intans=0;for(charc:s)++count[c];for(autop:count){intv=p.second;ans+=v/2*2;if(v%2==1andans%2==0)++ans;}returnans;}};
2020-12-24 我和我的天使们
阅读《老子的心事》391—403“将欲取之，必固与之”：想要得到什么，首先就要送出什么。我常常对孩子们说，你希望别人怎样对你你就怎样对待别人。想要得到别人的尊重，首先要尊重别人。我希望她们可以不迟到，因为不迟到是对别人的尊重，我就自己就先做到不迟到。哪怕是约朋友逛街，我尽量准时赴约。我严格要求孩子们，也同样严格要求自己，我跟孩子们一起把好的品格变成习惯。“是谓微明”：这就是微妙的智慧。看起来很少很
18、架构-可观测性之聚合度量大树~~ 架构 java python 后端架构
聚合度量聚合度量是指对系统运行时产生的各种指标数据进行收集、聚合和分析，以了解系统的健康状况和性能表现。聚合度量是可观测性的关键组成部分，通过对度量数据的分析，可以及时发现系统中的异常和瓶颈。以下是对聚合度量各个方面的详细解析，并结合具体的数据案例和技术支撑。指标收集收集系统运行时产生的各种指标数据是聚合度量的基础。常见的指标包括CPU使用率、内存使用率、请求处理时间、请求数、错误率等。以下是指标
学习“论语”-第59天春峰轩
12.14子张问政。子曰：“居之无倦，行之以忠。”子张问为政之道。孔子说：“在位尽职不懈怠，执行政令要忠诚。”12.15子曰：“博学于文，约之以礼，亦可以弗畔矣夫！”孔子说：“君子广泛地学习文献，并且用礼节约束自己，也就不会离经叛道了。”12.16子曰：“君子成人之美，不成人之恶。小人反是。”孔子说：“君子成全别人的好事，而不助长别人的坏处。小人则与此相反行事。”知识点:“成人之美，不成人之恶”贯
2021-11-15 宙火
我给宋小姐写了首诗，是我在课上因思恋宋小姐而写的。“自古多情是唐宋，从来双飞归巢燕。邻家小女相聘婷，常使春意荡漾我。不知单思可为爱，惟愿一心付之汝。”我拿给宋小姐看了，她说我写得很棒。我很开心，但又不是那么开心。宋小姐是回复我了，但也只是说我写得很棒，对我诗句中蕴藏的真切感情，不知道是真的没发现，还是装作没发现。但我不深究，只是这样，我就很开心了。我答应宋小姐，一天给她写一首诗。
《我的青葱岁月之缘来是你》第二章迎新晚会思源思缘思怨
“怎么你也来了这里？”我愉快的问到，想着这是上天给的缘分吗？我还没去找他竟然就相遇了。那个让我开心的老乡。“你好，我也是舞蹈社的新人啊！”他说，笑起来回答我，眼睛弯弯的。“这么巧，我叫吴倩，你叫啥？”“我叫韩欢，你也是B市人吧，c中毕业的？”“我不是，我是f中的，不然肯定会认识你的”“是吗？以后多多关照了”他还冲我眨了眨眼睛。内心一阵悸动，这是……回到寝室，我兴奋的告诉我的室友这个事情，我再次觉得
数据结构之哈希表 X同学的开始数据结构数据结构散列表
哈希表(散列表)出现的原因在顺序表中查找时，需要从表头开始，依次遍历比较a[i]与key的值是否相等，直到相等才返回索引i；在有序表中查找时，我们经常使用的是二分查找，通过比较key与a[i]的大小来折半查找，直到相等时才返回索引i。最终通过索引找到我们要找的元素。但是，这两种方法的效率都依赖于查找中比较的次数。我们有一种想法，能不能不经过比较，而是直接通过关键字key一次得到所要的结果呢？这时，
厦门自由行之第一天: 大苏子在广漂
厦门三人行之杂记出发前一天:12️28日下午15:00从广州粗发，来深圳集合！但是中间发生一个小插曲，验票时候发现车票不见了，或许也是一场恶作剧，对于不排队的人，忍不住说了一下，接下来就发现车票不见了，已经是拿在手上！不过还好，可以凭借购票订单查看到信息，所以有惊无险，顺利进站！晚上三个人一起去吃了柠檬鱼，说实话，那会，感觉美吃饱，啊哈哈！晚上回来，两个人又开始彻夜长谈，发现身边优秀的人，一大把，
“这才好”麻辣香锅能够增加人身体的免疫能力小补文知
我就来介绍一种香锅，那就是“这才好”麻辣香锅，它产出于著名的蜀地文化，具有悠久的历史土家风味，麻辣鲜香，健康安全。采用传统秘制麻辣香锅油辣子，还有贴心加料“孜然包”满足人们的不同口味需求，香锅底料辣椒，微辣且香，含有丰富微量元素和维生素，具有辣而不躁，味道纯正，醇厚温和。花椒采用历史悠久，被列为宫廷供品的“贡椒”的汉源花椒。我们还挑选了“川菜之魂”郫县豆瓣的鼻祖品牌豆瓣，保留最原始的郫县豆瓣味道，
《太虚游》第六十二章。玄牝之威。古楼臭道士
“好好好，流云这孩子深得我心，想必长爻知道是你的话定然会惊喜不已的。”白玄牝听得风流云应了下来，脸色慈和，伸手在他头顶轻轻抚了抚，如同抚在怀中九尾小狐一样自然，极其温柔。身后的四位青丘长老同时一怔，嘴角微动，似要开口劝阻。风流云只感到一道霞光瑞气如有实质一般顺着头顶百会大穴直沉在下丹田内，随后这股气息又逐渐凝聚，似乎给自己吃了什么东西一般。啊喔不好，这祖奶奶该不会是看中我这肉身，像人魔一样，要给她
关于Mysql 中 Row size too large (＞ 8126) 错误的解决和理解秋刀prince mysql mysql 数据库
提示：啰嗦一嘴，数据库的任何操作和验证前，一定要记得先备份！！！不会有错；文章目录问题发现一、问题导致的可能原因1、页大小2、行格式2.1compact格式2.2Redundant格式2.3Dynamic格式2.4Compressed格式3、BLOB和TEXT列二、解决办法1、修改页大小（不推荐）2、修改行格式3、修改数据类型为BLOB和TEXT列4、其他优化方式（可以参考使用）4.1合理设置数据
生命如花坦释空
每个人的心中都有一株妙莲花。这是禅家语。禅家总是站在理性的高处，以超越红尘的洒脱来参悟人生和自省生命。那么，凡俗中人呢？生如夏花之绚丽，死如秋叶之静美。这是诗人语。多少人在赞美：姑娘好像花一样！又有多少人在咏歌：花儿与少年。的确，人生如花。花一样的生命，理应自诞生之日起，就一瓣一瓣地绽放她的美丽与清香，使这个原本死寂荒凉的世界五彩缤纷，充满快乐。事实上，人类自诞生起，就一代一代地做着这方面的努力，
Spring中@Value注解，需要注意的地方无量 spring bean @Value xml
Spring 3以后,支持@Value注解的方式获取properties文件中的配置值，简化了读取配置文件的复杂操作 1、在applicationContext.xml文件(或引用文件中)中配置properties文件 <bean id="appProperty" class="org.springframework.beans.fac
mongoDB 分片开窍的石头 mongodb
mongoDB的分片。要mongos查询数据时候先查询configsvr看数据在那台shard上，configsvr上边放的是metar信息，指的是那条数据在那个片上。由此可以看出mongo在做分片的时候咱们至少要有一个configsvr,和两个以上的shard（片）信息。第一步启动两台以上的mongo服务 &nb
OVER(PARTITION BY)函数用法 0624chenhong oracle
这篇写得很好，引自 http://www.cnblogs.com/lanzi/archive/2010/10/26/1861338.html OVER(PARTITION BY)函数用法 2010年10月26日 OVER(PARTITION BY)函数介绍开窗函数 &nb
Android开发中，ADB server didn't ACK 解决方法一炮送你回车库 Android开发
首先通知：凡是安装360、豌豆荚、腾讯管家的全部卸载，然后再尝试。一直没搞明白这个问题咋出现的，但今天看到一个方法，搞定了！原来是豌豆荚占用了 5037 端口导致。参见原文章：一个豌豆荚引发的血案——关于ADB server didn't ACK的问题简单来讲，首先将Windows任务进程中的豌豆荚干掉，如果还是不行，再继续按下列步骤排查。 &nb
canvas中的像素绘制问题换个号韩国红果果 JavaScript canvas
pixl的绘制，1.如果绘制点正处于相邻像素交叉线，绘制x像素的线宽，则从交叉线分别向前向后绘制x/2个像素，如果x/2是整数，则刚好填满x个像素，如果是小数，则先把整数格填满，再去绘制剩下的小数部分，绘制时，是将小数部分的颜色用来除以一个像素的宽度，颜色会变淡。所以要用整数坐标来画的话（即绘制点正处于相邻像素交叉线时），线宽必须是2的整数倍。否则会出现不饱满的像素。 2.如果绘制点为一个像素的
编码乱码问题灵静志远 java jvm jsp 编码
1、JVM中单个字符占用的字节长度跟编码方式有关，而默认编码方式又跟平台是一一对应的或说平台决定了默认字符编码方式；2、对于单个字符：ISO-8859-1单字节编码，GBK双字节编码，UTF-8三字节编码；因此中文平台(中文平台默认字符集编码GBK)下一个中文字符占2个字节，而英文平台(英文平台默认字符集编码Cp1252(类似于ISO-8859-1))。 3、getBytes()、getByte
java 求几个月后的日期 darkranger calendar getinstance
Date plandate = planDate.toDate(); SimpleDateFormat df = new SimpleDateFormat("yyyy-MM-dd"); Calendar cal = Calendar.getInstance(); cal.setTime(plandate); // 取得三个月后时间 cal.add(Calendar.M
数据库设计的三大范式（通俗易懂） aijuans 数据库复习
关系数据库中的关系必须满足一定的要求。满足不同程度要求的为不同范式。数据库的设计范式是数据库设计所需要满足的规范。只有理解数据库的设计范式，才能设计出高效率、优雅的数据库，否则可能会设计出错误的数据库. 目前，主要有六种范式：第一范式、第二范式、第三范式、BC范式、第四范式和第五范式。满足最低要求的叫第一范式，简称1NF。在第一范式基础上进一步满足一些要求的为第二范式，简称2NF。其余依此类推。
想学工作流怎么入手 atongyeye jbpm
工作流在工作中变得越来越重要，很多朋友想学工作流却不知如何入手。很多朋友习惯性的这看一点，那了解一点，既不系统，也容易半途而废。好比学武功，最好的办法是有一本武功秘籍。研究明白，则犹如打通任督二脉。系统学习工作流，很重要的一本书《JBPM工作流开发指南》。本人苦苦学习两个月，基本上可以解决大部分流程问题。整理一下学习思路，有兴趣的朋友可以参考下。 1 首先要
Context和SQLiteOpenHelper创建数据库百合不是茶 android Context创建数据库
一直以为安卓数据库的创建就是使用SQLiteOpenHelper创建,但是最近在android的一本书上看到了Context也可以创建数据库,下面我们一起分析这两种方式创建数据库的方式和区别,重点在SQLiteOpenHelper 一:SQLiteOpenHelper创建数据库: 1,SQLi
浅谈group by和distinct bijian1013 oracle 数据库 group by distinct
group by和distinct只了去重意义一样，但是group by应用范围更广泛些，如分组汇总或者从聚合函数里筛选数据等。譬如：统计每id数并且只显示数大于3 select id ,count(id) from ta
vi opertion 征客丶 mac opration vi
进入 command mode （命令行模式）按 esc 键再按 shift + 冒号注：以下命令中带 $ 【在命令行模式下进行】，不带 $ 【在非命令行模式下进行】一、文件操作 1.1、强制退出不保存 $ q! 1.2、保存 $ w 1.3、保存并退出 $ wq 1.4、刷新或重新加载已打开的文件 $ e 二、光标移动 2.1、跳到指定行数字
【Spark十四】深入Spark RDD第三部分RDD基本API bit1129 spark
对于K/V类型的RDD,如下操作是什么含义？ val rdd = sc.parallelize(List(("A",3),("C",6),("A",1),("B",5)) rdd.reduceByKey(_+_).collect reduceByKey在这里的操作，是把
java类加载机制 BlueSkator java 虚拟机
java类加载机制 1.java类加载器的树状结构引导类加载器 ^ | 扩展类加载器 ^ | 系统类加载器 java使用代理模式来完成类加载，java的类加载器也有类似于继承的关系，引导类是最顶层的加载器，它是所有类的根加载器，它负责加载java核心库。当一个类加载器接到装载类到虚拟机的请求时，通常会代理给父类加载器，若已经是根加载器了，就自己完成加载。虚拟机区分一个Cla
动态添加文本框 BreakingBad 文本框
<script> var num=1; function AddInput() { var str=""; str+="<input
读《研磨设计模式》-代码笔记-单例模式 bylijinnan java 设计模式
声明：本文只为方便我个人查阅和理解，详细的分析以及源代码请移步原作者的博客http://chjavach.iteye.com/ public class Singleton { } /* * 懒汉模式。注意，getInstance如果在多线程环境中调用，需要加上synchronized，否则存在线程不安全问题 */ class LazySingleton
iOS应用打包发布常见问题 chenhbc ios iOS发布 iOS上传 iOS打包
这个月公司安排我一个人做iOS客户端开发，由于急着用，我先发布一个版本，由于第一次发布iOS应用，期间出了不少问题，记录于此。 1、使用Application Loader 发布时报错：Communication error.please use diagnostic mode to check connectivity.you need to have outbound acc
工作流复杂拓扑结构处理新思路 comsci 设计模式工作算法企业应用 OO
我们走的设计路线和国外的产品不太一样，不一样在哪里呢？国外的流程的设计思路是通过事先定义一整套规则(类似XPDL)来约束和控制流程图的复杂度(我对国外的产品了解不够多，仅仅是在有限的了解程度上面提出这样的看法)，从而避免在流程引擎中处理这些复杂的图的问题，而我们却没有通过事先定义这样的复杂的规则来约束和降低用户自定义流程图的灵活性，这样一来，在引擎和流程流转控制这一个层面就会遇到很
oracle 11g新特性Flashback data archive daizj oracle
1. 什么是flashback data archive Flashback data archive是oracle 11g中引入的一个新特性。Flashback archive是一个新的数据库对象，用于存储一个或多表的历史数据。Flashback archive是一个逻辑对象，概念上类似于表空间。实际上flashback archive可以看作是存储一个或多个表的所有事务变化的逻辑空间。
多叉树:2-3-4树 dieslrae 树
平衡树多叉树,每个节点最多有4个子节点和3个数据项,2,3,4的含义是指一个节点可能含有的子节点的个数,效率比红黑树稍差.一般不允许出现重复关键字值.2-3-4树有以下特征: 1、有一个数据项的节点总是有2个子节点(称为2-节点) 2、有两个数据项的节点总是有3个子节点(称为3-节
C语言学习七动态分配 malloc的使用 dcj3sjt126com c language malloc
/* 2013年3月15日15:16:24 malloc 就memory(内存) allocate(分配)的缩写本程序没有实际含义，只是理解使用 */ # include <stdio.h> # include <malloc.h> int main(void) { int i = 5; //分配了4个字节静态分配 int * p
Objective-C编码规范[译] dcj3sjt126com 代码规范
原文链接 : The official raywenderlich.com Objective-C style guide 原文作者 : raywenderlich.com Team 译文出自 : raywenderlich.com Objective-C编码规范译者 : Sam Lau
0.性能优化-目录 frank1234 性能优化
从今天开始笔者陆续发表一些性能测试相关的文章，主要是对自己前段时间学习的总结，由于水平有限，性能测试领域很深，本人理解的也比较浅，欢迎各位大咖批评指正。主要内容包括：一、性能测试指标吞吐量、TPS、响应时间、负载、可扩展性、PV、思考时间 http://frank1234.iteye.com/blog/2180305 二、性能测试策略生产环境相同基准测试预热等 htt
Java父类取得子类传递的泛型参数Class类型 happyqing java 泛型父类子类 Class
import java.lang.reflect.ParameterizedType; import java.lang.reflect.Type; import org.junit.Test; abstract class BaseDao<T> { public void getType() { //Class<E> clazz =
跟我学SpringMVC目录汇总贴、PDF下载、源码下载 jinnianshilongnian springMVC
----广告-------------------------------------------------------------- 网站核心商详页开发掌握Java技术，掌握并发/异步工具使用，熟悉spring、ibatis框架；掌握数据库技术，表设计和索引优化，分库分表/读写分离；了解缓存技术，熟练使用如Redis/Memcached等主流技术；了解Ngin
the HTTP rewrite module requires the PCRE library 流浪鱼 rewrite
./configure: error: the HTTP rewrite module requires the PCRE library. 模块依赖性Nginx需要依赖下面3个包 1. gzip 模块需要 zlib 库 ( 下载: http://www.zlib.net/ ) 2. rewrite 模块需要 pcre 库 ( 下载: http://www.pcre.org/ ) 3. s
第12章 Ajax（中） onestopweb Ajax
index.html <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/
Optimize query with Query Stripping in Web Intelligence blueoxygen BO
http://wiki.sdn.sap.com/wiki/display/BOBJ/Optimize+query+with+Query+Stripping+in+Web+Intelligence and a very straightfoward video http://www.sdn.sap.com/irj/scn/events?rid=/library/uuid/40ec3a0c-936
Java开发者写SQL时常犯的10个错误 tomcat_oracle java sql
1、不用PreparedStatements 　　有意思的是，在JDBC出现了许多年后的今天，这个错误依然出现在博客、论坛和邮件列表中，即便要记住和理解它是一件很简单的事。开发者不使用PreparedStatements的原因可能有如下几个：　　他们对PreparedStatements不了解　　他们认为使用PreparedStatements太慢了　　他们认为写Prepar
世纪互联与结盟有感阿尔萨斯
10月10日，世纪互联与（Foxcon）签约成立合资公司，有感。全球电子制造业巨头（全球500强企业）与世纪互联共同看好IDC、云计算等业务在中国的增长空间，双方迅速果断出手，在资本层面上达成合作，此举体现了全球电子制造业巨头对世纪互联IDC业务的欣赏与信任，另一方面反映出世纪互联目前良好的运营状况与广阔的发展前景。众所周知，精于电子产品制造（世界第一），对于世纪互联而言，能够与结盟

三剑客之 sed详解

第1章 sed详解：

1.1 sed介绍：

1.2 语法格式：

1.3 命令执行流程：

1.4 sed选项说明：

1.5 sed命令说明：

1.6 sed中常用特殊符号：

第2章 sed常见的四个功能

2.1 增加：

2.1.1 sed增加实例：

2.1.1.1单行增加：

2.1.1.2多行增加：

2.1.1.3企业案例：

2.2 删除：

2.2.1 删除单行：

2.2.2 删除最后一行：

2.2.3 删除多行：

2.2.4 删除1到3行：

2.2.5 删除从二开始每次加两行（删除偶数行）：

2.2.6 删除从一开始每次加两行（删除奇数）：

2.2.7 删除带有oldboy的行：

2.2.8 删除排除某个行或多行（取反）：

2.2.9 删除不规则的跳行：

2.2.10 地址范围的含义：

2.3 修改：

2.3.1 换行替换：

2.3.2 文本替换：

2.3.3 企业案例：指定行修改配置文件

2.3.4 特别注意：

2.3.5 分组替换\(\)和\1的使用说明：

2.3.6 企业案例：系统开机启动项优化

2.3.7 特殊符号&代表被替换的内容：

2.3.8 企业案例5：批量重命名文件

2.3.9 rename改名工具：

2.4 查看：

2.4.1 按行查询：

2.4.2 按字符串查询：

2.4.3 混合查询：

2.4.4 过滤多个字符：

第3章 sed命令应用知识扩展：

3.1 sed修改文件的同时进行备份

3.2 特殊符号：

3.3 特殊符号{}的使用

3.4 sed如何取不连续的行：

3.5 Ms# # #NG的使用：

第4章 sed模式空间与保持空间：

4.1 模式空间的操作命令：

4.1.1 命令n

4.1.2 命令N

4.2 sed测试工具sedsed

4.2.1 sedsed语法与选项

4.2.2 sedsed软件执行过程

你可能感兴趣的:(三剑客之 sed详解)