day5 总结

1.CentOS7 系统最小化安装默认没有wget命令，需要进行安装

[root@oldboyedu ~]# yum install wget -y

2.找到我们需要下载的资源

复制资源的链接地址---->

3.在linux上使用wget命令进行下载(默认下载到当前目录来)

例如 [root@test ~]# wget http://fj.xuliangwei.com/public/weixin.py

4.由于我们下载的是文件,所有我们可以使用cat less more 查看该文件

例如 [root@test ~]# cat weixin.py [root@test ~]# less weixin.py

[root@test ~]# more weixin.py

当使用more 命令时, ctrl+ b 是退页,ctrl+ f 是前进页码,然后q退出当前模式

5.使用wget下载资源时,指定保存的位置,并重新命名-------->wget -O

[root@test ~]# wget -O /opt/tt.png

http://fj.xuliangwei.com/public/ks.jpeg

6.下载资源时,如果不想重新命名只想修改保存的路径,请带上原有的名称

[root@test ~]# wget -O /opt/ks.jpeg

http://fj.xuliangwei.com/public/ks.jpeg

-------------------------curl---------------->

curl 浏览网络上的资源

1.在线浏览网站资源内容(源代码)

[root@test ~]# curl

http://fj.xuliangwei.com/public/weixin.py

2.使用curl将内容保存至本地,并重命名(如果没有明确指定路径,则表示

当前目录)

[root@test ~]# curl -o wei.txt

http://fj.xuliangwei.com/public/weixin.py

3.将资源保存至指定的路径

[root@test ~]# curl -o /opt/weixin.py

http://fj.xuliangwei.com/public/weixin.py

---

--

PS: 通常情况下我们推荐使用wget下载,但由于系统很多时候默认没有

安装wget 会偶尔使用一下curl

----------------------------------------rz sz上传下载文件-----------------------------

练习: 使用两种方式下载如下的两个文件

1.wget保存至本地 /etc/yum.repos.d/CentOS-Base.repo

http://mirrors.aliyun.com/repo/Centos-7.repo

解答 [root@oldboyedu ~]# wget -O /etc/yum.repos.d/CentOSBase.

repo http://mirrors.aliyun.com/repo/Centos-7.repo

2.curl保存至本地 /etc/yum.repos.d/epel.repo

http://mirrors.aliyun.com/repo/epel-7.repo

解答 [root@oldboyedu ~]# curl -o /etc/yum.repos.d/epel.repo

http://mirrors.aliyun.com/repo/epel-7.repo

3.最后执行一条命令检查 yum makecache

4.文件管理之：文件或命令查找(which、whereis、find)

----------------------------------------命令查找----------------------------------------了解即可

5.文件管理之：文件内容处理命令(sort、uniq、cut、sed、awk、

wc、)

----------------------------------------sort排序----------------------------------------

如果无法将文件直接拖拽进Linux服务器 原因可能有

1.要么没有安装lrzsz ,建议安装 yum install lrzsz -y

2.你上传的是一个空文件

rz #只能上传文件，不支持上传文件夹，不支持大于4个G上传，也不

支持断点续传

sz /path/file #只能下载文件 (任意单个文件)，不支持下载文件

夹

1.查找一个命令的绝对路径

当我们想执行一个命令的绝对路径时,先使用which command 查询绝

对路径

which ls #查找ls命令的绝对路径

2.whereis也使用来查询命令的绝对路径

whereis ls //查找命令的路径、帮助手册、等

whereis -b ls //仅显示命令所在的路径

3.对于内核相关的一些命令,使用which whereis是无法查询到,需要使

用type命令查询

type -a ls #查看命令的绝对路径(包括别名)

对于后面要使用一个命令的绝对时.

在有些情况下，需要对应一个无序的文本文件进行数据的排序，这时

就需要使用sort进行排序了。

sort [OPTION]... [FILE]...

-r：倒序 -n：按数字排序 -t：指定分隔符(默认空格) -k：指定第几

列, 指定几列几字符（指定1,1 3.1,3.3）

1.首先创建一个文件，写入一写无序的内容

[root@xuliangwei ~]# cat >> file.txt <

b:3

c:2

a:4

e:5

d:1

f:11

EOF 解答:[root@test ~]# sort -t ":" -k2 -n file.txt #以":"为分隔符,选第二列排序,以自然数规则排序,选定文件是file.txt

2.使用sort下面对输出的内容进行排序

[root@xuliangwei ~]# sort file.txt

a:4

b:3

c:2

d:1

e:5

f:11

结果并不是按照数字排序，而是按字母排序。

可以使用-t指定分隔符, 使用-k指定需要排序的列。

[root@xuliangwei ~]# sort -t ":" -k2 sort.txt

d:1

f:11 #第二行为什么是11？不应该按照顺序排列？

c:2

b:3

a:4

e:5

[root@test ~]# sort -t "." -k3.1,3.1 -k4.1,4.3 -n ip.txt

以"." 为分隔符 ,选择第三列(横为行,竖为列)和第四列的第一位到第三位 ,按照自然数排序,跟上文件ip.txt

[图片上传失败...(image-ca4a74-1564487499463)]

----------------------------------------uniq去重----------------------------------------

如果文件中有多行完全相同的内容，当前是希望能删除重复的行，同

时还可以统计出完全相同的行出现的总次数, 那么就可以使用uniq命

令解决这个问题(但是必须配合sort使用)。

按照排序的方式, 只会看到第一个字符,11的第一个字符是1, 按照字符

来排序确实比2小。

如果想要按照数字的方式进行排序, 需要使用 -n参数。

[root@xuliangwei ~]# sort -t ":" -n -k2 p.txt

d:1

c:2

b:3

a:4

e:5

f:11

测试案例，下载文件

http://fj.xuliangwei.com/public/ip.txt，对该文件进行排序

[root@xuliangwei ~]# sort -t. -k3.1,3.1nr -k4.1,4.3nr

ip.txt

uniq [OPTION]... [INPUT [OUTPUT]]

选项：-c 计算重复的行

1.创建一个file.txt文件:

[root@xuliangwei ~]# cat >>file1.txt <

abc

123

abc

123

EOF

2.uniq需要和sort一起使用, 先使用sort排序, 让重复内容连续在一

起

----------------------------------------cut截取字段(不太重要)----------------------

---

[root@xuliangwei ~]# sort file.txt

123

123

abc

abc

3.使用uniq去除相邻重复的行

[root@xuliangwei ~]# sort file.txt |uniq

123

abc

4.-c参数能统计出文件中每行内容重复的次数

[root@xuliangwei ~]# sort file.txt |uniq -c

2 123

2 abc

面试题: 请统计分析如下日志，打印出访问最高前10的IP

cut OPTION... [FILE]...

选项：-d 指定分隔符 -f 数字,取第几列 –f3,6三列和6列 -c 按字符

取(空格也算)

[root@oldboyedu ~]# cat >>file2.txt <

Im xlw, is QQ 552408925

EOF

实现: 筛选出文件里 xlw以及552408925

[root@oldboyedu ~]# awk '{print 5}' file2.txt |

awk -F "," '{print 2}' 打印 以","为分隔符

[图片上传失败...(image-ba9709-1564487499462)]

xlw 552408925 awk是默认" "(空格键) 为分隔符的, 所以,意思是 以空格为分隔符,打印出 file2.txt的第2列和第五列 然后以前面出来的结果在进行截取,awk -F ,指令"," 为分隔符,打印出第1列和第2列 ,就得到我们想要的了

[root@oldboyedu ~]# cut -d " " -f 2,5 file2.txt | awk

-F "," '{print 2}'

xlw 552408925

[图片上传失败...(image-7abdf0-1564487499462)]

翻译 cut -d " " 指令 " " 空格键为分隔符,cut -f 2,5 取第2,第5列 ,后面跟文件file2.txt

再将出来的结果给awk 截取 , awk -F "," 指令","为分隔符,取第一列和第二列 ,就是结果

----------------------------------------wc统计行号-------------------------------------

---

习题: 分析如下日志，统计每个域名被访问的次数。

[root@oldboyedu ~]# cut -d " " -f 2,5 file2.txt | sed

's#,##g'

xlw 552408925

[root@oldboyedu ~]# sed 's#,##g' file2.txt | awk

'{print 5}'

xlw 552408925

PS: 实际生产使用过程中,很少使用到cut,通常都是使用awk,因为awk

是取列专业户

wc [OPTION]... [FILE]...

选项：-l显示文件行数

wc -l /etc/fstab #统计/etc/fstab文件有多少行

wc -l /etc/services #统计/etc/services 文件行号

练习题: 过滤出/etc/passwd以nologin结尾的内容，并统计有多少行

1.先筛选出目标的行

2.然后进行统计

[root@oldboyedu ~]# grep "nologin$" /etc/passwd | wc -

l

18

扩展统计文件行号的方法

[root@oldboyedu ~]# cat -n /etc/services | tail -1

[root@oldboyedu ~]# grep -n ".*" /etc/services | tail

-1

习题: 使用awk取出系统的IP地址，思路如下:

1.我要取的值在哪里 ifconfig ens32

2.如何缩小取值范围(行)

3.如何精确具体内容(列)

[root@student tmp]# cat >> web.log <

http://www.xuliangwei.com/index.html

http://www.xuliangwei.com/1.html

http://post.xuliangwei.com/index.html

http://mp3.xuliangwei.com/index.html

http://www.xuliangwei.com/3.html

http://post.xuliangwei.com/2.html

EOF

[root@oldboyedu ~]# cut -d "/" -f 3 web.log | sort |

uniq -c | sort -nr

[root@oldboyedu ~]# awk -F "/" '{print $3}' web.log

|sort |uniq -c |sort -nr

.先拿到结果,然后提取有关键字那一行,最后使用awk取出那一列

[root@oldboyedu ~]# ifconfig ens32|grep "netmask" |

awk '{print $2}'

10.0.0.200

[root@oldboyedu ~]# ifconfig ens32 | awk '/netmask/' |

awk '{print $2}'

10.0.0.200

[root@oldboyedu ~]# ifconfig ens32 | awk '/netmask/

{print $2}'

10.0.0.200
今天的跨度对于我来说有点大 ,需要多多练习