Day 5-文件管理之文件上传下载、排序、去重和截取

今日内容

---

 文件的下载：wget、curl（下载互联网上的网络资源）和sz（下载Linux服务器上的资源）命令；

 文件的上传：rz;

 文件内容的排序sort，去重统计uniq...

 文件的截取cut、awk、sed...

   一、wget、curl联网下载文件

---

     1、wget

      1)、CentOS7 系统最小化安装默认没有wget命令，需要进行安装

         使用[root@oldboyedu ~]# yum install wget -y

      2）、下载我们需要下载的资源

     （1）.复制资源的链接地址

http://fj.xuliangwei.com/public/weixin.py

     （2）.在linux上使用wget命令进行下载(默认下载到当前目录来)

[root@oldboyedu ~]# wget http://fj.xuliangwei.com/public/weixin.py

     （3）.由于我们下载的是文件,所以我们可以使用cat、less、more等命令查看文件

[root@oldboyedu ~]# cat weixin.py

      3）、使用wget下载资源时,指定保存的位置,并重新命名

[root@oldboyedu ~]# wget -O /opt/tt.png http://fj.xuliangwei.com/public/ks.jpeg

      4）、下载资源时,如果不想重新命名只想修改保存的路径,请带上原有的名称

[root@oldboyedu ~]# wget -O /opt/ks.jpeg http://fj.xuliangwei.com/public/ks.jpeg

2、curl （支持在线浏览网络上的资源，可以先浏览再下载）

      1）、在线浏览网站资源内容(源代码)

  [root@oldboyedu ~]# curl http://fj.xuliangwei.com/public/weixin.py

      2）、.使用curl将内容保存至本地,并重命名(如果没有明确指定路径,则表示当前目录)

  [root@oldboyedu ~]# curl -o wei.txt http://fj.xuliangwei.com/public/weixin.py

       3）、将资源保存至指定的路径

  [root@oldboyedu ~]# curl -o /opt/weixin.py http://fj.xuliangwei.com/public/weixin.py

  PS： 通常情况下我们推荐使用wget下载,但由于系统很多时候默认没有按照wget 会偶尔使用一下curl

3、练习: 使用wget和curl 下载如下的两个文件 。

      1）wget保存至本地 /etc/yum.repos.d/CentOS-Base.repo

           http://mirrors.aliyun.com/repo/Centos-7.repo

[root@oldboyedu ~]# wget -O /etc/yum.repos.d/CentOSBase.repo http://mirrors.aliyun.com/repo/Centos-7.repo

     2）、.curl保存至本地 /etc/yum.repos.d/epel.repo

            http://mirrors.aliyun.com/repo/epel-7.repo

[root@oldboyedu ~]# curl -o /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo

      3）、最后执行yum makecache命令检查 

二、rz、sz上传与下载文件

---

   4、rz、sz上传下载文件

        1）、如果无法将文件直接拖拽进Linux服务器

(1）.没有安装lrzsz ,建议安装yum install lrzsz -y   

(2）.上传的是一个空文件，需要写入具体的内容

      2）、rz：只能上传文件，不支持上传文件夹，不支持大于4个G上传，也不支持断点续传

      3）、sz：只能下载文件(任意单个文件)，不支持下载文件夹

   5、文件或命令查找

      1）.查找一个命令的绝对路径

         当我们想执行一个命令的绝对路径时,先使用which command查询绝对路径

         which ls  #查找ls命令的绝对路径

[root@oldboyedu ~]# which ls

alias ls='ls --color=auto'    //别名

/usr/bin/ls                    //命令的绝对路径

      2).whereis也使用来查询命令的绝对路径

[root@oldboyedu ~]# whereis ls       //查找命令的路径、帮助手册等

[root@oldboyedu ~]# whereis -b ls    //仅显示命令所在的路径

      3)对于内核相关的一些命令,使用which 、whereis是无法查询到,需要使 用type命令查询

[root@oldboyedu ~]# type -a ls        #查看命令的绝对路径(包括别名)

三、：文件内容处理命令

---

      6、sort排序

         1）、在有些情况下，需要对应一个无序的文本文件进行数据的排序，这时就需要使用sort进行排序了。

     sort [OPTION]... [FILE]...

     -r：倒序

     -n：按数字排序

      -t：指定分隔符(默认空格)

       -k：指定第几列, -k*.*指定几列几字符（指定1,1  3.1,3.3）

       2）、创建一个文件，写入一段无序的内容

[root@oldboyedu ~]# cat >> file.txt <

b:3

c:2

a:4

e:5

d:1

f:11

EOF

     3）、使用sort下面对输出的内容进行排序

[root@oldboyedu ~]# sort file.txt

a:4

b:3

c:2

d:1

e:5

f:1

   结果并不是按照数字排序，而是按字母排序

     4）、使用-t指定分隔符, 使用-k指定需要排序的列。

[root@oldboyedu ~]# sort -t ":" -k2 file.txt

d:1

f:11       第二行为什么是11？不应该按照顺序排列？

c:2

b:3

a:4

e:5

     按照排序的方式, 只会看到第一个字符,11的第一个字符是1, 按照字符来排序确实比2小

     5）、如果想要按照数字的方式进行排序, 需要使用 -n参数、

[root@oldboyedu ~]# sort -t ":" -n -k2 p.txt

d:1

c:2

b:3

a:4

e:5

f:11

     6）、测试案例，下载文件

http://fj.xuliangwei.com/public/ip.txt，对该文件进行排序

[root@oldboyedu~]# sort -t. -k3.1,3.1nr -k4.1,4.3nr ip.txt

    7、uniq去重

     1）、如果文件中有多行完全相同的内容，当前是希望能删除重复的行，同时还可以统计出完全相同的行出现的总次数, 那么就可以使用uniq命令解决这个问题(但是必须配合sort使用)。

uniq [OPTION]... [INPUT [OUTPUT]]

-c  计算重复的行

     2）、创建一个file1.txt文件

[root@oldboyedu ~]# cat >>file1.txt <

abc

123

abc

123

EOF

     3）、uniq需要和sort一起使用, 先使用sort排序, 让重复内容连续在一起

[root@oldboyedu ~]# sort file.txt

123

123

abc

abc

     4）、使用uniq去除相邻重复的行

[root@oldboyedu ~]# sort file.txt |uniq

123

abc

     5）、-c参数能统计出文件中每行内容重复的次数

[root@oldboyedu ~]# sort file.txt |uniq -c      

2 123      

2 abc

    8、cut截取字段

1）、cut OPTION... [FILE]...

-d 指定分隔符

-f 数字,取第几列 –f3,6三列和6列

-c 按字符取(空格也算)

     2）、创建一个file2.txt文件，

[root@oldboyedu ~]# cat >>file2.txt <

Im xlw, is QQ 552408925

EOF

     3）实现: 筛选出文件里 xlw和552408925

方法一：[root@oldboyedu ~]# awk '{print $2,$5}' file2.txt |

awk -F "," '{print $1,$2}'

xlw  552408925

---

方法二：[root@oldboyedu ~]# cut -d " " -f 2,5 file2.txt |

awk -F "," '{print $1,$2}'

xlw  552408925

---

方法三：[root@oldboyedu ~]# cut -d " " -f 2,5 file2.txt  |

sed 's#,##g'

xlw 552408925

---

方法四：[root@oldboyedu ~]# sed 's#,##g' file2.txt | awk

'{print $2,$5}'

xlw 552408925

---

PS: 实际生产使用过程中,很少使用到cut,通常都是使用awk,因为awk 是取列专业户

  9、wc统计行号

1）、wc [OPTION]... [FILE]...

  -l 显示文件行数

---

2）、wc -l /etc/fstab      统计/etc/fstab文件有多少行

         wc -l /etc/services   统计/etc/services 文件行号

     3）、练习题: 过滤出/etc/passwd以nologin结尾的内容，并统计有多少行

     （1）.先筛选出目标的行

     （2）.然后进行统计

[root@oldboyedu ~]# grep "nologin$" /etc/passwd | wc l

18

10、习题一: 分析如下日志，统计每个域名被访问的次数。

[root@student tmp]# cat >> web.log <

http://www.xuliangwei.com/index.html

http://www.xuliangwei.com/1.html

http://post.xuliangwei.com/index.html

http://mp3.xuliangwei.com/index.html

http://www.xuliangwei.com/3.html

http://post.xuliangwei.com/2.html

EOF

[root@oldboyedu ~]# cut -d "/" -f 3 web.log | sort | uniq -c | sort -nr

[root@oldboyedu ~]# awk -F "/" '{print $3}' web.log |sort |uniq -c |sort -nr

11、习题二：使用awk取出系统的IP地址，思路如下:

1.我要取的值在哪里 ifconfig ens32

2.如何缩小取值范围(行)

3.如何精确具体内容(列)

先拿到结果,然后提取有关键字那一行,最后使用awk取出那一列

第一种：[root@oldboyedu ~]# ifconfig ens32|grep "netmask" | awk '{print $2}'

10.0.0.200

第二种： [root@oldboyedu ~]# ifconfig ens32 | awk '/netmask/' | awk '{print $2}'

10.0.0.200

第三种： [root@oldboyedu ~]# ifconfig ens32 | awk '/netmask/ {print $2}'

10.0.0.200

12、习题三：分析如下日志,请提取出访问次数高的TOP 10 IP地址

素材

[root@oldboyedu ~]# awk '{print $1}' fj.xuliangwei.com.log |sort |uniq -c|sort -nr | head