day05--文件管理之联网下载,文件上传,排序,去重截取

文件管理之:联网下载文件(wget,curl),文件上传与下载(rz,sz)

---------------------wget,curl联网下载文件-------------------

1.Centos-7系统最小化安装默认没有wget命令,需要进行安装

[root@oldboy--day01 ~]# yum install wget -y

2.找到需要下载下载的资源

  复制资源的链接地址

3.在Linux上使用wget命令进行下载(默认安装到当前目录来)

[root@oldboy--day01 ~]# wget http://fj.xuliangwei.com/public/weixin.py

4.由于我们下载的是文件,所以我们可以用cat less more 查看该文件

[root@oldboy--day01 ~]# cat weixin.py

5.使用wget下载资源时,指定保存的位置,并重命名

[root@oldboy--day01 ~]# wget -O /opt/tt.png http://fj.xuliangwei.com/public/ks.jpeg

6.下载资源时,如果不想重命名只想修改保存的的路径,请带上原有的名字

[root@oldboy--day01 ~]# wget -O /opt/ks.jpeg http://fj.xuliangwei.com/public/ks.jpeg

curl  浏览网络上的资源

1.在线浏览网站资源内容(源代码)

[root@oldboy--day01 ~]# curl  http://fj.xuliangwei.com/public/weixin.py

2.使用curl将内容保存到本地,并重命名(如果没有明确指定路径,则表示当前目录)

[root@oldboy--day01 ~]# curl -o weixin.txt http://fj.xuliangwei.com/public/weixin.py

3.将资源保存至指定路径

[root@oldboy--day01 ~]# curl -o /opt/weixin.py http://fj.xuliangwei.com/public/weixin.py

PS:通常情况下我们推荐使用wget下载,但由于系统有时候默认没有wget,偶尔会使用一下curl

练习:

1.wget保存至本地/etc/yum.repos.d/CentOS-Base.repo  http://mirrors.aliyun.com/repo/Centos-7.repo

[root@oldboy--day01 ~]# wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

2.curl保存至本地 /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo

[root@oldboy--day01 ~]# curl -o /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo

3.最后执行一条命令检查 yum makecache

----------------rz和sz  #上传和下载文件(Windows->Linux)------------------

   PS:如果无法将文件直接拖拽进Linux服务器

  1.要么没有安装lrzsz,建议安装 

      yum install lrzsz -y

  2.上传的文件是个空文件

     rz        #只能上传文件,不支持上传文件夹,不支持上传大于4G的文件,也不支持断点续传

     sz       #/path/file  #只能下载文件(任意单个文件),不支持下载文件夹

文件管理之:命令查找(which,whereis,find)

---------------命令查找-------------

1.查找一个命令的绝对路径

当我们想执行一个命令的绝对路径时,先使用which command 查询绝对路径

  which ls #查找ls命令的绝对路径

2.whereis也是用来查询命令的绝对路径,帮助手册,等

   whereis ls  //查找命令的路径,帮助手册.等

   whereis -b ls  //仅显示命令所在的路径

3.对于内核相关的一些命令,使用whichwhereis是无法查询到,需要使用type命令查询

  type -a ls  #查看命令的绝对路径(包括别名)

   对于后面使用一个命令的聚堆路径时.

文件管理之:字符处理命令(sort,unip,cut,sed,grep,awk,wc)

------------------------sort 排序---------------------

在有些情况下,需要对应一个无序的文本进行数据的排序,这时就需要使用sort进行排序了

sort [OPTION]...[FILE]...

 -r: 倒序 -n:按数字排序 -t: 指定分隔符(默认空格) -k: 指定第几列,指定几列几字符(指定1,1 3.1,3.3)

1.首先创建一个文件,写入一个无序的内容

b:3

c:2

a:4

e:5

d:1

f:11

-----------------------------------------------------------------------------------------------------------

[root@oldboy--day01 ~]# cat >>file.txt<

> b:3

> c:2

> a:4

> e:5

> d:1

> f:11

> EOF

2.使用sort下面对输出的内容进行排序

a:4

b:3

c:2

d:1

-------------------------------------------------------------------------------------------------------------

[root@oldboy--day01 ~]# sort file.txt

a:4

b:3

c:2

d:1

e:5

f:11

结果并不是按照数字排序,而是按字母排序

处理方法:可以使用-t指定分隔符,使用-k 指定需要排序的列

[root@oldboy--day01 ~]# sort -t ":" -k2 file.txt

d:1

f:11

c:2

b:3

a:4

e:5

可以看出并不是按照数字大小进行排序的而是以第二列的第一个字符大小进行排序的

如果想要按数字大小的方式 进行排序,需要会用参数 -name就可以使用unip命令解决这个问题

[root@oldboy--day01 ~]# sort -t ":"  -k2 file.txt -n

d:1

c:2

b:3

a:4

e:5

f:11

------------------------unip去重-----------------------------

如果文件中有许多行完全相同的内容,当前是希望能删除重复的行,同时还可以统计出完全想听的行的总数,

name就可以使用unip命令解决这个问题(但必须配合sort使用).

unip   [OPTION]...[INPUT [OUTPUT]]

 选项: -c 计算重复的行

 1.创建一个file1.txt文件:

abc

123

abc

123

----------------------------

[root@oldboy--day01 ~]# cat >>file1.txt<

> abc

> 123

> abc

> 123

> EOF

2.unip需要和sort一起使用,先使用sort排序,让重复内容连接到一起

123

123

abc

abc

-----------------

[root@oldboy--day01 ~]# sort file1.txt

123

123

abc

abc

3.使用uniq去除相邻重复的行

[root@oldboy--day01 ~]# sort file.txt |uniq

123

abc

4.-c参数能统计出文件中每行内容重复的次数

[root@oldboy--day01 ~]# sort file.txt |uniq -c

2 123

2 abc

---------------------------cut截取字段----------------

cut OPTION...[FILE]...

  选项:-d 指定分隔符 -f 数字,取第几列 -f3,6第三列和6列 -c 按字符取(空格也算)

   [root@oldboy--day01 ~]# cat >>file2.txt <

   Im xlw, is QQ 552408925

   EOF

实现: 筛选出文件里 xlw以及552408925

[root@oldboy--day01 ~]# awk '{print $2,$5}' file2.txt | awk -F "," '{print $1,$2}'

xlw 552408925

[root@oldboy--day01 ~]# cut -d " " -f 2,5 file2.txt | awk -F "," '{print $1,$2}'

xlw 552408925

[root@oldboy--day01 ~]# cut -d " " -f 2,5 file2.txt | sed 's#,##g'

xlw 552408925

[root@oldboy--day01 ~]# sed 's#,##g' file2.txt | awk '{print $2,$5}'

xlw 552408925

#PS: 实际生产使用过程中,很少使用到cut,通常都是使用awk,因为awk 是取列专业户

---------------------wc统计行号--------------------

wc [OPTION]... [FILE]...

选项：-l显示文件行数

1.wc -l /etc/fstab #统计/etc/fstab文件有多少行

2.wc -l /etc/services #统计/etc/services 文件行号

练习题: 过滤出/etc/passwd以nologin结尾的内容，并统计有多少行

1.先筛选出目标的行---筛选出/etc/passwd中以nologin结尾的行

[root@oldboy--day01 ~]# grep "nologin$" /etc/passwd 

 2.然后进行统计

[root@oldboy--day01 ~]# grep "nologin$" /etc/passwd | wc - l

18

 扩展统计文件行号的方法

[root@oldboy--day01 ~]# cat -n /etc/services | tail -1

[root@oldboy--day01 ~]# grep -n ".*" /etc/services | tail -1

1.习题: 分析如下日志，统计每个域名被访问的次数。

[root@oldboy--day01 tmp]# cat >> web.log <

http://www.xuliangwei.com/index.html

http://www.xuliangwei.com/1.html

http://post.xuliangwei.com/index.html

http://mp3.xuliangwei.com/index.html

http://www.xuliangwei.com/3.html

http://post.xuliangwei.com/2.html

EOF

[root@oldboy--day01 ~]# cut -d "/" -f 3 web.log | sort | uniq -c | sort -nr

[root@oldboy--day01 ~]# awk -F "/" '{print $3}' web.log |sort |uniq -c |sort -nr

习题: 使用awk取出系统的IP地址，

思路如下:

  1.我要取的值在哪里 ifconfig ens32

   2.如何缩小取值范围(行)

   3.如何精确具体内容(列)

先拿到结果,然后提取有关键字那一行,最后使用awk取出那一列

[root@oldboy--day01 ~]# ifconfig ens32|grep "netmask" | awk '{print $2}'

10.0.0.200

[root@oldboy--day01 ~]# ifconfig ens32 | awk '/netmask/' | awk '{print $2}'

10.0.0.200

[root@oldboy--day01 ~]# ifconfig ens32 | awk '/netmask/ {print $2}'

10.0.0.200

习题:分析如下日志,请提取出访问次数最高的TOP10IP地址

[root@oldboy--day01 ~]# awk '{print $1}' fj.xuliangwei.com.log |sort |uniq -c|sort -nr | head

习题: 将/etc/passwd文件中的第一行中的第一列和最后一列位置进行 交换。

习题: 将/etc/sysconfig/selinux 文件中的SELINUX=enforcing替换成 SELINUX=disabled

取列:cut awk()(推荐)

替换:sed

取行: grep awk

---------------------wc统计行号--------------------

统计文件总共有多少行

wc [OPTION]....[FILE]...

选项: -l显示文件行数 -c显示文件字节 -w显示文件单词

1.wc -l显示文件行数 -c显示文件字节 -w显示稳基建单词

2.wc -l/etc/fstab #统计/etc/fstab文件有多少行

3.wc -l /etc/services #统计/etc/services 文件行号

扩展方法

[root@oldboy--day01 ~]# grep -n ".*" /etc/services | tail -l

[root@oldboy--day01 ~]# awk '{print NR $0}' /etc/services | tail -l

[root@oldboy--day01 ~]# cat -n /etc/services | tail -l