linux常用命令总结二

1.wc -l filename

查看文件行数

2. sort filename |uniq > filename2

去重文件中的重复数据

3. split -l 1000000 t1 a

分割t1文件，每1000000行分为一个文件，分割后的文件名以字符a开头

4. sed -i 'xxd' filename

删除文件中指定行数的行

5. **ls 073_* | xargs wc -l**

查看所有匹配到的文件的总行数

6. **sudo scp -r [email protected]:/mnt/sdc1/20170901/qqun/10/da* /mnt/sdb1/tmp/**

远程复制，远端服务器上指定目录下的文件复制到本地的指定目录下

7.vim编辑器中，查看文件的编码格式

vim filename后
使用:set fileencoding命令，然后Enter，就会出来文件的编码格式。

8. curl 加上认证

curl -u elastic:'$lgy~Um1xJJ4B5SeNM4P' -XPUT "http://192.168.0.103:9201/.../_mapping/..." {...}

9.去除重复行

sort -n bbb.txt | uniq > bbb.txt_bak

10.top

查看CPU的负载

image.png

top命令的顶部显示与uptime命令相似的输出
这些字段显示：

当前时间
系统已运行的时间
当前登录用户的数量
依次是 1分钟，5分钟，15分钟的平均负载
可以使用'l'命令切换uptime的显示。

当平均负载达到cpu数量的70%的时候，就应该考虑优化了，

这里显示不同模式下所占cpu时间百分比，这些不同的cpu时间表示：

us, user：运行(未调整优先级的) 用户进程的CPU时间
sy，system: 运行内核进程的CPU时间
ni，niced：运行已调整优先级的用户进程的CPU时间
wa，IO wait: 用于等待IO完成的CPU时间
hi：处理硬件中断的CPU时间
si: 处理软件中断的CPU时间
st：被hypervisor偷去的CPU时间（实际上hypervisor也是要消耗一部分CPU处理时间的）。

11.mpstat

mpstat 指令用来显示cpu的使用状况，将内容显示到标准输出。处理器0是第一个。还报告了所有处理器之间的全球平均活动。mpstat命令既可以在SMP机器上使用，也可以在UP机器上使用，但是在后者中，只会打印全局平均活动。如果未选择活动，则默认报告是CPU利用率报告。

CPU:处理器号码。关键字ALL表示统计数据是以所有处理器之间的平均值计算的。
%usr:显示在用户级别(应用程序)执行时出现的CPU利用率百分比。
%nice:以良好的优先级在用户级别执行时显示CPU利用率的百分比。
%sys:显示在系统级(内核)执行时CPU利用率的百分比。请注意，这不包括用于服务硬件和软件中断的时间。
%iowait:显示CPU或CPU空闲的时间百分比，在此期间，系统有未执行的磁盘I/O请求。
%irq:显示cpu或cpu用于服务硬件中断的时间百分比。
%soft:显示CPU或CPU用于服务软件中断的时间百分比。
%steal:显示虚拟机管理程序为另一个虚拟处理器服务时，虚拟CPU或CPU在非自愿等待中花费的时间百分比。
%guest:显示CPU或cpu运行虚拟处理器所花费的时间百分比。
%idle:显示CPU或CPU空闲的时间百分比，并且系统没有未执行的磁盘I/O请求。

mpstat.png

12.free

>>> free -h
              total        used        free      shared  buff/cache   available
Mem:            31G         17G        670M        1.3G         13G         12G
Swap:           59G        332M         59G

下面先解释一下输出的内容：

Mem 行(第二行)是内存的使用情况。
Swap 行(第三行)是交换空间的使用情况。
total 列显示系统总的可用物理内存和交换空间大小。
used 列显示已经被使用的物理内存和交换空间。
free 列显示还有多少物理内存和交换空间可用使用。
shared 列显示被共享使用的物理内存大小。
buff/cache 列显示被 buffer 和 cache 使用的物理内存大小。
available 列显示还可以被应用程序使用的物理内存大小。

在 free 命令的输出中，有一个 free 列，同时还有一个 available 列。这二者到底有何区别？
free 是真正尚未被使用的物理内存数量。至于 available 就比较有意思了，它是从应用程序的角度看到的可用内存数量。Linux 内核为了提升磁盘操作的性能，会消耗一部分内存去缓存磁盘数据，就是我们介绍的 buffer 和 cache。所以对于内核来说，buffer 和 cache 都属于已经被使用的内存。当应用程序需要内存时，如果没有足够的 free 内存可以用，内核就会从 buffer 和 cache 中回收内存来满足应用程序的请求。所以从应用程序的角度来说，available = free + buffer + cache。请注意，这只是一个很理想的计算方式，实际中的数据往往有较大的误差。

14.vmstat

可以展现给定时间间隔的服务器的状态值,包括服务器的CPU使用率，内存使用，虚拟内存交换情况,IO读写情况。
一般使用有两个参数，第一个参数是采集的时间间隔，第二个参数是采集的次数

>>> vmstat 2 10
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
94  1 340828 453000 2444196 11768380    0    0     1    41    0    0  5  1 92  2  0
92  5 340828 451144 2444204 11768756    0    0    40  3522 31544 44154  3 96  1  0  0
73  1 340828 451560 2444204 11769040    0    0    24  2682 33061 44030  3 96  1  0  0
107  1 340828 451720 2444208 11769264    0    0     6  3146 40067 75942  7 83  9  1  0
57  1 340828 451012 2444208 11769480    0    0     8  4044 40449 97877  8 63 27  1  0
97  1 340828 446024 2444216 11769960    0    0    20  5240 41361 108673 10 46 42  2  0
31  1 340828 448976 2444220 11770224    0    0    16  7200 52626 165446 14 27 57  2  0
86  1 340828 447144 2444224 11770552    2    0    60  3750 44795 133829 13 42 43  2  0
 5  1 340828 447504 2444224 11771072    0    0    50  5768 41878 132021 12 29 55  4  0
18  0 340828 447264 2444224 11771596    0    0    62  7104 39743 112213 10 26 60  4  0

分组	列	描述
procs	r	等待执行的任务数,展示了正在执行和等待cpu资源的任务个数。当这个值超过了cpu个数，就会出现cpu瓶颈。
procs	b	等待IO的进程数量
memory	swpd	正在使用虚拟的内存大小，单位k
memory	free	空闲内存大小
memory	buff	已用的buff大小，对块设备的读写进行缓冲
memory	cache	已用的cache大小，文件系统的cache
swap	si	每秒从交换区写入内存的大小（单位：kb/s）
swap	so	每秒从内存写到交换区的大小
io	bi	每秒读取的块数（读磁盘）块设备每秒接收的块数量，单位是block，这里的块设备是指系统上所有的磁盘和其他块设备，现在的Linux版本块的大小为1024bytes
io	bo	每秒写入的块数（写磁盘）块设备每秒发送的块数量，单位是block
system	in	每秒中断数，包括时钟中断
system	cs	每秒上下文切换数,这两个值越大，会看到由内核消耗的cpu时间sy会越多,秒上下文切换次数，例如我们调用系统函数，就要进行上下文切换，线程的切换，也要进程上下文切换，这个值要越小越好，太大了，要考虑调低线程或者进程的数目
cpu	us	用户进程执行消耗cpu时间(user time)us的值比较高时，说明用户进程消耗的cpu时间多，但是如果长期超过50%的使用，那么我们就该考虑优化程序算法或其他措施了
cpu	sy	系统进程消耗cpu时间(system time)sys的值过高时，说明系统内核消耗的cpu资源多，这个不是良性的表现，我们应该检查原因。这里us + sy的参考值为80%，如果us+sy 大于 80%说明可能存在CPU不足
cpu	id	空闲时间(包括IO等待时间)一般来说 us+sy+id=100
cpu	wa	等待IO时间,wa过高时，说明io等待比较严重，这可能是由于磁盘大量随机访问造成的，也有可能是磁盘的带宽出现瓶颈。
cpu	st	被hypervisor偷去的CPU时间

15.lsblk

lsblk命令默认情况下将以树状列出所有块设备，默认选项不会列出所有空设备。要查看这些空设备，请使用以下命令：
lsblk -a
字段介绍：

NAME : 这是块设备名。
MAJ:MIN : 本栏显示主要和次要设备号。
RM : 本栏显示设备是否可移动设备。RM值等于1，这说明他们是可移动设备。
SIZE : 本栏列出设备的容量大小信息。例如298.1G表明该设备大小为298.1GB，而1K表明该设备大小为1KB。
RO : 该项表明设备是否为只读。 RO值为0，表明他们不是只读的。
TYPE :本栏显示块设备是否是磁盘或磁盘上的一个分区。在本例中，sda和sdb是磁盘，而sr0是只读存储（rom）
MOUNTPOINT : 本栏指出设备挂载的挂载点。

>>> lsblk
NAME   MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
sda      8:0    0   1.8T  0 disk
├─sda1   8:1    0  93.1G  0 part /var
├─sda2   8:2    0     1K  0 part
├─sda5   8:5    0   1.4T  0 part /home
├─sda6   8:6    0  59.6G  0 part [SWAP]
└─sda7   8:7    0 313.3G  0 part /opt
sdb      8:16   0 232.9G  0 disk
└─sdb1   8:17   0 232.9G  0 part /
sr0     11:0    1  1024M  0 rom

16 screen

如果想杀死一个废弃的session会话，使用下面的命令
screen -X -S [session] quit
举例：

两个操作失误建立的废弃session.png

执行命令后.png