山河已无恙

Linux 60秒快速性能分析操作手册

写在前面

博文内容为 《BPF Performance Tools》 读书笔记整理，对原书提到的命令做了简单扩充
博文内容涉及 Linux 60秒快速性能分析命令的简单说明以及指标解释：
1. uptime
2. dmesg | tail && cat /var/log/messages
3. vmstat 1
4. mpstat -P ALL 1
5. pidstat 1
6. iostat -xz 1
7. free -m
8. sar -n DEV 1
9. sar -n tcp，ETCP 1
10. sar -n SOCK 1 3
11. top
理解不足小伙伴帮忙指正

平平淡淡的接受这本就属于我的人生，每天不会想太多杞人忧天的事情，累了倒头就睡，醒了就接着继续自己没有走完的路，不再去过多的关注自己的结果，用心感受当下的每一天，感受自己走过的和正在走的路，不颓废，不折磨自己，真好！ —知乎(三冬三夏)

Linux 60秒分析

下面这个清单适用于任何性能问题的分析工作，也反映了笔者在实际工作中，当登录到一台表现不佳的 Linux 系统中后，在最初60秒内通常会进行的操作。

uptime
dmesg | tail && cat /var/log/messages
vmstat 1
mpstat -P ALL 1
pidstat 1
iostat -xz 1
free -m
sar -n DEV 1
sar -n tcp，ETCP 1
sar -n SOCK 1 3
top

uptime

uptime 命令用于显示系统已运行的时间，并提供系统负载平均值的信息。以下是 uptime 命令提供的信息解释：

┌──[[email protected]]-[~]
└─$man uptime
UPTIME(1)                                           User Commands                                           UPTIME(1)

NAME
       uptime - Tell how long the system has been running.

SYNOPSIS
       uptime [options]

DESCRIPTION
       uptime  gives a one line display of the following information.  The current time, how long the system has been
       running, how many users are currently logged on, and the system load averages for the past 1, 5, and  15  min‐
       utes.

       This is the same information contained in the header line displayed by w(1).

       System  load  averages  is  the  average  number of processes that are either in a runnable or uninterruptable
       state.  A process in a runnable state is either using the CPU or waiting to use the CPU.  A process  in  unin‐
       terruptable  state is waiting for some I/O access, eg waiting for disk.  The averages are taken over the three
       time intervals.  Load averages are not normalized for the number of CPUs in a system, so a load average  of  1
       means a single CPU system is loaded all the time while on a 4 CPU system it means it was idle 75% of the time.
       ......................................

uptime 可以快速查看当前系统时间以及运行时间，总的登录用户，以及平均负载：

当前时间：显示执行uptime命令时的系统当前时间。
系统运行时间：显示系统自上次引导或重新启动以来的运行时间。以"X天X小时X分钟"的格式显示。
用户数量：表示当前登录到系统的用户数量。
系统负载平均值：显示过去1分钟、5分钟和15分钟的系统负载平均值。负载平均值代表处于运行状态或等待运行状态的平均进程数量。它指示系统的活动水平和资源利用程度。负载平均值并不针对系统中的CPU核数进行归一化

┌──[[email protected]]-[~]
└─$uptime
 11:14:26 up 16 min,  1 user,  load average: 21.37, 18.64, 16.25

这里主要关注 平均负载：

在Linux 系统中，这些数字包含了想要在 CPU 上运行的进程，同时也包含了阻塞在不可中断IO(通常是磁盘 I/O)上的进程。这给出了一个高层次视角的资源负载(或者说资源需求)。

3个数字分别是指数衰减的1分钟/5分钟/15分钟滑动窗累积值。通过这3个值可以大致了解负载随时间变化的情况。

快速查看CPU核数可以通过top命令然后按1键查看

top - 11:21:36 up 23 min,  1 user,  load average: 22.36, 19.03, 17.14
Tasks: 443 total,   5 running, 438 sleeping,   0 stopped,   0 zombie
%Cpu0  :  6.4 us,  5.4 sy,  0.0 ni, 77.9 id,  0.0 wa,  4.4 hi,  5.9 si,  0.0 st
%Cpu1  :  9.2 us, 12.2 sy,  0.0 ni, 71.9 id,  3.6 wa,  2.0 hi,  1.0 si,  0.0 st
%Cpu2  :  4.8 us,  3.6 sy,  0.0 ni, 68.8 id,  4.8 wa, 18.0 hi,  0.0 si,  0.0 st
%Cpu3  :  4.5 us,  5.5 sy,  0.0 ni, 72.7 id,  2.7 wa,  0.5 hi, 14.1 si,  0.0 st
MiB Mem :  15730.5 total,   7489.9 free,   6823.5 used,   1417.2 buff/cache
MiB Swap:   2068.0 total,   2068.0 free,      0.0 used.   8496.2 avail Mem

上面的例子显示负载最近有大幅的提升。一般情况下(还受到其他因素的影响，I/O 操作等)，负载数与系统 CPU 核数的关系可以用以下规则来理解：

在top命令然后按1键的基础上可以按 t 键对数据进行可视化展示

top - 11:22:26 up 24 min,  1 user,  load average: 15.02, 17.58, 16.74
Tasks: 449 total,  19 running, 430 sleeping,   0 stopped,   0 zombie
%Cpu0  :  24.5/37.1   62[|||||||||||||||||||||||||||||||||||||||||||||||||||||||||                                    ]
%Cpu1  :  15.5/28.0   43[||||||||||||||||||||||||||||||||||||||||                                                     ]
%Cpu2  :  37.9/61.1   99[|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| ]
%Cpu3  :  15.8/49.7   66[|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||                                ]

如果负载数小于 CPU 核数的70-80%：这通常表示系统的负载较轻，有足够的处理能力来处理所有的任务。系统响应时间较短，性能较好。
如果负载数接近或超过 CPU 核数的100%：这表示系统的负载很高，正在接近或达到其处理能力的极限。系统可能会出现延迟或变慢的情况，响应时间变长。
如果负载数远远超过 CPU 核数的100%：这表示系统的负载非常高，超过了系统的处理能力。系统可能会出现严重的延迟，甚至崩溃或无法响应。

负载的平均值值得在排障过程中被首先进行检查，以确认性能问题是否还存在。在一个容错的环境中，一台存在性能问题的服务器，在你登录到机器上时，也许已经自动从服务列表中下线了。

一个较高的 15分钟负载与一个较低的1分钟负载同时出现，可能意味着已经错过了问题发生的现场。

┌──[[email protected]]-[~]
└─$uptime
 11:33:45 up 35 min,  1 user,  load average: 1.39, 6.06, 11.64
┌──[[email protected]]-[~]
└─$

`dmesg | tail` 或者 `cat /var/log/messages`

或者 journalctl -k | tail 也可以结合 cat /var/log/messages 来排查

┌──[[email protected]]-[~]
└─$dmesg | tail
[   12.216869] vmwgfx 0000:00:0f.0: [drm] Available shader model: SM_5.
[   12.225954] [drm] Initialized vmwgfx 2.20.0 20211206 for 0000:00:0f.0 on minor 0
[   12.233005] Bluetooth: hci0: unexpected cc 0x0c12 length: 2 < 3
[   12.233011] Bluetooth: hci0: Opcode 0x c12 failed: -38
[   12.238757] fbcon: vmwgfxdrmfb (fb0) is primary device
[   12.248762] Console: switching to colour frame buffer device 160x50
[   12.269448] vmwgfx 0000:00:0f.0: [drm] fb0: vmwgfxdrmfb frame buffer device
[   14.350586] block dm-0: the capability attribute has been deprecated.
[   14.446480] block nvme0n1: No UUID available providing old NGUID
[   14.498286] block nvme0n1: No UUID available providing old NGUID

这个命令显示过去 10 条系统日志，如果有的话。注意在这里寻找可能导致性能问题的错误。添加 T和t 可以展示对应的时间

┌──[[email protected]]-[~]
└─$dmesg -T| tail
[日 1月 14 10:58:57 2024] vmxnet3 0000:1b:00.0 ens256: NIC Link is Up 10000 Mbps
[日 1月 14 10:59:38 2024] device ovs-system entered promiscuous mode
[日 1月 14 10:59:39 2024] Timeout policy base is empty
[日 1月 14 10:59:39 2024] Failed to associated timeout policy `ovs_test_tp'
[日 1月 14 10:59:40 2024] device br-tun entered promiscuous mode
[日 1月 14 10:59:40 2024] device br-int entered promiscuous mode
[日 1月 14 10:59:40 2024] device ens224 entered promiscuous mode
[日 1月 14 10:59:40 2024] device br-ex entered promiscuous mode
[日 1月 14 11:03:14 2024] capability: warning: `privsep-helper' uses deprecated v2 capabilities in a way that may be insecure
[日 1月 14 11:04:34 2024] hrtimer: interrupt took 11973872 ns
┌──[[email protected]]-[~]
└─$

在日常维护中，往往结合 grep 快速定位问题

┌──[[email protected]]-[~]
└─$ dmesg -T | grep -i error
[五 11月 10 10:32:57 2023] BERT: Boot Error Record Table support is disabled. Enable it by using bert_enable as kernel parameter.
┌──[[email protected]]-[~]
└─$ dmesg -T | grep -i warn
[五 11月 10 10:32:54 2023] Warning: Intel Processor - this hardware has not undergone upstream testing. Please consult http://wiki.centos.org/FAQ for more information
┌──[[email protected]]-[~]
└─$

比如 内存不足引发OOM和TCP 的丢弃`请求的记录。

┌──[[email protected]]-[~]
└─$cat /var/log/messages | grep -i memory
Aug 10 20:37:27 vms83 kernel: [<ffffffff81186bd6>] out_of_memory+0x4b6/0x4f0
Aug 10 20:37:27 vms83 kernel: Out of memory: Kill process 25143 (bigmem) score 1347 or sacrifice child

TCP 的相关日志甚至指引了我们下一步的分析方向:查看SNMP 计数器值。

vmstat 1

┌──[[email protected]]-[~]
└─$man vmstat
VMSTAT(8)                                       System Administration                                       VMSTAT(8)

NAME
       vmstat - Report virtual memory statistics

SYNOPSIS
       vmstat [options] [delay [count]]

DESCRIPTION
       vmstat reports information about processes, memory, paging, block IO, traps, disks and cpu activity.

       The first report produced gives averages since the last reboot.  Additional reports give information on a sam‐
       pling period of length delay.  The process and memory reports are instantaneous in either case.
       ..........................

┌──[[email protected]]-[~]
└─$vmstat 1
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
69  0      0 7700836   4204 1441648    0    0   369   101  569 1819 11 35 45  8  0
26  1      0 7711264   4204 1441668    0    0     0    12 1209 1380  9 24 64  3  0
 8  0      0 7710592   4204 1441664    0    0     0    27  779 1215  4 11 78  7  0
13  0      0 7699752   4204 1441668    0    0     0     0  766 1313  3 25 72  0  0
31  0      0 7696384   4204 1442288    0    0     0  1412 1157 2928 12 32 49  8  0
60  0      0 7675296   4204 1444292    0    0     0    26 1068 13824  9 26 51 14  0
34  0      0 7670552   4204 1444280    0    0     0    17  798 1514 14 52 34  1  0
60  1      0 7686712   4204 1444508    0    0     0     8  807 2127  6 24 67  3  0
59  2      0 7676624   4204 1445232    0    0     0     8  620 6830  7 66 22  5  0
68  0      0 7677948   4204 1442440    0    0     0    56 1329 3739 13 22 59  7  0
100  0      0 7677920   4204 1442340    0    0     0    21 1030 3778 16 50 29  5  0
19  0      0 7669208   4204 1443220    0    0     0    43  958 3054 19 65 10  6  0
 5  2      0 7776028   4204 1445364    0    0     0    40 1124 20039 18 33 44  4  0
84  1      0 7764600   4204 1447240    0    0     0    36  867 23470 14 53 27  5  0
22  0      0 7711224   4204 1447328    0    0     0   112 1353 11900 13 34 50  4  0
36  0      0 7734856   4204 1447572    0    0     0   321 1382 11113 10 22 47 21  0
28  1      0 7738716   4204 1446508    0    0     0   157  889 5779  3 15 64 18  0
30  0      0 7719320   4204 1446696    0    0     0   151 1409 8526  5 27 57 10  0
 7  1      0 7713972   4204 1447192    0    0     0    25 1372 23431 13 19 63  5  0
18  0      0 7715444   4204 1447356    0    0     0    56  935 7750  6 19 67  7  0
54  0      0 7766760   4204 1440632    0    0     0    64 1237 4686 11 26 56  7  0
52  0      0 7712752   4204 1441816    0    0     0     4 1265 6567 25 33 42  0  0
^C
┌──[[email protected]]-[~]
└─$

需要检查的列包括如下几个:

r:CPU上正在执行的和等待执行的进程数量。相比平均负载来说，这是一个更好的排查CPU饱和度的指标，因为它不包含IO。可以这样解释:一个比CPU数量多的 r 值代表 CPU 资源处于饱和状态。
free:空闲内存,单位是KB。如果数字位数一眼数不过来,那么内存应该是够用的。使用free -m 命令，可以更好地解释空闲内存。
si 和so:页换入和页换出。如果这些值不是零，那么意味着系统内存紧张。这个值只有在配置开启了交换分区后才会起作用。
us、sy、id、wa和st:这些都是 CPU运行时间的进一步细分，是对所有的CPU 取平均之后的结果。它们分别代表用户态时间、系统态时间(内核)、空闲率、等待I/O，以及被窃取时间(stolen time，指的是虚拟化环境下，被其他客户机所挤占的时间;或者是Xen 环境下客户机自身隔离的驱动域运行时间)。

上面的例子显示了CPU时间主要花在系统态上。这指引我们下一步将主要针对系统态代码进行剖析。

┌──[[email protected]]-[~]
└─$vmstat
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 2  0      0 1057540   2072 1761012    0    0    68    27 1501  595  8  4 87  1  0
┌──[[email protected]]-[~]
└─$

查看CPU平均值，当前系统中，可运行进程为2®，被阻塞的进程为0(b)，系统发生中断次数1501(in),系统发生上下文切换次数为595(cs)，系统代码消耗CPU为4%(sy)，用户代码消耗CPU为8%(us)，系统空闲占比87%(id),剩余1%属于等待IO消耗的CPU空闲状态(wa)

┌──[[email protected]]-[~]
└─$vmstat -s
    ..........
       206387 non-nice user cpu ticks
            3 nice user cpu ticks
       100381 system cpu ticks
      2184710 idle cpu ticks
        12604 IO-wait cpu ticks
            0 IRQ cpu ticks
         4699 softirq cpu ticks
            0 stolen cpu ticks
    ............
     37633050 interrupts
     64361523 CPU context switches
    ...........
       210962 forks

这里的ticks为一个时间单位，相关数据为自系统启动时间以来的数据。forks表示系统创建以来的进程数，CPU context switches表示上下文文切换次数，interrupts即中断次数，剩下的参数对应上面的列理解即可，stolen cpu 这个不太理解

mpstat -P ALL l

需要装包

┌──[[email protected]]-[~]
└─$yum install -y sysstat

这个命令将每个CPU分解到各个状态下的时间打印出来。

┌──[[email protected]]-[~]
└─$mpstat -P ALL 1
Linux 4.18.0-477.27.1.el8_8.x86_64 (vms100.liruilongs.github.io)        2024年01月14日  _x86_64_        (4 CPU)
11时43分36秒  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest  %gnice   %idle
11时43分37秒  all   12.89    0.00   14.84   50.00    6.25    4.30    0.00    0.00    0.00   11.72
11时43分37秒    0   21.57    0.00   15.69   50.98    5.88    1.96    0.00    0.00    0.00    3.92
11时43分37秒    1   12.68    0.00    9.86   76.06    1.41    0.00    0.00    0.00    0.00    0.00
11时43分37秒    2   12.70    0.00   25.40    3.17   17.46    0.00    0.00    0.00    0.00   41.27
11时43分37秒    3    7.04    0.00    9.86   64.79    1.41   14.08    0.00    0.00    0.00    2.82

11时43分37秒  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest  %gnice   %idle
11时43分38秒  all    8.65    0.00   13.16   31.58    1.50   12.78    0.00    0.00    0.00   32.33
11时43分38秒    0   17.65    0.00   25.49    5.88    1.96   25.49    0.00    0.00    0.00   23.53
11时43分38秒    1    8.00    0.00   10.67   24.00    2.67   10.67    0.00    0.00    0.00   44.00
11时43分38秒    2    4.17    0.00    9.72   77.78    0.00    2.78    0.00    0.00    0.00    5.56
11时43分38秒    3    7.35    0.00   10.29   10.29    1.47   16.18    0.00    0.00    0.00   54.41

11时43分38秒  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest  %gnice   %idle
11时43分39秒  all    8.06    0.00   10.89   52.42   11.29    0.00    0.00    0.00    0.00   17.34
11时43分39秒    0   12.31    0.00   12.31   69.23    6.15    0.00    0.00    0.00    0.00    0.00
11时43分39秒    1    4.41    0.00    4.41   67.65    8.82    0.00    0.00    0.00    0.00   14.71
11时43分39秒    2    8.33    0.00   13.33   65.00    8.33    0.00    0.00    0.00    0.00    5.00
11时43分39秒    3    7.27    0.00   14.55    0.00   23.64    0.00    0.00    0.00    0.00   54.55

11时43分39秒  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest  %gnice   %idle
11时43分40秒  all   24.69    0.00    7.11   18.83    2.93   25.94    0.00    0.00    0.00   20.50
11时43分40秒    0   46.67    0.00   17.78   31.11    2.22    2.22    0.00    0.00    0.00    0.00
11时43分40秒    1   11.11    0.00    6.94   37.50    0.00    0.00    0.00    0.00    0.00   44.44
11时43分40秒    2   41.46    0.00    7.32    9.76    0.00    0.00    0.00    0.00    0.00   41.46
11时43分40秒    3   16.05    0.00    1.23    0.00    7.41   75.31    0.00    0.00    0.00    0.00

11时43分40秒  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest  %gnice   %idle
11时43分41秒  all   24.04    0.00   16.35   12.98   12.50    6.25    0.00    0.00    0.00   27.88
11时43分41秒    0   28.12    0.00   21.88    0.00   31.25    0.00    0.00    0.00    0.00   18.75
11时43分41秒    1   21.67    0.00   20.00    0.00   20.00   11.67    0.00    0.00    0.00   26.67
11时43分41秒    2    7.58    0.00   16.67   16.67    6.06    1.52    0.00    0.00    0.00   51.52
11时43分41秒    3   46.00    0.00    8.00   32.00    0.00   10.00    0.00    0.00    0.00    4.00

对于比较高的 %iowait(等待I/O操作完成占用CPU的百分比，表示CPU时间用于等待I/O操作完成的百分比。) 时间也要注意，可以使用磁盘 I/O工具进一步分析

如果出现较高的 %sys 值(系统态占用)，可以使用系统调用(syscall)跟踪和内核跟踪，以及CPU剖析等手段进一步分析。

%idle指CPU的空闲率,通过检查单个热点(繁忙)CPU，挑出一个可能的线程扩展性问题

上面的输出暴露了一个问题:CPU0 的用户态的占比高达 100%，这是单个线程遇到瓶颈的特征。

pidstat 1

pidstat(1)命令按每个进程展示 CPU的使用情况(包括用户态和系统态时间的分解)。top(l)命令虽然也很流行，但是pidstat(1)默认支持滚动打印输出，这样可以采集到不同时间段的数据变化。

┌──[[email protected]]-[~]
└─$pidstat 3
Linux 4.18.0-477.27.1.el8_8.x86_64 (vms100.liruilongs.github.io)        2024年01月14日  _x86_64_        (4 CPU)

11时31分10秒   UID       PID    %usr %system  %guest   %wait    %CPU   CPU  Command
11时31分13秒     0        14    0.00    1.99    0.00    1.66    1.99     0  rcu_sched
11时31分13秒     0        33    0.00    0.66    0.00    0.00    0.66     3  ksoftirqd/3
11时31分13秒     0       718    0.00    0.33    0.00    2.65    0.33     3  kworker/3:3-events
11时31分13秒     0       970    1.99    0.66    0.00    0.33    2.65     0  tuned
11时31分13秒 42435      2133    0.66    0.00    0.00    0.66    0.66     2  neutron-dhcp-ag
11时31分13秒 42407      2134    0.33    0.00    0.00    0.00    0.33     2  cinder-schedule
11时31分13秒 42435      2137    0.66    0.33    0.00    0.33    0.99     0  neutron-openvsw
11时31分13秒 42435      2182    0.33    0.00    0.00    0.33    0.33     3  neutron-metadat
11时31分13秒 42418      2437    0.99    0.33    0.00    0.99    1.32     0  heat-engine
11时31分13秒 42415      2842    0.66    0.99    0.00    0.66    1.66     0  glance-api
11时31分13秒 42436      2936    0.99    0.00    0.00    0.66    0.99     3  nova-conductor
................................................
....................................
平均时间: 42436      9819    0.33    0.00    0.00    1.50    0.33     -  nova-conductor
平均时间: 42418      9951    0.17    0.50    0.00    0.00    0.66     -  heat-engine
平均时间: 42418      9952    0.17    0.00    0.00    0.17    0.17     -  heat-engine
平均时间:     0     24178    0.00    0.17    0.00    0.00    0.17     -  sshd
平均时间: 42435     42662    0.33    0.17    0.00    0.33    0.50     -  neutron-l3-agen
平均时间:     0     79775    0.17    0.66    0.00    0.00    0.83     -  pidstat
┌──[[email protected]]-[~]
└─$

这个输出显示了一个Java 进程每秒使用的CPU 资源在变化:这个百分比是对全部CPU相加的和因此500%相当于5个100%运行的CPU。

iostat -xz

┌──[[email protected]]-[~]
└─$iostat -xz
Linux 4.18.0-477.27.1.el8_8.x86_64 (vms100.liruilongs.github.io)        2024年01月14日  _x86_64_        (4 CPU)

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
          10.78    0.00   36.46   20.39    0.00   32.37

Device            r/s     w/s     rkB/s     wkB/s   rrqm/s   wrqm/s  %rrqm  %wrqm r_await w_await aqu-sz rareq-sz wareq-sz  svctm  %util
nvme0n1        101.86   23.92   4143.65    729.07     0.07     0.98   0.07   3.92   33.62   38.59   4.35    40.68    30.48   5.10  64.21
nvme0n2          0.55    0.00     15.62      0.00     0.00     0.00   0.00   0.00   28.66    0.00   0.02    28.50     0.00  19.27   1.06
scd0             0.05    0.00      0.01      0.00     0.00     0.00   0.00   0.00    0.00    0.00   0.00     0.17     0.00   0.56   0.00
dm-0            87.79   24.64   3865.46    718.38     0.00     0.00   0.00   0.00   37.96   42.92   4.39    44.03    29.16   5.59  62.87
dm-1             0.51    0.00     11.59      0.00     0.00     0.00   0.00   0.00    4.50    0.00   0.00    22.65     0.00   4.58   0.23

这个工具显示了存储设备的IO 指标。要检查的列包括如下几个。

r/s、w/s、rkB/s和 wkB/s:这些是每秒向设备发送的读、写次数，以及读、写字节数。可以用这些指标对业务负载画像。某些性能问题仅仅是因为超过了能够承受的最大负载导致的。
await:I/O 的平均响应时间，以毫秒为单位。这是应用需要承受的时间，它同时包含了I/O 队列时间和服务时间。超过预期的平均响应时间，可看作设备已饱和或者设备层面有问题的表征。
aqu-sz\avgqu-sz:设备请求队列的平均长度。比1大的值有可能是发生饱和的表征(不过对有些设备，尤其是对基于多块磁盘的虚拟设备来说，通常以并行方式处理请求)。
%util:设备使用率。这是设备繁忙程度的百分比，显示了每秒设备开展实际工作的时间占比。不过它展示的并不是容量规划意义下的使用率，因为设备可以并行处理请求。大于60%的值通常会导致性能变差(可以通过await(完成对一个请求的服务所需的平均时间(按毫秒计),该平均时间为请求在磁盘队列中等待的时间加上磁盘对其服务所需的时间) 字段确认),不过这也取决于具体设备。接近 100% 的值通常代表了设备达到饱和状态。

iostat的扩展磁盘统计信息:

统计数据	说明
rrqm/s	在提交给磁盘前，被合并的读请求的数量
wrqm/s	在提交给磁盘前，被合并的写请求的数量
r/s	每秒提交给磁盘的读请求数量
w/s	每秒提交给磁盘的写请求数量
rsec/s	每秒读取的磁盘扇区数
wsec/s	每秒写入的磁盘扇区数
rkB/s	每秒从磁盘读取了多少KB的数据
wkB/s	每秒向磁盘写入了多少KB的数据
avgrq-sz	磁盘请求的平均大小(按扇区计)
avgqu-sz	磁盘请求队列的平均大小。
await	完成对一个请求的服务所需的平均时间(按毫秒计),该平均时间为请求在磁盘队列中等待的时间加上磁盘对其服务所需的时间
svctm	提交到磁盘的请求的平均服务时间(按毫秒计)。该项表明磁盘完成一个请求所花费的平均时间。与await不同，该项不包含在队列中等待的时间
%util	利用率

当avgqu-sz的值特别大的时候，且请求等待时间await远远高于请求服务svctm所花费时间，且利用率%util为100%的时候，表明该磁盘处于饱和状态。

这有时会引起困惑，比如当iostat(1)报告说某个设备已经达到100%的使用率后，还能够接受更高的负载。它只是报告某个设备在一段时间内100%繁忙，并没有说设备的使用率达到100%了:此时也许仍然可以接受更高的负载。在一个卷后面有多个磁盘设备支撑的情况下由于可以并行处理请求，iostat(1)中的%util这个指标就更加具有迷惑性。

free -m

┌──[[email protected]]-[~]
└─$free -m
              total        used        free      shared  buff/cache   available
Mem:          15730        7564        6440          52        1725        7754
Swap:          2067           0        2067

这个输出显示了用兆字节(MB)作为单位的可用内存。检查可用内存 (available)是否接近0;这个值显示了在系统中还有多少实际剩余内存可用，包括缓冲区和页缓存区。将一些内存用于缓存可以提升文件系统的性能。可以根据不同的参数更换单位

┌──[[email protected]]-[~]
└─$free -g
              total        used        free      shared  buff/cache   available
Mem:             15           7           6           0           1           7
Swap:             2           0           2
┌──[[email protected]]-[~]
└─$

sar -n DEV 1

显示每个设备发送和接收的数据包数和字节数信息

┌──[[email protected]]-[~]
└─$sar -n DEV 1
Linux 4.18.0-477.27.1.el8_8.x86_64 (vms100.liruilongs.github.io)        2024年01月14日  _x86_64_        (4 CPU)

11时40分16秒     IFACE   rxpck/s   txpck/s    rxkB/s    txkB/s   rxcmp/s   txcmp/s  rxmcst/s   %ifutil
11时40分17秒        lo     17.54     17.54      0.98      0.98      0.00      0.00      0.00      0.00
11时40分17秒    ens160     50.88     58.77      3.79      4.07      0.00      0.00      0.88      0.00
11时40分17秒    ens224    224.56      0.00     18.85      0.00      0.00      0.00      1.75      0.00
11时40分17秒    ens256      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
11时40分17秒 ovs-system      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
11时40分17秒    br-tun      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
11时40分17秒 tap9f7d35c5-15      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
11时40分17秒    br-int      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
11时40分17秒     br-ex      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
^C

平均时间:     IFACE   rxpck/s   txpck/s    rxkB/s    txkB/s   rxcmp/s   txcmp/s  rxmcst/s   %ifutil
平均时间:        lo     22.94     22.94      1.29      1.29      0.00      0.00      0.00      0.00
平均时间:    ens160     50.22     51.08      3.70      4.32      0.00      0.00      0.87      0.00
平均时间:    ens224    224.24      0.00     18.70      0.00      0.00      0.00      1.30      0.00
平均时间:    ens256      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
平均时间: ovs-system      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
平均时间:    br-tun      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
平均时间: tap9f7d35c5-15      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
平均时间:    br-int      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
平均时间:     br-ex      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
┌──[[email protected]]-[~]
└─$

列	说明
rxpck/s	数据包接收速率
txpck/s	数据包发送速率
rxkB/s	kb接收速率
txkB/s	kb发送速率
rxcmp/s	压缩包接收速率
txcmp/s	压缩包发送速率
rxmcst/s	多播包接收速率

显示每个设备的发送和接收错误信息

┌──[[email protected]]-[~/ansible]
└─$sar -n EDEV 1 1
Linux 3.10.0-693.el7.x86_64 (vms81.liruilongs.github.io)        2022年05月14日  _x86_64_        (2 CPU)

22时53分07秒     IFACE   rxerr/s   txerr/s    coll/s  rxdrop/s  txdrop/s  txcarr/s  rxfram/s  rxfifo/s  txfifo/s
22时53分08秒     ens32      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
22时53分08秒 cali86e7ca9e9c2      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
22时53分08秒 cali13a4549bf1e      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
22时53分08秒 cali5a282a7bbb0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
22时53分08秒 cali12cf25006b5      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
22时53分08秒 cali45e02b0b21e      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
22时53分08秒        lo      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
22时53分08秒 calicb34164ec79      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
22时53分08秒     tunl0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
22时53分08秒   docker0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00

平均时间:     IFACE   rxerr/s   txerr/s    coll/s  rxdrop/s  txdrop/s  txcarr/s  rxfram/s  rxfifo/s  txfifo/s
平均时间:     ens32      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
平均时间: cali86e7ca9e9c2      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
平均时间: cali13a4549bf1e      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
平均时间: cali5a282a7bbb0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
平均时间: cali12cf25006b5      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
平均时间: cali45e02b0b21e      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
平均时间:        lo      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
平均时间: calicb34164ec79      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
平均时间:     tunl0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
平均时间:   docker0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
┌──[[email protected]]-[~/ansible]
└─$

列	说明
rxerr/s	接收错误率
txerr/s	发送错误率
co11/s	发送时的以太网冲突率
rxdrop/s	由于Linux内核缓冲区不足而导致的接收帧丢弃率
txdrop/s	由于Linux内核缓冲区不足而导致的发送帧丢弃率
txcarr/s	由于载波错误而导致的发送帧丢弃率
rxfram/s	由于帧对齐错误而导致的接收帧丢弃率
rxfifo/s	由于FIFO错误而导致的接收帧丢弃率
txfifo/s	由于FIFO错误而导致的发送帧丢弃率

显示使用套接字(TCP、UDP和RAW)的总数信息

┌──[[email protected]]-[~/ansible]
└─$sar -n SOCK 1 3
Linux 3.10.0-693.el7.x86_64 (vms81.liruilongs.github.io)        2022年05月14日  _x86_64_        (2 CPU)

22时56分23秒    totsck    tcpsck    udpsck    rawsck   ip-frag    tcp-tw
22时56分24秒      3487       245         9         0         0       163
22时56分25秒      3487       245         9         0         0       165
22时56分26秒      3487       245         9         0         0       167
平均时间:      3487       245         9         0         0       165
┌──[[email protected]]-[~/ansible]
└─$

列	说明
totsck	当前正在被使用的套接字总数
tcpsck	当前正在被使用的TCP套接字总数
udpsck	当前正在被使用的UDP套接字总数
rawsck	当前正在被使用的RAW套接字总数
ip-frag	IP分片的总数

sar -n TCP,ETCP 1

┌──[[email protected]]-[~]
└─$sar -n TCP,ETCP 1
Linux 4.18.0-477.27.1.el8_8.x86_64 (vms100.liruilongs.github.io)        2024年01月14日  _x86_64_        (4 CPU)

11时39分24秒  active/s passive/s    iseg/s    oseg/s
11时39分25秒      0.00      0.00     16.50     16.50

11时39分24秒  atmptf/s  estres/s retrans/s isegerr/s   orsts/s
11时39分25秒      0.00      0.00      0.00      0.00     15.53

11时39分25秒  active/s passive/s    iseg/s    oseg/s
11时39分26秒      0.00      0.00      5.00      5.00

11时39分25秒  atmptf/s  estres/s retrans/s isegerr/s   orsts/s
11时39分26秒      0.00      0.00      0.00      0.00      4.00

.................................
^C

平均时间:  active/s passive/s    iseg/s    oseg/s
平均时间:      0.00      0.00     17.82     17.82

平均时间:  atmptf/s  estres/s retrans/s isegerr/s   orsts/s
平均时间:      0.00      0.00      0.00      0.00     16.83
┌──[[email protected]]-[~]
└─$

使用sar(1)工具来查看 TCP 指标和TCP 错误信息。相关的字段包括如下几个。

active/s:每秒本地发起的 TCP连接的数量(通过调用connect0)创建)。
passive/s:每秒远端发起的 TCP连接的数量(通过调用accept0创建)。
retrans/s:每秒TCP 重传的数量。
orsts/s：每秒的连接重置数。表示每秒钟发生的连接重置次数。
atmptf/s：每秒的连接尝试次数。表示每秒钟有多少个连接尝试被发起。
estres/s：每秒建立的连接数。表示每秒钟成功建立的连接数。

主动和被动连接计数对于业务负载画像很有用。重传则是网络或者远端主机有问题的征兆。

top

┌──[[email protected]]-[~]
└─$top
top - 11:46:44 up 8 min,  1 user,  load average: 6.52, 17.45, 10.38
Tasks: 449 total,   1 running, 448 sleeping,   0 stopped,   0 zombie
%Cpu(s):  0.9 us,  1.1 sy,  0.0 ni, 96.8 id,  0.0 wa,  0.6 hi,  0.5 si,  0.0 st
MiB Mem :  15730.5 total,   7503.6 free,   7147.4 used,   1079.5 buff/cache
MiB Swap:   2068.0 total,   2068.0 free,      0.0 used.   8177.7 avail Mem

    PID USER      PR  NI    VIRT    RES    SHR S  %CPU  %MEM     TIME+ COMMAND
   1947 42418     20   0  555196 132972  20272 S   1.3   0.8   0:12.86 heat-engine
  10320 42436     20   0  540276 122200  17492 S   1.3   0.8   0:08.95 nova-scheduler
    949 root      20   0  694072  31640  16876 S   1.0   0.2   0:16.58 tuned
   1945 42415     20   0  749212 142564  34988 S   1.0   0.9   0:12.38 glance-api
   1965 42436     20   0  540120 121848  17324 S   1.0   0.8   0:12.16 nova-conductor
  15567 root      20   0  269540   5228   4160 R   1.0   0.0   0:00.05 top
  ..........................................

以 top 命令作为结束，对相关结果进行二次确认，并能够浏览系统和进程的摘要信息运气好的话，这个60 秒分析过程会帮助你找到一些性能问题的线索。

可以通过 t 键和 m 对数据进行可视化展示

top - 19:32:22 up 2 days,  3:01,  1 user,  load average: 0.00, 0.02, 0.05
Tasks: 237 total,   2 running, 235 sleeping,   0 stopped,   0 zombie
%Cpu0  :   0.0/0.0     0[                                                                                             ]
%Cpu1  :   0.0/0.0     0[                                                                                             ]
%Cpu2  :   0.0/0.3     0[                                                                                             ] 
%Cpu3  :   0.0/0.0     0[                                                                                             ]
%Cpu4  :   0.0/0.0     0[                                                                                             ]
%Cpu5  :   0.0/0.0     0[                                                                                             ]
%Cpu6  :   0.0/0.0     0[                                                                                             ]
%Cpu7  :   0.0/0.0     0[                                                                                             ]
KiB Mem : 14.9/8154892  [||||||||||||||                                                                               ]
KiB Swap:  0.0/0        [                                                                                             ]

博文部分内容参考

《BPF Performance Tools》

你可能感兴趣的:(Linux,性能调优,linux,运维,服务器)

android系统selinux中添加新属性property 辉色投像
1.定位/android/system/sepolicy/private/property_contexts声明属性开头：persist.charge声明属性类型：u:object_r:system_prop:s0图12.定位到android/system/sepolicy/public/domain.te删除neverallow{domain-init}default_prop:property
理解Gunicorn：Python WSGI服务器的基石范范0825 ipython linux 运维
理解Gunicorn：PythonWSGI服务器的基石介绍Gunicorn，全称GreenUnicorn，是一个为PythonWSGI（WebServerGatewayInterface）应用设计的高效、轻量级HTTP服务器。作为PythonWeb应用部署的常用工具，Gunicorn以其高性能和易用性著称。本文将介绍Gunicorn的基本概念、安装和配置，帮助初学者快速上手。1.什么是Gunico
swagger访问路径 igotyback swagger
Swagger2.x版本访问地址：http://{ip}:{port}/{context-path}/swagger-ui.html{ip}是你的服务器IP地址。{port}是你的应用服务端口，通常为8080。{context-path}是你的应用上下文路径，如果应用部署在根路径下，则为空。Swagger3.x版本对于Swagger3.x版本（也称为OpenAPI3）访问地址：http://{ip
Linux下QT开发的动态库界面弹出操作（SDL2） 13jjyao QT类 qt 开发语言 sdl2 linux
需求：操作系统为linux，开发框架为qt，做成需带界面的qt动态库，调用方为java等非qt程序难点：调用方为java等非qt程序，也就是说调用方肯定不带QApplication::exec()，缺少了这个，QTimer等事件和QT创建的窗口将不能弹出(包括opencv也是不能弹出)；这与qt调用本身qt库是有本质的区别的思路：1.调用方缺QApplication::exec()，那么我们在接口
高级编程--XML+socket练习题 masa010 java 开发语言
1.北京华北2114.8万人上海华东2,500万人广州华南1292.68万人成都华西1417万人（1）使用dom4j将信息存入xml中（2）读取信息，并打印控制台（3）添加一个city节点与子节点（4）使用socketTCP协议编写服务端与客户端，客户端输入城市ID，服务器响应相应城市信息（5）使用socketTCP协议编写服务端与客户端，客户端要求用户输入city对象，服务端接收并使用dom4j
linux sdl windows.h,Windows下的SDL安装奔跑吧linux内核 linux sdl windows.h
首先你要下载并安装SDL开发包。如果装在C盘下，路径为C:\SDL1.2.5如果在WINDOWS下。你可以按以下步骤：1.打开VC++，点击"Tools",Options2,点击directories选项3.选择"Includefiles"增加一个新的路径。"C:\SDL1.2.5\include"4，现在选择"Libaryfiles“增加"C:\SDL1.2.5\lib"现在你可以开始编写你的第
linux中sdl的使用教程,sdl使用入门 Melissa Corvinus linux中sdl的使用教程
本文通过一个简单示例讲解SDL的基本使用流程。示例中展示一个窗口，窗口里面有个随机颜色快随机移动。当我们鼠标点击关闭按钮时间窗口关闭。基本步骤如下：1.初始化SDL并创建一个窗口。SDL_Init()初始化SDL_CreateWindow()创建窗口2.纹理渲染存储RGB和存储纹理的区别：比如一个从左到右由红色渐变到蓝色的矩形，用存储RGB的话就需要把矩形中每个点的具体颜色值存储下来；而纹理只是一
PHP环境搭建详细教程好看资源平台前端 php
PHP是一个流行的服务器端脚本语言，广泛用于Web开发。为了使PHP能够在本地或服务器上运行，我们需要搭建一个合适的PHP环境。本教程将结合最新资料，介绍在不同操作系统上搭建PHP开发环境的多种方法，包括Windows、macOS和Linux系统的安装步骤，以及本地和Docker环境的配置。1.PHP环境搭建概述PHP环境的搭建主要分为以下几类：集成开发环境：例如XAMPP、WAMP、MAMP，这
使用 FinalShell 进行远程连接（ssh 远程连接 Linux 服务器）编程经验分享开发工具服务器 ssh linux
目录前言基本使用教程新建远程连接连接主机自定义命令路由追踪前言后端开发，必然需要和服务器打交道，部署应用，排查问题，查看运行日志等等。一般服务器都是集中部署在机房中，也有一些直接是云服务器，总而言之，程序员不可能直接和服务器直接操作，一般都是通过ssh连接来登录服务器。刚接触远程连接时，使用的是XSHELL来远程连接服务器，连接上就能够操作远程服务器了，但是仅用XSHELL并没有上传下载文件的功能
git - Webhook让部署自动化大猪大猪
我们现在有一个需求，将项目打包上传到gitlab或者github后，程序能自动部署，不用手动地去服务器中进行项目更新并运行，如何做到？这里我们可以使用gitlab与github的挂钩，挂钩的原理就是，每当我们有请求到gitlab与github服务器时，这时他俩会根据我们配置的挂钩地扯进行访问，webhook挂钩程序会一直监听着某个端口请求，一但收到他们发过来的请求，这时就知道用户有请求提交了，这时
libyuv之linux编译 jaronho Linux linux 运维服务器
文章目录一、下载源码二、编译源码三、注意事项1、银河麒麟系统（aarch64）（1）解决armv8-a+dotprod+i8mm指令集支持问题（2）解决armv9-a+sve2指令集支持问题一、下载源码到GitHub网站下载https://github.com/lemenkov/libyuv源码，或者用直接用git克隆到本地，如：gitclonehttps://github.com/lemenko
ARM驱动学习之5 LEDS驱动 JT灬新一嵌入式 C 底层 arm开发学习单片机
ARM驱动学习之5LEDS驱动知识点：•linuxGPIO申请函数和赋值函数–gpio_request–gpio_set_value•三星平台配置GPIO函数–s3c_gpio_cfgpin•GPIO配置输出模式的宏变量–S3C_GPIO_OUTPUT注意点：DRIVER_NAME和DEVICE_NAME匹配。实现步骤：1.加入需要的头文件：//Linux平台的gpio头文件#include//三
【华为OD技术面试真题精选 - 非技术题】 -HR面，综合面_华为od hr面一个射手座的程序媛程序员华为od 面试职场和发展
最后的话最近很多小伙伴找我要Linux学习资料，于是我翻箱倒柜，整理了一些优质资源，涵盖视频、电子书、PPT等共享给大家！资料预览给大家整理的视频资料：给大家整理的电子书资料：如果本文对你有帮助，欢迎点赞、收藏、转发给朋友，让我有持续创作的动力！网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化的资料的朋友，可以点击这里获
简介Shell、zsh、bash zhaosuningsn Shell zsh bash shell linux bash
Shell是Linux和Unix的外壳，类似衣服，负责外界与Linux和Unix内核的交互联系。例如接收终端用户及各种应用程序的命令，把接收的命令翻译成内核能理解的语言，传递给内核，并把内核处理接收的命令的结果返回给外界，即Shell是外界和内核沟通的桥梁或大门。Linux和Unix提供了多种Shell，其中有种bash，当然还有其他好多种。Mac电脑中不但有bash，还有一个zsh，预装的，据说
Linux MariaDB使用OpenSSL安装SSL证书 Meta39 MySQL Oracle MariaDB Linux Windows ssl linux mariadb
进入到证书存放目录，批量删除.pem证书警告：确保已经进入到证书存放目录find.-typef-iname\*.pem-delete查看是否安装OpenSSLopensslversion没有则安装yuminstallopensslopenssl-devel开启SSL编辑/etc/my.cnf文件（没有的话就创建，但是要注意，在/etc/my.cnf.d/server.cnf配置了datadir的，
【从浅识到熟知Linux】Linux发展史 Jammingpro 从浅学到熟知Linux linux 运维服务器
归属专栏：从浅学到熟知Linux个人主页：Jammingpro每日努力一点点，技术变化看得见文章前言：本篇文章记录Linux发展的历史，因在介绍Linux过程中涉及的其他操作系统及人物，本文对相关内容也有所介绍。文章目录Unix发展史Linux发展史开源Linux官网企业应用情况发行版本在学习Linux前，我们可能都会问Linux从哪里来？它是如何发展的。但在介绍Linux之前，需要先介绍一下Un
linux 发展史种树的猴子内核 java 操作系统 linux 大数据
linux发展史说明此前对linux认识模糊一知半解，近期通过学习将自己对于linux的发展总结一下方便大家日后的学习。那Linux是目前一款非常火热的开源操作系统，可是linux是什么时候出现的，又是因为什么样的原因被开发出来的呢。以下将对linux的发展历程进行详细的讲解。目录一、Linux发展背景二、UINIX的诞生三、UNIX的重要分支-BSD的诞生四、Minix的诞生五、GNU与Free
Linux sh命令 fengyehongWorld Linux linux
目录一.基本语法二.选项2.1-c字符串中读取内容，并执行2.1.1基本用法2.1.2获取当前目录下失效的超链接2.2-x每个命令执行之前，将其打印出来2.3结合Here文档使用一.基本语法⏹Linux和Unix系统中用于执行shell脚本或运行命令的命令。sh[选项][脚本文件][参数...]⏹选项-c：从字符串中读取内容，并执行。-x：在每个命令执行之前，将其打印出来。-s：从标准流中读取内容
Linux vi常用命令 fengyehongWorld Linux linux
参考资料viコマンド（vimコマンド）リファレンス目录一.保存系命令二.删除系命令三.移动系命令四.复制粘贴系命令一.保存系命令⏹保存并退出:wq⏹强制保存并退出:wq!⏹退出(文件未编辑):q⏹强制退出(忽略已编辑内容):q!⏹另存为:w新文件名二.删除系命令⏹删除当前行dd⏹清空整个文档gg：移动到文档顶部dG：删除到最后一行ggdG三.移动系命令⏹移动到文档顶部gg⏹移动到文档底部#方式1G
Linux查看服务器日志 TPBoreas 运维 linux 运维
一、tail这个是我最常用的一种查看方式用法如下：tail-n10test.log查询日志尾部最后10行的日志;tail-n+10test.log查询10行之后的所有日志;tail-fn10test.log循环实时查看最后1000行记录(最常用的)一般还会配合着grep用，(实时抓包)例如:tail-fn1000test.log|grep'关键字'（动态抓包）tail-fn1000test.log
Python多线程实现大规模数据集高效转移 sand&wich 网络 python 服务器
背景在处理大规模数据集时，通常需要在不同存储设备、不同服务器或文件夹之间高效地传输数据。如果采用单线程传输方式，当数据量非常大时，整个过程会非常耗时。因此，通过多线程并行处理可以大幅提升数据传输效率。本文将分享一个基于Python多线程实现的高效数据传输工具，通过遍历源文件夹中的所有文件，将它们移动到目标文件夹。工具和库这个数据集转移工具主要依赖于以下Python标准库：os：用于文件系统操作，如
笋丁网页自动回复机器人V3.0.0免授权版源码希希分享软希网58soho_cn 源码资源笋丁网页自动回复机器人
笋丁网页机器人一款可设置自动回复，默认消息，调用自定义api接口的网页机器人。此程序后端语言使用Golang，内存占用最高不超过30MB，1H1G服务器流畅运行。仅支持Linux服务器部署，不支持虚拟主机，请悉知！使用自定义api功能需要有一定的建站基础。源码下载：https://download.csdn.net/download/m0_66047725/89754250更多资源下载：关注我。安
深入浅出 -- 系统架构之负载均衡Nginx的性能优化 xiaoli8748_软件开发系统架构系统架构负载均衡 nginx
一、Nginx性能优化到这里文章的篇幅较长了，最后再来聊一下关于Nginx的性能优化，主要就简单说说收益最高的几个优化项，在这块就不再展开叙述了，毕竟影响性能都有多方面原因导致的，比如网络、服务器硬件、操作系统、后端服务、程序自身、数据库服务等，对于性能调优比较感兴趣的可以参考之前《JVM性能调优》中的调优思想。优化一：打开长连接配置通常Nginx作为代理服务，负责分发客户端的请求，那么建议开启H
最简单将静态网页挂载到服务器上(不用nginx) 全能全知者服务器 nginx 运维前端 html 笔记
最简单将静态网页挂载到服务器上(不用nginx)如果随便弄个静态网页挂在服务器都要用nignx就太麻烦了，所以直接使用Apache来搭建一些简单前端静态网页会相对方便很多检查Web服务器服务状态：sudosystemctlstatushttpd#ApacheWeb服务器如果发现没有安装web服务器：安装Apache：sudoyuminstallhttpd启动Apache：sudosystemctl
阿里云服务器4核8G配置购买及价格类文章汇总（10篇）阿里云最新优惠和活动汇总
阿里云服务器4核8G配置如何购买？价格是多少？4核8G配置的阿里云服务器可以通过云服务器产品页购买也可以通过阿里云活动去下单购买，一般通过活动购买的用户比较多，但是不同实例规格的阿里云服务器价格不一样，带宽不同价格也不一样，本文为大家汇总了10篇关于阿里云服务器4核8G配置购买教程文章和价格类文章，分为购买类文章和价格类文章，以供大家参考如何购买阿里云服务器4核8G配置和最新优惠价格是多少。阿里云
windows下python opencv ffmpeg读取摄像头实现rtsp推流拉流图像处理大大大大大牛啊 opencv实战代码讲解视觉图像项目 windows python opencv
windows下pythonopencvffmpeg读取摄像头实现rtsp推流拉流整体流程1.下载所需文件1.1下载rtsp推流服务器1.2下载ffmpeg2.开启RTSP服务器3.opencv读取摄像头并调用ffmpeg进行推流4.opencv进行拉流5.opencv异步拉流整体流程1.下载所需文件1.1下载rtsp推流服务器下载RTSP服务器下载页面https://github.com/blu
Linux CTF逆向入门蚁景网络安全 linux 运维 CTF
1.ELF格式我们先来看看ELF文件头，如果想详细了解，可以查看ELF的manpage文档。关于ELF更详细的说明：e_shoff：节头表的文件偏移量（字节）。如果文件没有节头表，则此成员值为零。sh_offset：表示了该section（节）离开文件头部位置的距离+-------------------+|ELFheader|---++--------->+-------------------
NPM私库搭建-verdaccio（Linux） Beam007 npm linux 前端
1、安装nodelinux服务器安装nodea)、官网下载所需的node版本https://nodejs.org/dist/v14.21.0/b)、解压安装包若下载的是xxx.tar.xz文件，解压命令为tar-xvfxxx.tar.xzc)、修改环境变量修改：/etc/profile文件#SETPATHFORNODEJSexportNODE_HOME=NODEJS解压安装的路径exportPAT
[实验室服务器使用]使用VSCode、PyCharm、MobaXterm和CMD连接远程服务器 YuanDaima2048 工具使用服务器 vscode pycharm cmd 代理模式机器学习实验
文章总览：YuanDaiMa2048博客文章总览实验室服务器使用：使用VSCode、PyCharm、MobaXterm和CMD连接远程服务器在进行实验室工作时，远程连接服务器是常见的需求之一。本篇文章根据个人的一些使用介绍使用不同工具连接服务器的方法，并提供优化功能，使服务器能够使用本机代理的说明。准备服务器账号信息Host（主机）:10.XXX.XX.XXXPort（端口）:[SSHPort]U
C++常见知识掌握 nfgo c++开发语言
1.Linux软件开发、调试与维护内核与系统结构Linux内核是操作系统的核心，负责管理硬件资源，提供系统服务，它是系统软件与硬件之间的桥梁。主要组成部分包括：进程管理：内核通过调度器分配CPU时间给各个进程，实现进程的创建、调度、终止等操作。使用进程描述符（task_struct）来存储进程信息，包括状态（就绪、运行、阻塞等）、优先级、内存映射等。内存管理：包括物理内存和虚拟内存管理。通过页表映
PHP，安卓，UI，java，linux视频教程合集 cocos2d-x小菜 java UI PHP android linux
╔-----------------------------------╗┆
各表中的列名必须唯一。在表 'dbo.XXX' 中多次指定了列名 'XXX'。 bozch .net .net mvc
在.net mvc5中，在执行某一操作的时候，出现了如下错误：各表中的列名必须唯一。在表 'dbo.XXX' 中多次指定了列名 'XXX'。经查询当前的操作与错误内容无关，经过对错误信息的排查发现，事故出现在数据库迁移上。回想过去：在迁移之前已经对数据库进行了添加字段操作，再次进行迁移插入XXX字段的时候，就会提示如上错误。 &
Java 对象大小的计算 e200702084 java
Java对象的大小如何计算一个对象的大小呢？
Mybatis Spring 171815164 mybatis
ApplicationContext ac = new ClassPathXmlApplicationContext("applicationContext.xml"); CustomerService userService = (CustomerService) ac.getBean("customerService"); Customer cust
JVM 不稳定参数 g21121 jvm
-XX 参数被称为不稳定参数，之所以这么叫是因为此类参数的设置很容易引起JVM 性能上的差异，使JVM 存在极大的不稳定性。当然这是在非合理设置的前提下，如果此类参数设置合理讲大大提高JVM 的性能及稳定性。可以说“不稳定参数”
用户自动登录网站永夜-极光用户
1.目标:实现用户登录后,再次登录就自动登录,无需用户名和密码 2.思路:将用户的信息保存为cookie 每次用户访问网站,通过filter拦截所有请求,在filter中读取所有的cookie,如果找到了保存登录信息的cookie,那么在cookie中读取登录信息,然后直接
centos7 安装后失去win7的引导记录程序员是怎么炼成的操作系统
1.使用root身份(必须)打开 /boot/grub2/grub.cfg 2.找到 ### BEGIN /etc/grub.d/30_os-prober ### 在后面添加 menuentry "Windows 7 (loader) (on /dev/sda1)" {
Oracle 10g 官方中文安装帮助文档以及Oracle官方中文教程文档下载 aijuans oracle
Oracle 10g 官方中文安装帮助文档下载：http://download.csdn.net/tag/Oracle%E4%B8%AD%E6%96%87API%EF%BC%8COracle%E4%B8%AD%E6%96%87%E6%96%87%E6%A1%A3%EF%BC%8Coracle%E5%AD%A6%E4%B9%A0%E6%96%87%E6%A1%A3 Oracle 10g 官方中文教程
JavaEE开源快速开发平台G4Studio_V3.2发布了無為子 AOP oracle mysql javaee G4Studio
我非常高兴地宣布,今天我们最新的JavaEE开源快速开发平台G4Studio_V3.2版本已经正式发布。大家可以通过如下地址下载。访问G4Studio网站 http://www.g4it.org G4Studio_V3.2版本变更日志功能新增 (1).新增了系统右下角滑出提示窗口功能。 (2).新增了文件资源的Zip压缩和解压缩
Oracle常用的单行函数应用技巧总结百合不是茶日期函数转换函数(核心)数字函数通用函数(核心)字符函数
单行函数; 字符函数,数字函数,日期函数,转换函数(核心),通用函数(核心) 一:字符函数: .UPPER(字符串) 将字符串转为大写 .LOWER (字符串) 将字符串转为小写 .INITCAP(字符串) 将首字母大写 .LENGTH (字符串) 字符串的长度 .REPLACE(字符串,'A','_') 将字符串字符A转换成_
Mockito异常测试实例 bijian1013 java 单元测试 mockito
Mockito异常测试实例： package com.bijian.study; import static org.mockito.Mockito.mock; import static org.mockito.Mockito.when; import org.junit.Assert; import org.junit.Test; import org.mockito.
GA与量子恒道统计 Bill_chen JavaScript 浏览器百度 Google 防火墙
前一阵子，统计**网址时，Google Analytics（GA）和量子恒道统计（也称量子统计），数据有较大的偏差，仔细找相关资料研究了下，总结如下：为何GA和量子网站统计（量子统计前身为雅虎统计）结果不同？首先：没有一种网站统计工具能保证百分之百的准确出现该问题可能有以下几个原因：（1）不同的统计分析系统的算法机制不同；（2）统计代码放置的位置和前后
【Linux命令三】Top命令 bit1129 linux命令
Linux的Top命令类似于Windows的任务管理器，可以查看当前系统的运行情况，包括CPU、内存的使用情况等。如下是一个Top命令的执行结果： top - 21:22:04 up 1 day, 23:49, 1 user, load average: 1.10, 1.66, 1.99 Tasks: 202 total, 4 running, 198 sl
spring四种依赖注入方式白糖_ spring
平常的java开发中，程序员在某个类中需要依赖其它类的方法，则通常是new一个依赖类再调用类实例的方法，这种开发存在的问题是new的类实例不好统一管理，spring提出了依赖注入的思想，即依赖类不由程序员实例化，而是通过spring容器帮我们new指定实例并且将实例注入到需要该对象的类中。依赖注入的另一种说法是“控制反转”，通俗的理解是：平常我们new一个实例，这个实例的控制权是我
angular.injector boyitech AngularJS AngularJS API
angular.injector 描述: 创建一个injector对象, 调用injector对象的方法可以获得angular的service, 或者用来做依赖注入. 使用方法: angular.injector(modules, [strictDi]) 参数详解: Param Type Details mod
java-同步访问一个数组Integer[10]，生产者不断地往数组放入整数1000，数组满时等待；消费者不断地将数组里面的数置零，数组空时等待 bylijinnan Integer
public class PC { /** * 题目：生产者-消费者。 * 同步访问一个数组Integer[10]，生产者不断地往数组放入整数1000，数组满时等待；消费者不断地将数组里面的数置零，数组空时等待。 */ private static final Integer[] val=new Integer[10]; private static
使用Struts2.2.1配置 Chen.H apache spring Web xml struts
Struts2.2.1 需要如下 jar包: commons-fileupload-1.2.1.jar commons-io-1.3.2.jar commons-logging-1.0.4.jar freemarker-2.3.16.jar javassist-3.7.ga.jar ognl-3.0.jar spring.jar struts2-core-2.2.1.jar struts2-sp
[职业与教育]青春之歌 comsci 教育
每个人都有自己的青春之歌............但是我要说的却不是青春... 大家如果在自己的职业生涯没有给自己以后创业留一点点机会,仅仅凭学历和人脉关系,是难以在竞争激烈的市场中生存下去的.... &nbs
oracle连接(join)中使用using关键字 daizj JOIN oracle sql using
在oracle连接(join)中使用using关键字 34. View the Exhibit and examine the structure of the ORDERS and ORDER_ITEMS tables. Evaluate the following SQL statement: SELECT oi.order_id, product_id, order_date FRO
NIO示例 daysinsun nio
NIO服务端代码： public class NIOServer { private Selector selector; public void startServer(int port) throws IOException { ServerSocketChannel serverChannel = ServerSocketChannel.open(
C语言学习homework1 dcj3sjt126com c homework
0、课堂练习做完 1、使用sizeof计算出你所知道的所有的类型占用的空间。 int x; sizeof(x); sizeof(int); # include <stdio.h> int main(void) { int x1; char x2; double x3; float x4; printf(&quo
select in order by , mysql排序 dcj3sjt126com mysql
If i select like this: SELECT id FROM users WHERE id IN(3,4,8,1); This by default will select users in this order 1,3,4,8, I would like to select them in the same order that i put IN() values so:
页面校验-新建项目 fanxiaolong 页面校验
$(document).ready( function() { var flag = true; $('#changeform').submit(function() { var projectScValNull = true; var s =""; var parent_id = $("#parent_id").v
Ehcache（02）——ehcache.xml简介 234390216 ehcache ehcache.xml 简介
ehcache.xml简介 ehcache.xml文件是用来定义Ehcache的配置信息的，更准确的来说它是定义CacheManager的配置信息的。根据之前我们在《Ehcache简介》一文中对CacheManager的介绍我们知道一切Ehcache的应用都是从CacheManager开始的。在不指定配置信
junit 4.11中三个新功能 jackyrong java
junit 4.11中两个新增的功能，首先是注解中可以参数化，比如 import static org.junit.Assert.assertEquals; import java.util.Arrays; import org.junit.Test; import org.junit.runner.RunWith; import org.junit.runn
国外程序员爱用苹果Mac电脑的10大理由 php教程分享 windows PHP unix Microsoft perl
Mac 在国外很受欢迎，尤其是在设计/web开发/IT 人员圈子里。普通用户喜欢 Mac 可以理解，毕竟 Mac 设计美观，简单好用，没有病毒。那么为什么专业人士也对 Mac 情有独钟呢？从个人使用经验来看我想有下面几个原因： 1、Mac OS X 是基于 Unix 的这一点太重要了，尤其是对开发人员，至少对于我来说很重要，这意味着Unix 下一堆好用的工具都可以随手捡到。如果你是个 wi
位运算、异或的实际应用 wenjinglian 位运算
一．位操作基础，用一张表描述位操作符的应用规则并详细解释。二．常用位操作小技巧，有判断奇偶、交换两数、变换符号、求绝对值。三．位操作与空间压缩，针对筛素数进行空间压缩。 &n
weblogic部署项目出现的一些问题（持续补充中……） Everyday都不同 weblogic部署失败
好吧，weblogic的问题确实…… 问题一： org.springframework.beans.factory.BeanDefinitionStoreException: Failed to read candidate component class: URL [zip:E:/weblogic/user_projects/domains/base_domain/serve
tomcat7性能调优（01） toknowme tomcat7
Tomcat优化： 1、最大连接数最大线程等设置 <Connector port="8082" protocol="HTTP/1.1" useBodyEncodingForURI="t
PO VO DAO DTO BO TO概念与区别 xp9802 java DAO 设计模式 bean 领域模型
O/R Mapping 是 Object Relational Mapping（对象关系映射）的缩写。通俗点讲，就是将对象与关系数据库绑定，用对象来表示关系数据。在O/R Mapping的世界里，有两个基本的也是重要的东东需要了解，即VO，PO。它们的关系应该是相互独立的，一个VO可以只是PO的部分，也可以是多个PO构成，同样也可以等同于一个PO（指的是他们的属性）。这样，PO独立出来，数据持