coding丁

Linux性能优化 CPU性能调优（一）

系统的平均负载

可以通过uptime命令查看系统的平均负载： (top命令可以也可以，不过显示信息更多)

 $ uptime
 10:35:08 up 23 days, 19:29,  3 users,  load average: 0.11, 0.07, 0.06

执行uptime命令，可以看到当前时间、系统运行时间以及正在登录用户数。后面是过去 1 分钟、5 分钟、15 分钟的平均负载。

通过man uptime看一下到底什么是平均负载：

System load averages is the average number of processes that are either in a runnable or uninterruptable state.
A process in a runnable state is either using the CPU or waiting to use the CPU. A process in uninterruptable state is waiting for some I/O access, eg waiting for disk.
Load averages are not normalized for the number of CPUs in a system, so a load average of 1 means a single CPU system is loaded all the time while on a 4 CPU system it means it was idle 75% of the time.

也就是说，平均负载是指单位时间内，系统处于可运行状态和不可中断状态的平均进程数，也就是平均活跃进程数。

可运行状态：使用CPU或者正在等待使用CPU的进程所处的状态
不可中断状态：进程在等待硬件设备IO等时的状态，这些进程不可打断，用kill也不能消灭。 ps状态下是D状态的进程。当一个进程向磁盘读写数据时，为了保证数据的一致性，在得到磁盘回复前，它是不能被其他进程或者中断打断的，这个时候的进程就处于不可中断状态。如果此时的进程被打断了，就容易出现磁盘数据与进程数据不一致的问题。也就是说这是一种保护机制。 (当一个机器的D状态进程较多，通常是有一些问题的)

因此，想通过平均负载来看系统的繁忙情况，需要知道自己的系统有多少个CPU 【可以通过top或者查看/proc/cpuinfo查看】。如果是单CPU并且平均负载是1，这说明CPU一直被占用。如果是4CPU的机器平均负载是1的话，说明CPU的75%是空闲的。如果是单CPU平均负载是4，那么说明大部分进程都是在竞争CPU并且竞争不到的。

一般当平均负载高于CPU数量的0.7时，就说明可能是存在问题导致高负载了，高于1的话就需要找一下问题修复了，如果更高的话可能导致响应慢等情况了。

一般来说CPU的使用率和平均负载的关系如下：

对于CPU 密集型进程，会单位时间使用大量 CPU ，因此平均负载会较大，这种情况二者是较为一致的
对于IO密集型进程，大部分时间都在等待IO，因此平均负载也会比较大，但是CPU使用率是比较低的

案例分析

工具：stress (系统压力测试工具)和sysstat (监控分析系统性能的工具) 下载方法：用yum install 即可或者 apt-get install

环境：Xshell连接的Linux远程主机，版本3.10

需要开启多个终端，部分终端用于运行监测程序，部分终端用来运行实例模拟高负载【虚拟机图形界面的话可以创建多个命令行即可，远程Linux则建立多个连接窗口即可】

可以看一下man stress，可以模拟多种系统压力施加

模拟高CPU密集的进程

stress -c 4  #运行4个高CPU进程

在一个终端运行stress，另外的终端用于监视系统负载以及其他性能

top监视的情况：

[root@jessy ~]# top
top - 14:33:58 up 23 days, 23:28,  4 users,  load average: 4.28, 1.42, 0.54
Tasks: 118 total,   6 running, 111 sleeping,   1 stopped,   0 zombie
%Cpu(s): 99.7 us,  0.2 sy,  0.0 ni,  0.0 id,  0.0 wa,  0.0 hi,  0.1 si,  0.0 st
KiB Mem :  8008684 total,  5493028 free,   195948 used,  2319708 buff/cache
KiB Swap:        0 total,        0 free,        0 used.  7506152 avail Mem 
  PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND                                                            3128 root      20   0    7312     96      0 R  99.3  0.0   1:25.59 stress                                                              3126 root      20   0    7312     96      0 R  99.0  0.0   1:25.34 stress                                                              3127 root      20   0    7312     96      0 R  99.0  0.0   1:25.38 stress                                                              3129 root      20   0    7312     96      0 R  96.7  0.0   1:24.92 stress                                                              3146 root      20   0  159952   2200   1500 R   0.7  0.0   0:00.13 top

可以看到平均负载逐步上升接近到4，并且可以看到有4个CPU使用率接近100%的进程，平均CPU使用率几乎达到100%，几乎所有的时间都在用户态

mpstat监视情况：

[root@jessy ~]# mpstat -P ALL 5 1
Linux 3.10.0-1062.18.1.el7.x86_64 (jessy) 	07/22/2020 	_x86_64_	(4 CPU)

02:32:47 PM  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest  %gnice   %idle
02:32:52 PM  all   99.74    0.00    0.19    0.00    0.00    0.06    0.00    0.00    0.00    0.00
02:32:52 PM    0   99.44    0.00    0.28    0.00    0.00    0.28    0.00    0.00    0.00    0.00
02:32:52 PM    1  100.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00
02:32:52 PM    2  100.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00
02:32:52 PM    3   99.42    0.00    0.29    0.00    0.00    0.29    0.00    0.00    0.00    0.00

Average:     CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest  %gnice   %idle
Average:     all   99.74    0.00    0.19    0.00    0.00    0.06    0.00    0.00    0.00    0.00
Average:       0   99.44    0.00    0.28    0.00    0.00    0.28    0.00    0.00    0.00    0.00
Average:       1  100.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00
Average:       2  100.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00
Average:       3   99.42    0.00    0.29    0.00    0.00    0.29    0.00    0.00    0.00    0.00

mpstst可以看到每个cpu 的情况，可知每个CPU都有接近100%的使用率

pidstat监视的情况：

[root@jessy ~]# pidstat 1 1
Linux 3.10.0-1062.18.1.el7.x86_64 (jessy) 	07/22/2020 	_x86_64_	(4 CPU)

02:37:07 PM   UID       PID    %usr %system  %guest    %CPU   CPU  Command
02:37:08 PM     0      3126   99.01    0.00    0.00   99.01     1  stress
02:37:08 PM     0      3127  100.00    0.00    0.00  100.00     2  stress
02:37:08 PM     0      3128   98.02    0.00    0.00   98.02     3  stress
02:37:08 PM     0      3129   99.01    0.00    0.00   99.01     0  stress

02:37:08 PM   UID       PID    %usr %system  %guest    %CPU   CPU  Command
02:37:09 PM     0      3126   99.01    0.00    0.00   99.01     1  stress
02:37:09 PM     0      3127   98.02    0.00    0.00   98.02     2  stress
02:37:09 PM     0      3128  100.00    0.00    0.00  100.00     3  stress
02:37:09 PM     0      3129   99.01    0.00    0.00   99.01     0  stress
02:37:09 PM     0      3608    0.99    0.00    0.00    0.99     0  barad_agent
02:37:09 PM     0      4242    0.00    0.99    0.00    0.99     1  pidstat

可以看到CPU被跑的满满的，并且可以看到是哪些进程在占据CPU

通过top和pidstat都可以找到到底是哪些进程在使CPU繁忙，因此找到根源后便可以去找更细的原因。

模拟IO密集型的进程

stress -i 3  #运行3个高IO进程

在一个终端运行stress，另外的终端用于监视系统负载以及其他性能

top监视的情况：

[root@jessy ~]# top
top - 11:37:16 up 23 days, 20:31,  4 users,  load average: 3.00, 3.21, 2.85
Tasks: 108 total,   3 running, 104 sleeping,   1 stopped,   0 zombie
%Cpu(s):  0.2 us, 49.0 sy,  0.0 ni, 49.9 id,  0.9 wa,  0.0 hi,  0.0 si,  0.0 st
KiB Mem :  8008684 total,  5492672 free,   187984 used,  2328028 buff/cache
KiB Swap:        0 total,        0 free,        0 used.  7514116 avail Mem 
  PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND                                                             562 root      20   0    7312    100      0 R  87.7  0.0   4:37.80 stress                                                               563 root      20   0    7312    100      0 D  54.8  0.0   4:45.89 stress                                                               561 root      20   0    7312    100      0 R  51.5  0.0   4:38.76 stress                                                              3612 root      20   0  611472  15896   2376 S   2.0  0.2 101:22.29 barad_agent                                                          9  root      20   0       0      0      0 S   0.3  0.0   3:31.87 rcu_sched                                                          1554 root      20   0       0      0      0 S   0.3  0.0   0:00.16 kworker/u8:2

可以看到系统负载接近3，但是CPU利用率并没有那么高，并且可以看到 D 状态 (不可中断状态)

mpstat监视的情况：

[root@jessy ~]# mpstat -P ALL 5 1
Linux 3.10.0-1062.18.1.el7.x86_64 (jessy) 	07/22/2020 	_x86_64_	(4 CPU)

11:31:29 AM  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest  %gnice   %idle
11:31:34 AM  all    0.05    0.00   52.10    1.05    0.00    0.00    0.00    0.00    0.00   46.79
11:31:34 AM    0    0.00    0.00   96.01    2.00    0.00    0.00    0.00    0.00    0.00    2.00
11:31:34 AM    1    0.20    0.00   39.40    1.00    0.00    0.00    0.00    0.00    0.00   59.40
11:31:34 AM    2    0.20    0.00   41.20    0.80    0.00    0.00    0.00    0.00    0.00   57.80
11:31:34 AM    3    0.20    0.00   31.34    0.60    0.00    0.00    0.00    0.00    0.00   67.86

Average:     CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest  %gnice   %idle
Average:     all    0.05    0.00   52.10    1.05    0.00    0.00    0.00    0.00    0.00   46.79
Average:       0    0.00    0.00   96.01    2.00    0.00    0.00    0.00    0.00    0.00    2.00
Average:       1    0.20    0.00   39.40    1.00    0.00    0.00    0.00    0.00    0.00   59.40
Average:       2    0.20    0.00   41.20    0.80    0.00    0.00    0.00    0.00    0.00   57.80
Average:       3    0.20    0.00   31.34    0.60    0.00    0.00    0.00    0.00    0.00   67.86

可以看到iowait值非常高，说明IO才是当前系统负载高的主要原因，同时可以看到主要事件消耗在于系统调用上，因为IO是需要系统调用的，用户态几乎不占时间。

pidstat查看相关状态：

[root@jessy ~]# pidstat 1 1
Linux 3.10.0-1062.18.1.el7.x86_64 (jessy) 	07/22/2020 	_x86_64_	(4 CPU)

02:39:56 PM   UID       PID    %usr %system  %guest    %CPU   CPU  Command
02:39:57 PM     0      4719    0.00   61.00    0.00   61.00     0  stress
02:39:57 PM     0      4720    0.00   81.00    0.00   81.00     1  stress
02:39:57 PM     0      4721    0.00   50.00    0.00   50.00     2  stress
02:39:57 PM     0      4926    0.00    1.00    0.00    1.00     3  pidstat

02:39:57 PM   UID       PID    %usr %system  %guest    %CPU   CPU  Command
02:39:58 PM     0      4719    0.00   59.00    0.00   59.00     0  stress
02:39:58 PM     0      4720    0.00   42.00    0.00   42.00     3  stress
02:39:58 PM     0      4721    0.00   94.00    0.00   94.00     2  stress
02:39:58 PM     0     32473    0.00    1.00    0.00    1.00     3  YDService

可以看到具体的进程占据CPU和IO的情况

通过top或者pidstat可以找到具体是哪个进程在频繁IO，从而定位问题原因

上下文切换

Linux 是一个多任务操作系统，它支持远大于 CPU 数量的任务同时运行，这是通过频繁的上下文切换、将CPU轮流分配给不同任务从而实现的。

每个进程运行时，CPU都需要知道进程已经运行到了哪里以及当前的各种状态，因此系统事先设置好 CPU 寄存器和程序计数器。CPU 上下文切换，就是先把前一个任务的 CPU 上下文（CPU 寄存器和程序计数器）保存起来，然后加载新任务的上下文到这些寄存器和程序计数器，最后再跳转到程序计数器所指的新位置，运行新任务，而保存下来的上下文，会存储在系统内核中，并在任务重新调度执行时再次加载进来。

进程上下文切换是消耗时间的，平均下文切换都需要几十纳秒到数微秒的 CPU 时间，因此如果进程上下文切换次数过多，就会导致 CPU 将大量时间耗费在寄存器、内核栈以及虚拟内存等资源的保存和恢复上，进而大大缩短了真正运行进程的时间，实际上有效的CPU运行时间大大减少(可以认为上下文切换对用户来说是在做无用功)

上下文切换的时机：

根据调度策略，将CPU时间划片为对应的时间片，当时间片耗尽，就需要进行上下文切换
进程在系统资源不足，会在获取到足够资源之前进程挂起
进程通过sleep函数将自己挂起
当有优先级更高的进程运行时，为了保证高优先级进程的运行，当前进程会被挂起，由高优先级进程来运行,也就是被抢占
当发生硬件中断时，CPU 上的进程会被中断挂起，转而执行内核中的中断服务程序

现代操作系统中，线程是调度的基本单位，而进程则是资源拥有的基本单位，因此也会发生线程切换。如果是同一进程内的线程切换，由于大部分资源是共享的，因此不需要保存，只保存寄存器等不共享数据，因此这时候的线程切换是更轻量级更快的。如果不是同意进程内的线程切换，就等于进程切换了，花销稍大。

查看上下文切换：

vmstat命令可以看到系统整体的context switches次数：

[root@jessy ~]# vmstat 2
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 3  0      0 5492032 220452 2105940    0    0     0     5    2    1  0  0 100  0  0
 3  0      0 5492412 220452 2105952    0    0     0   369 3267 2204  0 50 48  2  0
 2  0      0 5492340 220452 2105968    0    0     0   342 3427 2477  0 49 50  1  0

cs：每秒上下文切换的次数
in：每秒中断的次数
r：就绪队列的长度，即正在运行和等待 CPU 的进程数。
b：处于不可中断睡眠状态的进程数

可以通过pidstat查看每个进程的上下文切换情况：-w

[root@jessy ~]# pidstat -w
Linux 3.10.0-1062.18.1.el7.x86_64 (jessy) 	07/22/2020 	_x86_64_	(4 CPU)

03:10:50 PM   UID       PID   cswch/s nvcswch/s  Command
03:10:50 PM     0         1      1.10      0.00  systemd
03:10:50 PM     0         2      0.00      0.00  kthreadd
03:10:50 PM     0         4      0.00      0.00  kworker/0:0H
03:10:50 PM     0         6      0.07      0.00  ksoftirqd/0
03:10:50 PM     0         7      0.34      0.00  migration/0
03:10:50 PM     0         8      0.00      0.00  rcu_bh
03:10:50 PM     0         9     14.76      0.00  rcu_sched

cswch ：表示每秒自愿上下文切换的次数是指进程无法获取所需资源，导致的上下文切换
nvcswch ：表示每秒非自愿上下文切换的次数指进程由于时间片已到等原因，被系统强制调度，进而发生的上下文切换

案例分析

工具：sysbench(一个多线程的基准测试工具)和sysstat (监控分析系统性能的工具) 下载方法：用yum install 即可或者 apt-get install

环境：Xshell连接的Linux远程主机，版本3.10

在第一个终端里运行 sysbench ，模拟系统多线程调度的瓶颈：

# 20个线程运行，模拟多线程切换的问题
$ sysbench --threads=20  threads run

在另一个终端用vmstat查看系统的上下文切换次数：

[root@jessy ~]# vmstat 1
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 5  0      0 5483872 220568 2114760    0    0     0     5    3    2  0  0 100  0  0
 5  0      0 5483788 220568 2114760    0    0     0     0 24004 733269 35 56  9  0  0
 5  0      0 5483804 220568 2114760    0    0     0    80 33083 688786 33 55 12  0  0
 5  0      0 5483828 220568 2114760    0    0     0     0 21859 760155 32 58  9  0  0
 6  0      0 5483912 220568 2114764    0    0     0     0 31601 794251 33 55 12  0  0
 5  0      0 5483912 220568 2114764    0    0     0     0 22575 671252 35 56  9  0  0

可以看到每秒的上下文切换次数达到了70万次左右，这一定会大大影响系统性能，就绪队列中的进程数量也明显提升，已经高于CPU数量了，us和sy使用率较高，加起来在接近100%，同时in的数量非常高，说明每秒的中断次数非常高

用pidstat查看具体的情况， (-t可以显示出更具体的线程切换次数)

[root@jessy ~]# pidstat -wt -u 1
Linux 3.10.0-1062.18.1.el7.x86_64 (jessy) 	07/22/2020 	_x86_64_	(4 CPU)

03:41:38 PM   UID      TGID       TID    %usr %system  %guest    %CPU   CPU  Command
03:41:39 PM     0      3612         -    0.98    0.00    0.00    0.98     2  barad_agent
03:41:39 PM     0     18524         -  100.00  100.00    0.00  100.00     2  sysbench
03:41:39 PM     0         -     18530    3.92    8.82    0.00   12.75     3  |__sysbench
03:41:39 PM     0         -     18531    7.84   12.75    0.00   20.59     0  |__sysbench
03:41:39 PM     0         -     18532    7.84   11.76    0.00   19.61     0  |__sysbench
....
03:41:38 PM   UID      TGID       TID   cswch/s nvcswch/s  Command
03:41:39 PM     0         1         -      0.98      0.00  systemd
03:41:39 PM     0         -     18539  10184.31  38460.78  |__sysbench
03:41:39 PM     0         -     18540   9807.84  31880.39  |__sysbench
03:41:39 PM     0         -     18541   8456.86  23916.67  |__sysbench
03:41:39 PM     0         -     18542   8710.78  25382.35  |__sysbench
03:41:39 PM     0         -     18543   9375.49  29080.39  |__sysbench
03:41:39 PM     0         -     18544  11208.82  31827.45  |__sysbench
03:41:39 PM     0     18555         -      0.98      1.96  pidstat
...

可以看到sysbench的系统CPU占用率达到了100%，并且几乎占据了所有的usr和sys时间。也能看到sysbench的进程中存在这大量的自愿上下文切换和非自愿上下文切换

查看中断情况：

watch -d cat /proc/interrupts

可以看到LOC和RES值非常高，LOC是计时器中断，RES是Rescheduling interrupts，也就是调度中断，因此可以基本确定，中断的产生主要是因为频繁的调度，也就是任务过多引起过多上下文切换导致的。

不可中断进程过多

僵尸进程，表示进程已经退出，但它的父进程还没有回收子进程占用的资源。正常情况下，当一个进程创建了子进程后，它应该通过系统调用 wait() 或者 waitpid() 等待子进程结束，回收子进程的资源。通常来说，僵尸进程持续的时间都比较短，在父进程回收它的资源后就会消亡；或者在父进程退出后，由 init 进程回收后也会消亡。但是如果父进程没有处理子进程的终止，还一直保持运行状态，那么子进程就会一直处于僵尸状态。大量的僵尸进程会用尽 PID 进程号，导致新进程不能创建，所以这种情况一定要避免。

不可中断状态，表示进程正在跟硬件交互，为了保护进程数据和硬件的一致性，系统不允许其他进程或中断打断这个进程。当 iowait 升高时，进程很可能因为得不到硬件的响应，而长时间处于不可中断状态。进程长时间处于不可中断状态，通常表示系统有 I/O 性能问题。

通常可以用top命令和ps命令查看系统的进程状态：

[root@VM-238-167-centos /]# top
top - 11:43:46 up 19:21,  2 users,  load average: 81.48, 35.56, 13.78
Tasks: 258 total,   2 running, 253 sleeping,   1 stopped,   2 zombie
%Cpu(s):  0.2 us,  0.3 sy,  0.0 ni, 34.6 id, 64.8 wa,  0.0 hi,  0.0 si,  0.0 st
KiB Mem : 16165976 total,  8499940 free,  6695244 used,   970792 buff/cache
KiB Swap:        0 total,        0 free,        0 used.  9338500 avail Mem 

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND                                                                32016 root      20   0    7076   6232    808 R   1.0  0.0   3:35.52 sap1002 
 26849 root      20   0   70040  65528     44 D   0.3  0.4   0:00.02 app   
 17626 root      20   0       0      0      0 S   0.3  0.0   0:00.06 kworker/6:2                                                          32018 root      20   0   23336   8680   1164 S   0.3  0.1   0:21.21 sap1004                                                              32031 root      20   0   45228  26664   5832 S   0.3  0.2   1:16.57 sap1009                                                                  1 root      20   0   53128   4336   2488 S   0.0  0.0   0:08.35 systemd                                                                  2 root      20   0       0      0      0 S   0.0  0.0   0:00.00 kthreadd

可以看到S即为进程状态，包括R：运行状态 S：Sleep状态 D：不可中断状态

案例分析：【该实验有可能直接导致死机，因为负载会达到非常高的地步，故根据设备配置实验】

docker镜像：https://github.com/feiskyer/linux-perf-examples/tree/master/high-iowait-process

运行了镜像实例，这是一个高IO的实例，运行这个docker程序后可以看到：

[root@VM-238-167-centos /]# ps aux | grep /app
root     26564  0.0  0.0   4500   564 pts/0    Ss+  11:39   0:00 /app -d /dev/vdb1
root     26622  0.0  0.4  70040 65528 pts/0    D+   11:39   0:00 /app -d /dev/vdb1
root     26623  0.0  0.4  70040 65528 pts/0    D+   11:39   0:00 /app -d /dev/vdb1
root     26629  0.0  0.4  70040 65528 pts/0    D+   11:39   0:00 /app -d /dev/vdb1
root     26630  0.0  0.4  70040 65528 pts/0    D+   11:39   0:00 /app -d /dev/vdb1
....

[root@VM-238-167-centos /]# top
top - 11:43:46 up 19:21,  2 users,  load average: 81.48, 35.56, 13.78
Tasks: 258 total,   2 running, 253 sleeping,   1 stopped,   2 zombie
%Cpu(s):  0.2 us,  0.3 sy,  0.0 ni, 34.6 id, 64.8 wa,  0.0 hi,  0.0 si,  0.0 st

查看top可以知道平均负载极高！但是CPU利用率很低，io使用率很高，说明大概率是因为IO导致了如此高的系统负载。

在终端中运行 dstat 命令，观察 CPU 和 I/O 的使用情况：

[root@VM-238-167-centos /]#  dstat 1 10
----total-cpu-usage---- -dsk/total- -net/total- ---paging-- ---system--
usr sys idl wai hiq siq| read  writ| recv  send|  in   out | int   csw 
  0   0 100   0   0   0| 682k   48k|   0     0 |   0     0 | 797   808 
  0   0  68  32   0   0| 130M   20k|  54B  146B|   0     0 |1040   827 
  0   0  75  25   0   0| 130M    0 |  96B  860B|   0     0 |1022   789 
  0   0  75  25   0   0| 130M    0 | 331B  894B|   0     0 |1071   856 
  0   0  72  28   0   0| 130M   24k|  54B   42B|   0     0 |1057   823 
  0   0  63  37   0   0| 130M    0 | 146B  388B|   0     0 |1036   789 
  0   0  63  37   0   0| 130M    0 |  96B  700B|   0     0 |1043   798 
  0   0  62  37   0   0| 130M  932k|  54B   42B|   0     0 |1033   797 
  0   0  62  37   0   0| 130M    0 |  96B  388B|   0     0 |1033   798 
  0   0  67  33   0   0| 130M   20k|1064B 7858B|   0     0 |1054   843 
  1   0  62  37   0   0| 130M    0 |  54B   42B|   0     0 |1074   789

可以看到 iowait 升高（wai）时，磁盘的读请求（read）都会很大。这说明 iowait 的升高跟磁盘的读请求有关，很可能就是磁盘读导致的。

因此就需要找一些是哪些进程在频繁read，用top查找：

[root@VM-238-167-centos /]# top
top - 14:44:34 up  2:45,  2 users,  load average: 43.34, 15.43, 5.63
Tasks: 212 total,   1 running, 209 sleeping,   0 stopped,   2 zombie
%Cpu(s):  0.0 us,  0.2 sy,  0.0 ni, 59.0 id, 40.8 wa,  0.0 hi,  0.0 si,  0.0 st
KiB Mem : 16165976 total, 11210260 free,  4318284 used,   637432 buff/cache
KiB Swap:        0 total,        0 free,        0 used. 11722680 avail Mem 
PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND                                                               1160 root      20   0   70040  65524     44 D   0.3  0.4   0:00.01 app                                                                   1166 root      20   0   70040  65524     44 D   0.3  0.4   0:00.01 app                                                                   1315 root      20   0   70040  65524     44 D   0.3  0.4   0:00.01 app                                                                   7852 root      20   0   38008  19720   1168 S   0.3  0.1   0:02.06 secu-tcs-agent                                                       9365 root      20   0    7208   6288    804 S   0.3  0.0   0:26.86 sap1002                                                               9381 root      20   0   22612   4276   3700 S   0.3  0.0   0:04.14 sap1007

可以看到CPU负载非常高，但是CPU使用率几乎为0，而有着大量的iowait，并且看到有很多D进程状态，D进程状态是不可中断状态，因此大概率就是这些进程在占据磁盘读，具体去找这些查看查看。

因为top看到1160处于D状态，因此查看是否是该进程的原因：

[root@VM-238-167-centos /]# pidstat -d -p 1160 1 3
Linux 3.10.107-1-tlinux2_kvm_guest-0049 (VM-238-167-centos) 	07/23/20 	_x86_64_	(8 CPU)
14:48:42      UID       PID   kB_rd/s   kB_wr/s kB_ccwr/s  Command
14:48:43        0      1160      0.00      0.00      0.00  app
14:48:44        0      1160      0.00      0.00      0.00  app
14:48:45        0      1160      0.00      0.00      0.00  app
Average:        0      1160      0.00      0.00      0.00  app

显然，并不是，因为读写都是0。同理发现其他几个也是这样的情况。

索性直接pidstat查看所有的进程情况来分析：

[root@VM-238-167-centos /]# pidstat -d 1 5        
Linux 3.10.107-1-tlinux2_kvm_guest-0049 (VM-238-167-centos) 	07/23/20 	_x86_64_	(8 CPU)

14:54:33      UID       PID   kB_rd/s   kB_wr/s kB_ccwr/s  Command
14:54:34        0      3204    503.50      0.00      0.00  app
14:54:34        0      3216    520.50      0.00      0.00  app
14:54:34        0      3331  16128.00      0.00      0.00  app
14:54:34        0      3332   1024.00      0.00      0.00  app
14:54:34        0      3337  16128.00      0.00      0.00  app
14:54:34        0      3338  16128.00      0.00      0.00  app
14:54:34        0      3344  16128.00      0.00      0.00  app
14:54:34        0      3349  16128.00      0.00      0.00  app
14:54:34        0      3356  16128.00      0.00      0.00  app
14:54:34        0      3357  16128.00      0.00      0.00  app
14:54:34        0      3364  16128.00      0.00      0.00  app
14:54:34        0      3365  16128.00      0.00      0.00  app

发现确实是app进程在运行，并且占据了非常大的read。

用strace看一下3204进程的系统调用情况：

[root@VM-238-167-centos /]# strace -p 3204
strace: attach: ptrace(PTRACE_ATTACH, ...): Operation not permitted

显示没有权限，很不科学，已经是root了，那么看一下这个进程的状态：

[root@VM-238-167-centos /]# ps aux | grep 3204
root      3204  0.0  0.0      0     0 pts/0    Z+   14:53   0:00 [app] <defunct>

发现变成了僵尸状态。

用perf top分析问题所在，找到app后进入其中看看，展开调用栈分析

看出进程在在通过系统调用 sys_read() 读取数据。并且从 new_sync_read 和 blkdev_direct_IO 能看出，进程正在对磁盘进行直接读，也就是绕过了系统缓存，每个读请求都会从磁盘直接读。

然后分析源码，发现

open(disk, O_RDONLY|O_DIRECT|O_LARGEFILE, 0755)

O_DIRECT，直接读写磁盘，删掉该选项。然后运行发现iowait非常低，该问题找到并解决。

这个例子中磁盘 I/O 导致了 iowait 升高，不过， iowait 高不一定代表 I/O 有性能瓶颈。当系统中只有 I/O 类型的进程在运行时，iowait 也会很高，但实际上，磁盘的读写远没有达到性能瓶颈的程度。因此，碰到 iowait 升高时，需要先用 dstat、pidstat 等工具，确认是不是磁盘 I/O 的问题，然后再找是哪些进程导致了 I/O。等待 I/O 的进程一般是不可中断状态，所以用 ps 命令找到的 D 状态（即不可中断状态）的进程，多为可疑进程。然后用strace分析，或者用 perf 工具，来分析系统的 CPU 时钟事件，找到问题的原因。

你可能感兴趣的:(Linux,linux)

android系统selinux中添加新属性property 辉色投像
1.定位/android/system/sepolicy/private/property_contexts声明属性开头：persist.charge声明属性类型：u:object_r:system_prop:s0图12.定位到android/system/sepolicy/public/domain.te删除neverallow{domain-init}default_prop:property
Linux下QT开发的动态库界面弹出操作（SDL2） 13jjyao QT类 qt 开发语言 sdl2 linux
需求：操作系统为linux，开发框架为qt，做成需带界面的qt动态库，调用方为java等非qt程序难点：调用方为java等非qt程序，也就是说调用方肯定不带QApplication::exec()，缺少了这个，QTimer等事件和QT创建的窗口将不能弹出(包括opencv也是不能弹出)；这与qt调用本身qt库是有本质的区别的思路：1.调用方缺QApplication::exec()，那么我们在接口
linux sdl windows.h,Windows下的SDL安装奔跑吧linux内核 linux sdl windows.h
首先你要下载并安装SDL开发包。如果装在C盘下，路径为C:\SDL1.2.5如果在WINDOWS下。你可以按以下步骤：1.打开VC++，点击"Tools",Options2,点击directories选项3.选择"Includefiles"增加一个新的路径。"C:\SDL1.2.5\include"4，现在选择"Libaryfiles“增加"C:\SDL1.2.5\lib"现在你可以开始编写你的第
linux中sdl的使用教程,sdl使用入门 Melissa Corvinus linux中sdl的使用教程
本文通过一个简单示例讲解SDL的基本使用流程。示例中展示一个窗口，窗口里面有个随机颜色快随机移动。当我们鼠标点击关闭按钮时间窗口关闭。基本步骤如下：1.初始化SDL并创建一个窗口。SDL_Init()初始化SDL_CreateWindow()创建窗口2.纹理渲染存储RGB和存储纹理的区别：比如一个从左到右由红色渐变到蓝色的矩形，用存储RGB的话就需要把矩形中每个点的具体颜色值存储下来；而纹理只是一
PHP环境搭建详细教程好看资源平台前端 php
PHP是一个流行的服务器端脚本语言，广泛用于Web开发。为了使PHP能够在本地或服务器上运行，我们需要搭建一个合适的PHP环境。本教程将结合最新资料，介绍在不同操作系统上搭建PHP开发环境的多种方法，包括Windows、macOS和Linux系统的安装步骤，以及本地和Docker环境的配置。1.PHP环境搭建概述PHP环境的搭建主要分为以下几类：集成开发环境：例如XAMPP、WAMP、MAMP，这
使用 FinalShell 进行远程连接（ssh 远程连接 Linux 服务器）编程经验分享开发工具服务器 ssh linux
目录前言基本使用教程新建远程连接连接主机自定义命令路由追踪前言后端开发，必然需要和服务器打交道，部署应用，排查问题，查看运行日志等等。一般服务器都是集中部署在机房中，也有一些直接是云服务器，总而言之，程序员不可能直接和服务器直接操作，一般都是通过ssh连接来登录服务器。刚接触远程连接时，使用的是XSHELL来远程连接服务器，连接上就能够操作远程服务器了，但是仅用XSHELL并没有上传下载文件的功能
libyuv之linux编译 jaronho Linux linux 运维服务器
文章目录一、下载源码二、编译源码三、注意事项1、银河麒麟系统（aarch64）（1）解决armv8-a+dotprod+i8mm指令集支持问题（2）解决armv9-a+sve2指令集支持问题一、下载源码到GitHub网站下载https://github.com/lemenkov/libyuv源码，或者用直接用git克隆到本地，如：gitclonehttps://github.com/lemenko
ARM驱动学习之5 LEDS驱动 JT灬新一嵌入式 C 底层 arm开发学习单片机
ARM驱动学习之5LEDS驱动知识点：•linuxGPIO申请函数和赋值函数–gpio_request–gpio_set_value•三星平台配置GPIO函数–s3c_gpio_cfgpin•GPIO配置输出模式的宏变量–S3C_GPIO_OUTPUT注意点：DRIVER_NAME和DEVICE_NAME匹配。实现步骤：1.加入需要的头文件：//Linux平台的gpio头文件#include//三
【华为OD技术面试真题精选 - 非技术题】 -HR面，综合面_华为od hr面一个射手座的程序媛程序员华为od 面试职场和发展
最后的话最近很多小伙伴找我要Linux学习资料，于是我翻箱倒柜，整理了一些优质资源，涵盖视频、电子书、PPT等共享给大家！资料预览给大家整理的视频资料：给大家整理的电子书资料：如果本文对你有帮助，欢迎点赞、收藏、转发给朋友，让我有持续创作的动力！网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化的资料的朋友，可以点击这里获
简介Shell、zsh、bash zhaosuningsn Shell zsh bash shell linux bash
Shell是Linux和Unix的外壳，类似衣服，负责外界与Linux和Unix内核的交互联系。例如接收终端用户及各种应用程序的命令，把接收的命令翻译成内核能理解的语言，传递给内核，并把内核处理接收的命令的结果返回给外界，即Shell是外界和内核沟通的桥梁或大门。Linux和Unix提供了多种Shell，其中有种bash，当然还有其他好多种。Mac电脑中不但有bash，还有一个zsh，预装的，据说
Linux MariaDB使用OpenSSL安装SSL证书 Meta39 MySQL Oracle MariaDB Linux Windows ssl linux mariadb
进入到证书存放目录，批量删除.pem证书警告：确保已经进入到证书存放目录find.-typef-iname\*.pem-delete查看是否安装OpenSSLopensslversion没有则安装yuminstallopensslopenssl-devel开启SSL编辑/etc/my.cnf文件（没有的话就创建，但是要注意，在/etc/my.cnf.d/server.cnf配置了datadir的，
【从浅识到熟知Linux】Linux发展史 Jammingpro 从浅学到熟知Linux linux 运维服务器
归属专栏：从浅学到熟知Linux个人主页：Jammingpro每日努力一点点，技术变化看得见文章前言：本篇文章记录Linux发展的历史，因在介绍Linux过程中涉及的其他操作系统及人物，本文对相关内容也有所介绍。文章目录Unix发展史Linux发展史开源Linux官网企业应用情况发行版本在学习Linux前，我们可能都会问Linux从哪里来？它是如何发展的。但在介绍Linux之前，需要先介绍一下Un
linux 发展史种树的猴子内核 java 操作系统 linux 大数据
linux发展史说明此前对linux认识模糊一知半解，近期通过学习将自己对于linux的发展总结一下方便大家日后的学习。那Linux是目前一款非常火热的开源操作系统，可是linux是什么时候出现的，又是因为什么样的原因被开发出来的呢。以下将对linux的发展历程进行详细的讲解。目录一、Linux发展背景二、UINIX的诞生三、UNIX的重要分支-BSD的诞生四、Minix的诞生五、GNU与Free
Linux sh命令 fengyehongWorld Linux linux
目录一.基本语法二.选项2.1-c字符串中读取内容，并执行2.1.1基本用法2.1.2获取当前目录下失效的超链接2.2-x每个命令执行之前，将其打印出来2.3结合Here文档使用一.基本语法⏹Linux和Unix系统中用于执行shell脚本或运行命令的命令。sh[选项][脚本文件][参数...]⏹选项-c：从字符串中读取内容，并执行。-x：在每个命令执行之前，将其打印出来。-s：从标准流中读取内容
Linux vi常用命令 fengyehongWorld Linux linux
参考资料viコマンド（vimコマンド）リファレンス目录一.保存系命令二.删除系命令三.移动系命令四.复制粘贴系命令一.保存系命令⏹保存并退出:wq⏹强制保存并退出:wq!⏹退出(文件未编辑):q⏹强制退出(忽略已编辑内容):q!⏹另存为:w新文件名二.删除系命令⏹删除当前行dd⏹清空整个文档gg：移动到文档顶部dG：删除到最后一行ggdG三.移动系命令⏹移动到文档顶部gg⏹移动到文档底部#方式1G
Linux查看服务器日志 TPBoreas 运维 linux 运维
一、tail这个是我最常用的一种查看方式用法如下：tail-n10test.log查询日志尾部最后10行的日志;tail-n+10test.log查询10行之后的所有日志;tail-fn10test.log循环实时查看最后1000行记录(最常用的)一般还会配合着grep用，(实时抓包)例如:tail-fn1000test.log|grep'关键字'（动态抓包）tail-fn1000test.log
笋丁网页自动回复机器人V3.0.0免授权版源码希希分享软希网58soho_cn 源码资源笋丁网页自动回复机器人
笋丁网页机器人一款可设置自动回复，默认消息，调用自定义api接口的网页机器人。此程序后端语言使用Golang，内存占用最高不超过30MB，1H1G服务器流畅运行。仅支持Linux服务器部署，不支持虚拟主机，请悉知！使用自定义api功能需要有一定的建站基础。源码下载：https://download.csdn.net/download/m0_66047725/89754250更多资源下载：关注我。安
Linux CTF逆向入门蚁景网络安全 linux 运维 CTF
1.ELF格式我们先来看看ELF文件头，如果想详细了解，可以查看ELF的manpage文档。关于ELF更详细的说明：e_shoff：节头表的文件偏移量（字节）。如果文件没有节头表，则此成员值为零。sh_offset：表示了该section（节）离开文件头部位置的距离+-------------------+|ELFheader|---++--------->+-------------------
NPM私库搭建-verdaccio（Linux） Beam007 npm linux 前端
1、安装nodelinux服务器安装nodea)、官网下载所需的node版本https://nodejs.org/dist/v14.21.0/b)、解压安装包若下载的是xxx.tar.xz文件，解压命令为tar-xvfxxx.tar.xzc)、修改环境变量修改：/etc/profile文件#SETPATHFORNODEJSexportNODE_HOME=NODEJS解压安装的路径exportPAT
C++常见知识掌握 nfgo c++开发语言
1.Linux软件开发、调试与维护内核与系统结构Linux内核是操作系统的核心，负责管理硬件资源，提供系统服务，它是系统软件与硬件之间的桥梁。主要组成部分包括：进程管理：内核通过调度器分配CPU时间给各个进程，实现进程的创建、调度、终止等操作。使用进程描述符（task_struct）来存储进程信息，包括状态（就绪、运行、阻塞等）、优先级、内存映射等。内存管理：包括物理内存和虚拟内存管理。通过页表映
linux脚本sed替换变量,sed 命令中替换值为shell变量诺坎普之约 linux脚本sed替换变量
文章目录sed命令中替换值为shell变量替换基本语法sed中替换使用shell变量总结参考文档sed命令中替换值为shell变量替换基本语法大家都是sed有很多用法，最多就应该是替换一些值了。让我们先回忆sed的替换语法。在sed进行替换的时候sed-i's/old/new/g'1.txtecho"hellooldfrank"|sed's/old/new/g'结果如下：hellonewfrank
RK3229_Android9.0_Box 4G模块EC200A调试 suifen_ 网络
0、kernel修改这部分完全可以参考Linux的移植：RK3588EC200A-CN【4G模块】调试_rkec200a-cn-CSDN博客1、修改device/rockchip/rk322xdiff--gita/device.mkb/device.mkindexec6bfaa..e7c32d1100755---a/device.mk+++b/device.mk@@-105,6+105,8@@en
linux 安装Sublime Text 3 hhyiyuanyu Python学习 linux sublime text
方法/步骤打开官网http://www.sublimetext.com/3，选择64位进行下载执行命令wgethttps://download.sublimetext.com/sublime_text_3_build_3126_x64.tar.bz2进行下载3、下载完成进行解压,执行tar-xvvfsublime_text_3_build_3126_x64.tar.bz解压4、解压完成以后，移动到
KVM虚拟机源代码分析【转】 xidianjiapei001 #虚拟化技术
1.KVM结构及工作原理1.1KVM结构KVM基本结构有两部分组成。一个是KVMDriver，已经成为Linux内核的一个模块。负责虚拟机的创建，虚拟内存的分配，虚拟CPU寄存器的读写以及虚拟CPU的运行等。另外一个是稍微修改过的Qemu，用于模拟PC硬件的用户空间组件，提供I/O设备模型以及访问外设的途径。KVM基本结构如图1所示。其中KVM加入到标准的Linux内核中，被组织成Linux中标准
史上最全git命令,git回滚,git命令大全騒周其他 git
git命令大全一、Git整体理解二、由暂存区本地仓库三、由本地仓->远程仓库四、冲突处理五、Git分支操作六、bug的分支七、feature分支八、暂存的使用九、远程仓的操作十、标签的使用十一、Git配置全局信息十二、Linux的一些简单操作和一些符号的解释十三、符号解释十四、显示安装详细信息十五、gitconfig十六、Gitclone十七、Gitinit十八、gitstatus十九、gitre
【显示后台运行 & 的命令】晨春计 debug linux 服务器运维
目录背景步骤详解示例背景当你在Linuxshell中使用&符号将一个命令放到后台运行时，你可以使用jobs命令来查看这些后台进程的状态。但是，jobs命令并不会直接显示进程的PID（进程ID）。它会显示一个作业列表，其中包括每个作业的状态和一个作业标识符（通常是百分号%后面跟着一个数字），但不会直接显示PID。获取后台进程的PID步骤：1、使用jobs命令查看后台作业。2、使用ps命令配合grep
Android shell 常用 debug 命令晨春计 Audio debug android linux
目录1、查看版本2、am命令3、pm命令4、dumpsys命令5、sed命令6、log定位查看APK进程号7、log定位使用场景1、查看版本1.1、Android串口终端执行getpropro.build.version.release#获取Android版本uname-a#查看linux内核版本信息uname-r#单独查看内核版本1.2、linux服务器执行lsb_release-a#查看Lin
【nginx】ngx_http_proxy_connect_module 正向代理等风来不如迎风去网络服务入门与实战 nginx http 运维
50.65无法访问服务器，(403错误)50.196可以访问服务器。那么，配置65通过196访问。需要一个nginx作为代理【nginx】搭配okhttp配置反向代理发送原生的nginx是不支持okhttp的CONNECT请求的。大神竟然给出了一个java工程GINX编译ngx_http_proxy_connect_module及做正向代理是linux构建的。是windows构建的：编译Windo
linux下好用的任务管理器htop WittXie Linux linux 服务器运维
给大家推荐个好用的任务管理器htop，简直好用的不得了。完虐top。不解释了，看文章！！！在Linux系统中，top命令用来显示系统中正在运行的进程的实时状态，它显示了一些非常有用的信息，比如CPU利用情况、内存消耗情况，以及每个进程情况等。但是，你知道吗？还有另外一个命令行工具'htop'，它与传统的top命令功能一样，但它有更加强大的功能及能显示更多的信息。这篇文章，我们会用实例来讨论这个'h
Linux下使用U盘 WittXie Linux linux 运维服务器
第一步：插入U盘，如果能够识别出U盘，则会打印出一些信息；第二步：查看U盘系统分配给U盘的设备名；输入如下命令进行查看：fdisk-l/dev/sda如果打印出如下信息：Disk/dev/sda:4233MB,4233101312bytes165heads,34sectors/track,1473cylindersUnits=cylindersof5610*512=2872320bytesDevi
Spring的注解积累 yijiesuifeng spring 注解
用注解来向Spring容器注册Bean。需要在applicationContext.xml中注册： <context:component-scan base-package=”pagkage1[,pagkage2,…,pagkageN]”/>。如：在base-package指明一个包 <context:component-sc
传感器百合不是茶 android 传感器
android传感器的作用主要就是来获取数据,根据得到的数据来触发某种事件下面就以重力传感器为例; 1,在onCreate中获得传感器服务 private SensorManager sm;// 获得系统的服务 private Sensor sensor;// 创建传感器实例 @Override protected void
[光磁与探测]金吕玉衣的意义 comsci
这是一个古代人的秘密:现在告诉大家信不信由你们: 穿上金律玉衣的人,如果处于灵魂出窍的状态,可以飞到宇宙中去看星星这就是为什么古代
精简的反序打印某个数沐刃青蛟打印
以前看到一些让求反序打印某个数的程序。比如：输入123，输出321。记得以前是告诉你是几位数的，当时就抓耳挠腮，完全没有思路。似乎最后是用到%和/方法解决的。而今突然想到一个简短的方法，就可以实现任意位数的反序打印（但是如果是首位数或者尾位数为0时就没有打印出来了）代码如下： long num, num1=0;
PHP：6种方法获取文件的扩展名 IT独行者 PHP 扩展名
PHP：6种方法获取文件的扩展名 1、字符串查找和截取的方法 1 $extension = substr ( strrchr ( $file , '.' ), 1); 2、字符串查找和截取的方法二 1 $extension = substr
面试111 文强chu 面试
1事务隔离级别有那些，事务特性是什么（问到一次） 2 spring aop 如何管理事务的，如何实现的。动态代理如何实现，jdk怎么实现动态代理的，ioc是怎么实现的，spring是单例还是多例，有那些初始化bean的方式，各有什么区别（经常问） 3 struts默认提供了那些拦截器（一次） 4 过滤器和拦截器的区别（频率也挺高） 5 final，finally final
XML的四种解析方式小桔子 dom jdom dom4j sax
在平时工作中，难免会遇到把 XML 作为数据存储格式。面对目前种类繁多的解决方案，哪个最适合我们呢？在这篇文章中，我对这四种主流方案做一个不完全评测，仅仅针对遍历 XML 这块来测试，因为遍历 XML 是工作中使用最多的（至少我认为）。　　预备　　测试环境：　　AMD 毒龙1.4G OC 1.5G、256M DDR333、Windows2000 Server
wordpress中常见的操作 aichenglong 中文注册 wordpress 移除菜单
1 wordpress中使用中文名注册解决办法 1)使用插件 2)修改wp源代码进入到wp-include/formatting.php文件中找到 function sanitize_user( $username, $strict = false
小飞飞学管理-1 alafqq 管理
项目管理的下午题，其实就在提出问题（挑刺），分析问题，解决问题。今天我随意看下10年上半年的第一题。主要就是项目经理的提拨和培养。结合我自己经历写下心得对于公司选拔和培养项目经理的制度有什么毛病呢？ 1，公司考察，选拔项目经理，只关注技术能力，而很少或没有关注管理方面的经验，能力。 2，公司对项目经理缺乏必要的项目管理知识和技能方面的培训。 3，公司对项目经理的工作缺乏进行指
IO输入输出部分探讨百合不是茶 IO
//文件处理在处理文件输入输出时要引入java.IO这个包； /* 1，运用File类对文件目录和属性进行操作 2，理解流，理解输入输出流的概念 3，使用字节/符流对文件进行读/写操作 4，了解标准的I/O 5，了解对象序列化 */ //1，运用File类对文件目录和属性进行操作 //在工程中线创建一个text.txt
getElementById的用法 bijian1013 element
getElementById是通过Id来设置/返回HTML标签的属性及调用其事件与方法。用这个方法基本上可以控制页面所有标签，条件很简单，就是给每个标签分配一个ID号。返回具有指定ID属性值的第一个对象的一个引用。语法： &n
励志经典语录 bijian1013 励志人生
经典语录1: 哈佛有一个著名的理论：人的差别在于业余时间，而一个人的命运决定于晚上8点到10点之间。每晚抽出2个小时的时间用来阅读、进修、思考或参加有意的演讲、讨论，你会发现，你的人生正在发生改变，坚持数年之后，成功会向你招手。不要每天抱着QQ/MSN/游戏/电影/肥皂剧……奋斗到12点都舍不得休息，看就看一些励志的影视或者文章，不要当作消遣；学会思考人生，学会感悟人生
[MongoDB学习笔记三]MongoDB分片 bit1129 mongodb
MongoDB的副本集(Replica Set)一方面解决了数据的备份和数据的可靠性问题，另一方面也提升了数据的读写性能。MongoDB分片(Sharding)则解决了数据的扩容问题，MongoDB作为云计算时代的分布式数据库，大容量数据存储，高效并发的数据存取，自动容错等是MongoDB的关键指标。本篇介绍MongoDB的切片(Sharding) 1.何时需要分片 &nbs
【Spark八十三】BlockManager在Spark中的使用场景 bit1129 manager
1. Broadcast变量的存储，在HttpBroadcast类中可以知道 2. RDD通过CacheManager存储RDD中的数据，CacheManager也是通过BlockManager进行存储的 3. ShuffleMapTask得到的结果数据，是通过FileShuffleBlockManager进行管理的，而FileShuffleBlockManager最终也是使用BlockMan
yum方式部署zabbix ronin47 yum方式部署zabbix
安装网络yum库#rpm -ivh http://repo.zabbix.com/zabbix/2.4/rhel/6/x86_64/zabbix-release-2.4-1.el6.noarch.rpm 通过yum装mysql和zabbix调用的插件还有agent代理#yum install zabbix-server-mysql zabbix-web-mysql mysql-
Hibernate4和MySQL5.5自动创建表失败问题解决方法 byalias J2EE Hibernate4
今天初学Hibernate4，了解了使用Hibernate的过程。大体分为4个步骤： ①创建hibernate.cfg.xml文件 ②创建持久化对象 ③创建*.hbm.xml映射文件 ④编写hibernate相应代码在第四步中，进行了单元测试，测试预期结果是hibernate自动帮助在数据库中创建数据表，结果JUnit单元测试没有问题，在控制台打印了创建数据表的SQL语句，但在数据库中
Netty源码学习-FrameDecoder bylijinnan java netty
Netty 3.x的user guide里FrameDecoder的例子，有几个疑问： 1.文档说：FrameDecoder calls decode method with an internally maintained cumulative buffer whenever new data is received. 为什么每次有新数据到达时，都会调用decode方法？ 2.Dec
SQL行列转换方法 chicony 行列转换
create table tb(终端名称 varchar(10) , CEI分值 varchar(10) , 终端数量 int) insert into tb values('三星' , '0-5' , 74) insert into tb values('三星' , '10-15' , 83) insert into tb values('苹果' , '0-5' , 93)
中文编码测试 ctrain 编码
循环打印转换编码 String[] codes = { "iso-8859-1", "utf-8", "gbk", "unicode" }; for (int i = 0; i < codes.length; i++) { for (int j
hive 客户端查询报堆内存溢出解决方法 daizj hive 堆内存溢出
hive> select * from t_test where ds=20150323 limit 2; OK Exception in thread "main" java.lang.OutOfMemoryError: Java heap space 问题原因： hive堆内存默认为256M 这个问题的解决方法为：修改/us
人有多大懒，才有多大闲 (评论『卓有成效的程序员』) dcj3sjt126com 程序员
卓有成效的程序员给我的震撼很大，程序员作为特殊的群体，有的人可以这么懒，懒到事情都交给机器去做，而有的人又可以那么勤奋，每天都孜孜不倦得做着重复单调的工作。在看这本书之前，我属于勤奋的人，而看完这本书以后，我要努力变成懒惰的人。不要在去庞大的开始菜单里面一项一项搜索自己的应用程序，也不要在自己的桌面上放置眼花缭乱的快捷图标
Eclipse简单有用的配置 dcj3sjt126com eclipse
1、显示行号 Window -- Prefences -- General -- Editors -- Text Editors -- show line numbers 2、代码提示字符 Window ->Perferences，并依次展开 Java -> Editor -> Content Assist，最下面一栏 auto-Activation
在tomcat上面安装solr4.8.0全过程 eksliang Solr solr4.0后的版本安装 solr4.8.0安装
转载请出自出处： http://eksliang.iteye.com/blog/2096478 首先solr是一个基于java的web的应用，所以安装solr之前必须先安装JDK和tomcat，我这里就先省略安装tomcat和jdk了第一步：当然是下载去官网上下载最新的solr版本，下载地址
Android APP通用型拒绝服务、漏洞分析报告 gg163 漏洞 android APP 分析
点评：记得曾经有段时间很多SRC平台被刷了大量APP本地拒绝服务漏洞，移动安全团队爱内测（ineice.com）发现了一个安卓客户端的通用型拒绝服务漏洞，来看看他们的详细分析吧。 0xr0ot和Xbalien交流所有可能导致应用拒绝服务的异常类型时，发现了一处通用的本地拒绝服务漏洞。该通用型本地拒绝服务可以造成大面积的app拒绝服务。针对序列化对象而出现的拒绝服务主要
HoverTree项目已经实现分层 hvt 编程 .net Web C#ASP.ENT
HoverTree项目已经初步实现分层，源代码已经上传到 http://hovertree.codeplex.com请到SOURCE CODE查看。在本地用SQL Server 2008 数据库测试成功。数据库和表请参考：http://keleyi.com/a/bjae/ue6stb42.htmHoverTree是一个ASP.NET 开源项目，希望对你学习ASP.NET或者C#语言有帮助，如果你对
Google Maps API v3: Remove Markers 移除标记天梯梦 google maps api
Simply do the following: I. Declare a global variable: var markersArray = []; II. Define a function: function clearOverlays() { for (var i = 0; i < markersArray.length; i++ )
jQuery选择器总结 lq38366 jquery 选择器
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40
基础数据结构和算法六：Quick sort sunwinner Algorithm Quicksort
Quick sort is probably used more widely than any other. It is popular because it is not difficult to implement, works well for a variety of different kinds of input data, and is substantially faster t
如何让Flash不遮挡HTML div元素的技巧_HTML/Xhtml_网页制作刘星宇 html Web
今天在写一个flash广告代码的时候，因为flash自带的链接，容易被当成弹出广告，所以做了一个div层放到flash上面，这样链接都是a触发的不会被拦截，但发现flash一直处于div层上面，原来flash需要加个参数才可以。让flash置于DIV层之下的方法，让flash不挡住飘浮层或下拉菜单，让Flash不档住浮动对象或层的关键参数：wmode=opaque。方法如下：
Mybatis实用Mapper SQL汇总示例 wdmcygah sql mysql mybatis 实用
Mybatis作为一个非常好用的持久层框架，相关资料真的是少得可怜，所幸的是官方文档还算详细。本博文主要列举一些个人感觉比较常用的场景及相应的Mapper SQL写法，希望能够对大家有所帮助。不少持久层框架对动态SQL的支持不足，在SQL需要动态拼接时非常苦恼，而Mybatis很好地解决了这个问题，算是框架的一大亮点。对于常见的场景，例如：批量插入/更新/删除，模糊查询，多条件查询，联表查询，