Linux进程实时监控监控工具
背景说明：
一、htop是TOP的增强版；
二、dstat 是一个可以取代vmstat，iostat，netstat和ifstat这些命令的多功能产品；
三、perf是一款Linux性能分析工具。Linux性能计数器是一个新的基于内核的子系统，它提供一个性能分析框架，比如硬件（CPU、PMU(Performance Monitoring Unit)）功能和软件(软件计数器、tracepoint)功能。=》性能剖析（performance profiling）和代码优化
四、iotop
一、htop
1、安装GCC及其编译的库
如果没有安装gcc，按如下来安装
yum install -y gcc
安装后，编译htop需要安装一个编译Linux内核的库
yum install -y ncurses-devel2、HTOP下载，编译和安装
htop下载
wget http://sourceforge.net/projects/htop/files/latest/download
解压
tar -zxf download
cd htop-1.0.2
./configure && make && make install执行./configure; 如果执行报错 configure: error: You may want to use --disable-unicode or install libncursesw. ， 表明缺少lib 包， 安装lib包：yum install ncurses-devel
3、htop 参数
键入htop 命令，打开htop。
# htop
上面左上角显示CPU、内存、交换区的使用情况，右边显示任务、负载、开机时间，下面就是进程实时状况。
下面是 F1~F10 的功能和对应的字母快捷键。
| Shortcut Key | Function Key | Description | 中文说明 |
| h, ? | F1 | Invoke htop Help | 查看htop使用说明 |
| S | F2 | Htop Setup Menu | htop 设定 |
| / | F3 | Search for a Process | 搜索进程 |
| \ | F4 | Incremental process filtering | 增量进程过滤器 |
| t | F5 | Tree View | 显示树形结构 |
| <, > | F6 | Sort by a column | 选择排序方式 |
| [ | F7 | Nice - (change priority) | 可减少nice值，这样就可以提高对应进程的优先级 |
| ] | F8 | Nice + (change priority) | 可增加nice值，这样就可以降低对应进程的优先级 |
| k | F9 | Kill a Process | 可对进程传递信号 |
| q | F10 | Quit htop | 结束htop |
命令行选项（COMMAND-LINE OPTIONS）
-C --no-color 使用一个单色的配色方案
-d --delay=DELAY 设置延迟更新时间，单位秒
-h --help 显示htop 命令帮助信息
-u --user=USERNAME 只显示一个给定的用户的过程
-p --pid=PID,PID… 只显示给定的PIDs
-s --sort-key COLUMN 依此列来排序
-v –version 显示版本信息
交互式命令（INTERACTIVE COMMANDS）
上下键或PgUP, PgDn 选定想要的进程，左右键或Home, End 移动字段，当然也可以直接用鼠标选定进程；
Space 标记/取消标记一个进程。命令可以作用于多个进程，例如 "kill"，将应用于所有已标记的进程
U 取消标记所有进程
s 选择某一进程，按s:用strace追踪进程的系统调用
l 显示进程打开的文件: 如果安装了lsof，按此键可以显示进程所打开的文件
I 倒转排序顺序，如果排序是正序的，则反转成倒序的，反之亦然
+, - When in tree view mode, expand or collapse subtree. When a subtree is collapsed a "+" sign shows to the left of the process name.
a (在有多处理器的机器上) 设置 CPU affinity: 标记一个进程允许使用哪些CPU
u 显示特定用户进程
M 按Memory 使用排序
P 按CPU 使用排序
T 按Time+ 使用排序
F 跟踪进程: 如果排序顺序引起选定的进程在列表上到处移动，让选定条跟随该进程。这对监视一个进程非常有用：通过这种方式，你可以让一个进程在屏幕上一直可见。使用方向键会停止该功能。
K 显示/隐藏内核线程
H 显示/隐藏用户线程
Ctrl-L 刷新
Numbers PID 查找: 输入PID，光标将移动到相应的进程上
4、htop 使用
4.1. 显示自带帮助
鼠标点击Help或者按F1 显示自带帮助
4.2. htop 设定
鼠标点击Setup或者按下F2 之后进入htop 设定的页面，Meters 页面设定了顶端的一些信息显示，顶端的显示又分为左右两侧，到底能显示些什么可以在最右侧那栏新增，要新增到上方左侧（F5）或是右侧（F6）都可以，这就是个人设定的范围了。这里多加了一个时钟。
上方左右两栏的显示方式分为Text Bar Graph Led 四种，下图我就把 cpu memory swap 改成文本模式显示，然后右栏的改成Bar 显示，clock 用LED方式显示。数据显示都差不多，只是这样看有点不习惯了。
关于Display options 的设定，可要根据管理者自己的需要来设定。
颜色选择，除了基本的颜色显示之外，htop 还提供了换面板的功能，其实也只是改变一些色彩显示的设定，虽然说不能自定义到细部的颜色显示，但是至少提供了几种风格可以选择。
最后一项的设定是调整 Columns 的显示，就是在一般htop 指令进来希望可以看到的什么样的数据及信息，字段的调整可以在这边做个人化的设定，一般使用系统默认值就好了。
4.3. 搜索进程
鼠标点击Search 或者按下F3 或者输入"/"， 输入进程名进行搜索，例如搜索ssh
4.4. 过滤器
按下F4，进入过滤器，相当于关键字搜索，不区分大小写，例如过滤dev
4.5. 显示树形结构
输入"t"或按下F5，显示树形结构，意思跟pstree 差不多，能看到所有程序树状执行的结构，这对于系统管理来说相当方便，理清程序是如何产生的，当然树状结构的浏览也可以依照其他数据来排序。
4.6. 选择排序方式
按下F6 就可以选择依照什么来排序，最常排序的内容就是cpu 和memory 吧！
4.7 操作进程
F7、F8分别对应nice-和nice+，F9对应kill给进程发信号，选好信号回车就OK了
4.8. 显示某个用户的进程，在左侧选择用户
输入"u"，在左侧选择用户
5、Alias top
也许你用惯了top，我们也可以用top来打开htop。
编辑/root/.bashrc文件，添加如下代码
if [ -f /usr/local/bin/htop ]; then
alias top=’/usr/local/bin/htop’
fi
# source /root/.bashrc
二、dstat
1、安装
官网下载地址：http://dag.wieers.com/rpm/packages/dstat
wget http://dag.wieers.com/rpm/packages/dstat/dstat-0.6.7-1.rh7.rf.noarch.rpm rpm -ivh dstat-0.6.7-1.rh7.rf.noarch.rpm
OR
yum install dstat
2、
安装完后就可以使用了，dstat非常强大，可以实时的监控cpu、磁盘、网络、IO、内存等使用情况。
直接使用dstat，默认使用的是-cdngy参数，分别显示cpu、disk、net、page、system信息，默认是1s显示一条信息。可以在最后指定显示一条信息的时间间隔，如dstat 5是没5s显示一条，dstat 5 10表示没5s显示一条，一共显示10条。
dstat ----total-cpu-usage---- -dsk/total- -net/total- ---paging-- ---system-- usr sys idl wai hiq siq| read writ| recv send| in out | int csw 0 0 99 0 0 0|7706B 164k| 0 0 | 0 0 | 189 225 0 0 100 0 0 0| 0 0 |4436B 826B| 0 0 | 195 248 1 0 99 0 0 0| 0 0 |4744B 346B| 0 0 | 203 242 0 0 100 0 0 0| 0 0 |5080B 346B| 0 0 | 206 242 0 1 99 0 0 0| 0 0 |5458B 444B| 0 0 | 214 244 1 0 99 0 0 0| 0 0 |5080B 346B| 0 0 | 208 242
CPU状态：CPU的使用率。这项报告更有趣的部分是显示了用户，系统和空闲部分，这更好地分析了CPU当前的使用状况。如果你看到"wait"一栏中，CPU的状态是一个高使用率值，那说明系统存在一些其它问题。当CPU的状态处在"waits"时，那是因为它正在等待I/O设备（例如内存，磁盘或者网络）的响应而且还没有收到。
磁盘统计：磁盘的读写操作，这一栏显示磁盘的读、写总数。
网络统计：网络设备发送和接受的数据，这一栏显示的网络收、发数据总数。
分页统计：系统的分页活动。分页指的是一种内存管理技术用于查找系统场景，一个较大的分页表明系统正在使用大量的交换空间，或者说内存非常分散，大多数情况下你都希望看到page in（换入）和page out（换出）的值是0 0。
系统统计：这一项显示的是中断（int）和上下文切换（csw）。这项统计仅在有比较基线时才有意义。这一栏中较高的统计值通常表示大量的进程造成拥塞，需要对CPU进行关注。你的服务器一般情况下都会运行运行一些程序，所以这项总是显示一些数值。
下面对显示出来的部分信息作一些说明：
- cpu：hiq、siq分别为硬中断和软中断次数。
- system：int、csw分别为系统的中断次数（interrupt）和上下文切换（context switch）。
三、perf
perf top
默认情况下perf top是无法显示信息的，需要sudo perf top或者echo -1 > /proc/sys/kernel/perf_event_paranoid(在Ubuntu16.04，还需要echo 0 > /proc/sys/kernel/kptr_restrict)。
即可以正常显示perf top如下：
第一列：符号引发的性能事件的比例，指占用的cpu周期比例。
第二列：符号所在的DSO(Dynamic Shared Object)，可以是应用程序、内核、动态链接库、模块。
第三列：DSO的类型。[.]表示此符号属于用户态的ELF文件，包括可执行文件与动态链接库；[k]表述此符号属于内核或模块。
第四列：符号名。有些符号不能解析为函数名，只能用地址表示。
关于perf top界面常用命令如下：
h：显示帮助，即可显示详细的帮助信息。
UP/DOWN/PGUP/PGDN/SPACE：上下和翻页。
a：annotate current symbol，注解当前符号。能够给出汇编语言的注解，给出各条指令的采样率。
d：过滤掉所有不属于此DSO的符号。非常方便查看同一类别的符号。
P：将当前信息保存到perf.hist.N中。
perf top常用选项有：
-e
：指明要分析的性能事件。 -p
：Profile events on existing Process ID (comma sperated list). 仅分析目标进程及其创建的线程。 -k
：Path to vmlinux. Required for annotation functionality. 带符号表的内核映像所在的路径。 -K：不显示属于内核或模块的符号。
-U：不显示属于用户态程序的符号。
-d
：界面的刷新周期，默认为2s，因为perf top默认每2s从mmap的内存区域读取一次性能数据。 -g：得到函数的调用关系图。
perf top --call-graph [fractal]，路径概率为相对值，加起来为100%，调用顺序为从下往上。
perf top --call-graph graph，路径概率为绝对值，加起来为该函数的热度。
四、iotop
Total DISK read: 0.00 B/s | Total DISK write: 0.00 B/s
TID PRIO USER DISK READ DISK WRITE SWAPIN IO> command
1 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % init [3]
2 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [kthreadd]
3 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [migration/0]
4 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [ksoftirqd/0]
5 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [watchdog/0]
6 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [migration/1]
7 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [ksoftirqd/1]
8 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [watchdog/1]
9 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [events/0]
10 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [events/1]
11 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [khelper]
2572 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [bluetooth]