java线上问题排查基本命令
1、jvm基本命令
1.1、java命令
1.1.1、简介
java命令启动java应用程序。它通过启动Java运行时环境（JRE）、加载指定的类并调用该类的main（）方法来实现这一点。
1.1.2、命令链接
https://docs.oracle.com/javase/8/docs/technotes/tools/unix/java.html#BGBCIEFC
1.1.3、选项划分
- 标准选项：以“-”开头，比如-help -version，Java 虚拟机 (JVM) 的所有实现都保证支持标准选项。
- 非标准选项：以“-X”开头，特定于Java HotSpot 虚拟机的通用选项，因此不能保证所有 JVM 实现都支持它们，并且可能会发生变化。
- 高级选项：以“-XX”开头，这些是用于调整 Java HotSpot 虚拟机操作的特定区域的开发人员选项，这些区域通常具有特定的系统要求，并且可能需要对系统配置参数的特权访问。也不能保证所有 JVM 实现都支持它们，并且可能会发生变化。
- 布尔选项：用于启用默认禁用的功能或禁用默认启用的功能。此类选项不需要参数。布尔 -XX 选项使用加号 (-XX:+OptionName) 启用，使用减号 (-XX:-OptionName) 禁用。
1.2、javap命令
1.2.1、简介
javap是 Java class文件分解器，可以反编译，也可以查看java编译器生成的字节码。用于分解class文件。
1.2.2、命令链接
https://docs.oracle.com/javase/8/docs/technotes/tools/unix/javap.html#BEHHDJGA
1.2.3、javap主要参数的使用
- javap -l ：会输出行号和本地变量表信息；
- javap -c ：会对当前class字节码进行反编译生成汇编代码；
- javap -v： class字节码文件中除了包-c参数包含的内容外，还会输出行号、局部变量表信息、常量池等信息；
1.3、javac命令
1.3.1、简介
javac 是java语言编程编译器。全称java compiler。javac工具读由java语言编写的类和接口的定义，并将它们编译成字节代码的class文件。javac 可以隐式编译一些没有在命令行中提及的源文件。用 -verbose 选项可跟踪自动编译。当编译源文件时，编译器常常需要它还没有识别出的类型的有关信息。对于源文件中使用、扩展或实现的每个类或接口，编译器都需要其类型信息。这包括在源文件中没有明确提及、但通过继承提供信息的类和接口。
1.3.2、命令链接
https://docs.oracle.com/javase/8/docs/technotes/tools/unix/javac.html#BHCBDCJI
3.3.3、基本命令
用法: javac
其中, 可能的选项包括:
-g 生成所有调试信息
-g:none 不生成任何调试信息
-g:{lines,vars,source} 只生成某些调试信息
-nowarn 不生成任何警告
-verbose 输出有关编译器正在执行的操作的消息
-deprecation 输出使用已过时的 API 的源位置
-classpath <路径> 指定查找用户类文件和注释处理程序的位置
-cp <路径> 指定查找用户类文件和注释处理程序的位置
-sourcepath <路径> 指定查找输入源文件的位置
-bootclasspath <路径> 覆盖引导类文件的位置
-extdirs <目录> 覆盖所安装扩展的位置
-endorseddirs <目录> 覆盖签名的标准路径的位置
-proc:{none,only} 控制是否执行注释处理和/或编译。
-processor [,,...] 要运行的注释处理程序的名称; 绕过默认的搜索进程
-processorpath <路径> 指定查找注释处理程序的位置
-d <目录> 指定放置生成的类文件的位置
-s <目录> 指定放置生成的源文件的位置
-implicit:{none,class} 指定是否为隐式引用文件生成类文件
-encoding <编码> 指定源文件使用的字符编码
-source <发行版> 提供与指定发行版的源兼容性
-target <发行版> 生成特定 VM 版本的类文件
-version 版本信息
-help 输出标准选项的提要
-A关键字[=值] 传递给注释处理程序的选项
-X 输出非标准选项的提要
-J<标记> 直接将 <标记> 传递给运行时系统
-Werror 出现警告时终止编译
@<文件名> 从文件读取选项和文件名(多个Java文件写在此文件中)
1.4、jps命令
1.4.1、简介
jps(Java Virtual Machine Process Status Tool)是java提供的一个显示当前所有java进程pid的命令，适合在linux/unix平台上简单察看当前java进程的一些简单情况。
1.4.2、命令链接
https://docs.oracle.com/javase/8/docs/technotes/tools/unix/jps.html#CHDCGECD
1.4.3、基本命令
- -q：只显示pid，不显示class名称,jar文件名和传递给main方法的参数
- -m：输出传递给main方法的参数，在嵌入式jvm上可能是null
- -l：输出应用程序main class的完整package名或者应用程序的jar文件完整路径名
- -v：输出传递给JVM的参数
- -V：隐藏输出传递给JVM的参数
1.5、jinfo命令
1.5.1、简介
jinfo是java虚拟机自带的Java配置信息工具，可以实时地查看和调整虚拟机的各项参数。
在很多情况下，Java应用程序不会指定所有的Java虚拟机参数。而此时，开发人员可能不知道某一个具体的Java虚拟机参数的默认值。在这种情况下，可能需要通过查找文档获取某个参数的默认值。这个查找过程可能是非常艰难的。但有了 jinfo工具，开发人员可以很方便地找到Java虚拟机参数的当前值。
jinfo不仅可以查看运行时某一个Java虚拟机参数的实际取值， 甚至可以在运行时修改部分参 数，并使之立即生效。 但是，并非所有参数都支持动态修改。参数只有被标记 manageable的flag可以被实时修改。其实，这个修改能力是 极其有限的。
1.5.2、命令链接
https://docs.oracle.com/javase/8/docs/technotes/tools/unix/jinfo.html#BCGEBFDD
1.5.3、基本命令
- jinfo -sysprops pid ：查看该进程的全部配置信息
- jinfo -flags pid： 查看曾经赋过值的参数值
- jinfo -flag <具体参数> pid： 查看具体参数的值
- 使用jinfo进行参数修改-布尔值：jinfo -flag ±参数 pid
- 使用jinfo进行参数修改-非布尔值：jinfo -flag 参数名=参数值 pid
- java -XX: -PrintFlagslnitial 查看所有JVM参数启动的初始值
- java -XX: +PrintFlagsFinal 查看所有JVM参数的最终值
- java -XX: +PrintCommandLineflags 查看那些已经被用户或者JVM设置过的详细的XX参数的名称和值
1.6、jstat命令
1.6.1、简介
Jstat是java虚拟机统计信息工具，利用JVM内建的指令对Java应用程序的资源和性能进行实时的命令行的监控。
主要利用JVM内建的指令对Java应用程序的资源和性能进行实时的命令行的监控，包括了对Heap size和垃圾回收状况的监控。
1.6.2、命令链接
https://docs.oracle.com/javase/8/docs/technotes/tools/unix/jstat.html#BEHHGFAE
1.6.3、基本命令
jstat -option：参数选项
- -t：可以在打印的列加上Timestamp列，用于显示系统运行的时间
- -h：可以在周期性数据输出的时候，指定输出多少行以后输出一次表头
- vmid：Virtual Machine ID（ 进程的 pid）
- interval：执行每次的间隔时间，单位为毫秒
- count：用于指定输出多少次记录，缺省则会一直打印
-jstat -options
- -class 用于查看类加载情况的统计
- -compiler 用于查看HotSpot中即时编译器编译情况的统计
- -gc 用于查看JVM中堆的垃圾收集情况的统计
- -gccapacity 用于查看新生代、老生代及持久代的存储容量情况
- -gcmetacapacity 显示metaspace的大小
- -gcnew 用于查看新生代垃圾收集的情况
- -gcnewcapacity 用于查看新生代存储容量的情况
- -gcold 用于查看老生代及持久代垃圾收集的情况
- -gcoldcapacity 用于查看老生代的容量
- -gcutil 显示垃圾收集信息
- -gccause 显示垃圾回收的相关信息（通-gcutil）,同时显示最后一次仅当前正在发生的垃圾收集的原因
- -printcompilation 输出JIT编译的方法信息
1.7、jstack命令
1.7.1、简介
jstack是java虚拟机自带的一种堆栈跟踪工具，它用于打印出给定的java进程ID、core file、远程调试服务的Java堆栈信息。
- jstack命令用于生成虚拟机当前时刻的线程快照。
- 线程快照是当前虚拟机内每一条线程正在执行的方法堆栈的集合，生成线程快照的主要目的是定位线程出现长时间停顿的原因， 如线程间死锁、死循环、请求外部资源导致的长时间等待等问题。
- 线程出现停顿的时候通过jstack来查看各个线程的调用堆栈，就可以知道没有响应的线程到底在后台做什么事情，或者等待什么资源。
- 如果java程序崩溃生成core文件，jstack工具可以用来获得core文件的java stack和native stack的信息，从而可以轻松地知道java程序是如何崩溃和在程序何处发生问题。
- 另外，jstack工具还可以附属到正在运行的java程序中，看到当时运行的java程序的java stack和native stack的信息, 如果现在运行的java程序呈现hung的状态，jstack是非常有用的。
1.7.2、命令链接
https://docs.oracle.com/javase/8/docs/technotes/tools/unix/jstack.html#BABGJDIF
1.7.3、基本命令
jstack [ option ] pid // 打印某个进程的堆栈信息 (最常用)
jstack [ option ] executable core
jstack [ option ] [server-id@]remote-hostname-or-IP
- executable Java executable from which the core dump was produced.(可能是产生core dump的java可执行程序)
- core 将被打印信息的core dump文件
- remote-hostname-or-IP 远程debug服务的主机名或ip
- server-id 唯一id,假如一台主机上多个远程debug服务
option参数如下：
- -F：当正常输出的请求不被响应时，强制输出线程堆栈
- -m：如果调用到本地方法的话，可以显示C/C++的堆栈
- -l：除堆栈外，显示关于锁的附加信息，在发生死锁时可以用jstack -l pid来观察锁持有情况
使用jstack排查死锁问题
jstack -l pid | grep "deadlock"
1.8、jmap命令
1.8.1、简介
主要是生成java进程当前（当前指的是执行命令的时刻）内存堆转储快照，生成的快照经常用于分析内存溢出或者内存泄漏相关的问题。
除了生成内存快照，还可以有如下作用：
- Java堆和方法区的详细信息
- 内存空间使用率
- 当前用的是哪种收集器
1.8.2、命令链接
https://docs.oracle.com/javase/8/docs/technotes/tools/unix/jmap.html#CEGCECJB
1.8.3、基本命令
jmap [option] (最常用)
(to connect to running process)
jmap [option]
(to connect to a core file)
jmap [option] [server_id@]
(to connect to remote debug server)
生成内存快照：
jmap -dump:live,format=b,file=/path-you-want-to-save/java-heap-dump.hprof pid
Java堆和方法区的详细信息、内存空间使用率、当前用的是哪种收集器：
jmap -heap pid
1.9、jhat命令
1.9.1、简介
jhat命令与jmap命令搭配使用，用于分析jmap生成的heap dump文件（堆转储快照）。jhat内置了一个微型的HTTP/HTML服务器，对生成的dump文件分析后，可以在浏览器中查看分析结果。
注：jhat命令在JDK9、JDK10中已经被删除，官方建议用VisualVM代替。
1.9.2、命令链接
https://docs.oracle.com/javase/8/docs/technotes/tools/unix/jhat.html#CIHHJAGE
1.9.3、基本命令
jhat [-stack ] [-refs ] [-port ] [-baseline ] [-debug ] [-version] [-h|-help]
- -stack false|true:关闭跟踪对象分配调用堆栈。如果堆dump中没有分配站点信息，则必须将此标志设置为false。默认值为true。
- -refs false|true:关闭对对象的引用跟踪。默认是true，默认情况下，将为堆中的所有对象计算回指针，回指针是指向指定对象(如引用者或传入引用)的对象。
- -port port-number:设置jhat HTTP服务器的端口。默认是7000。
- -exclude exclude-file:指定一个文件，该文件列出应该从可达对象查询中排除的数据成员。例如：如果指定了java.lang.String.value，那么会排除该属性。
- -baseline exclude-file:指定baseline堆dump文件，具有相同对象ID的两个堆转储中的对象被标记为非新对象。其他对象被标记为new。这对于比较两个不同的堆转储非常有用。
- -debug int:设置工具的调试级别，级别0表示没有调试输出，值越高越详细。
- -version:显示版本号
- -h:显示帮助信息
- -help:显示帮助信息
- -Jflag:将标志传递给运行jhat命令的Java虚拟机。例如，-J-Xmx512m表示使用最大堆大小512 MB。
2、性能排查
2.1、定位线上最耗CPU的线程
2.1.1、通过top命令找到最耗时的进程
top // 假设找到进程号是98344
2.1.2、找到进程中最耗CPU的线程
方案1
ps -Lp #pid cu // ps -Lp 98344 cu
ps -Lp #pid cu --sort -pcpu // 按CPU倒序排序 +pcpu(按cpu升序排序)
ps -Lp #pid cu --sort -pmem // 按内存倒序排序
ps -Lp #pid cu | sort -rnk 3 // 按照第三列倒序排序
ps -Lp #pid cu | sort -rnk 3 | head -n 1 // 排序展示第一条
- -r：表示倒序排列
- -n：表示按照数值排序
- -k：3表示按照第3个字段排序
- head -n 1：取第1条数据
方案2
top -Hp pid // top -Hp 98344
2.1.3、获取线程id的十六进制码
printf '%x\n' #threadId // printf '%x\n' 98345 -> 18029
2.1.4、查看线程堆栈信息
jstack #pid | grep -A 10 "nid=0x<十六进制码>" // jstack 10 | grep -A 10 "nid=0x18029"
- -C：显示查找到内容的上下5行
- -A：显示查找到内容的前5行
- -B：显示查找到内容的后5行
3、free命令
free是查看内存使用情况，包括物理内存、交换内存(swap)和内核缓冲区内存。
free -h -s 3表示每隔三秒输出一次内存情况，命令如下：
- Mem：是内存的使用情况。
- Swap：是交换空间的使用情况。
- total：系统总的可用物理内存和交换空间大小。
- used：已经被使用的物理内存和交换空间。
- free：还有多少物理内存和交换空间可用使用，是真正尚未被使用的物理内存数量。
- shared：被共享使用的物理内存大小。
- buff/cache：被 buffer（缓冲区） 和 cache（缓存） 使用的物理内存大小。
- available：还可以被应用程序使用的物理内存大小，它是从应用程序的角度看到的可用内存数量，available ≈ free + buffer + cache。
交换空间(swap space)
swap space 是磁盘上的一块区域，当系统物理内存吃紧时，Linux 会将内存中不常访问的数据保存到 swap 上，这样系统就有更多的物理内存为各个进程服务，而当系统需要访问 swap 上存储的内容时，再将 swap 上的数据加载到内存中，这就是常说的换出和换入。
交换空间可以在一定程度上缓解内存不足的情况，但是它需要读写磁盘数据，所以性能不是很高。
4、vmstat命令 (推荐)
vmstat（VirtualMeomoryStatistics，虚拟内存统计）是Linux中监控内存的常用工具，可对操作系统的虚拟内存、进程、CPU等的整体情况进行监视，推荐使用。
vmstat 5 3表示每隔5秒统计一次，一共统计三次。
procs模块
- r：表示运行和等待CPU时间片的进程数（就是说多少个进程真的分配到CPU），这个值如果长期大于系统CPU个数，说明CPU不足，需要增加CPU。
- b：表示在等待资源的进程数，比如正在等待I/O或者内存交换等。
memory模块
- swpd：表示切换到内存交换区的内存大小，即虚拟内存已使用的大小（单位KB），如果大于0，表示你的机器物理内存不足了，如果不是程序内存泄露的原因，那么你该升级内存了或者把耗内存的任务迁移到其他机器。
- free：表示当前空闲的物理内存
- buff：表示缓冲大小，一般对块设备的读写才需要缓冲
- Cache：表示缓存大小，一般作为文件系统进行缓冲，频繁访问的文件都会被缓存，如果cache值非常大说明缓存文件比较多，如果此时io中的bi比较小，说明文件系统效率比较好。
swap模块
- si：表示数据由磁盘读入内存；通俗的讲就是每秒从磁盘读入虚拟内存的大小，如果这个值大于0，表示物理内存不够用或者内存泄露了，要查找耗内存进程解决掉。
- so：表示由内存写入磁盘，也就是由内存交换区进入内存的数据大小。
注意：一般情况下si、so的值都为0，如果si、so的值长期不为0，则说明系统内存不足，需要增加系统内存
io模块
- bi：表示由块设备读入数据的总量，即读磁盘，单位kb/s
- bo：表示写到块设备数据的总量，即写磁盘，单位kb/s
注意：如果bi+bo的值过大，且wa值较大，则表示系统磁盘IO瓶颈。
system 模块
- in：表示某一时间间隔内观测到的每秒设备终端数。
- cs：表示每秒产生的上下文切换次数，这个值要越小越好，太大了，要考虑调低线程或者进程的数目。
例如在apache和nginx这种web服务器中，我们一般做性能测试时会进行几千并发甚至几万并发的测试，选择web服务器的进程可以由进程或者线程的峰值一直下调，压测，直到cs到一个比较小的值，这个进程和线程数就是比较合适的值了。
系统调用也是，每次调用系统函数，我们的代码就会进入内核空间，导致上下文切换，这个是很耗资源，也要尽量避免频繁调用系统函数。
上下文切换次数过多表示你的CPU大部分浪费在上下文切换，导致CPU干正经事的时间少了，CPU没有充分利用，是不可取的。
注意：这两个值越大，则由内核消耗的CPU就越多。
CPU模块
- us：表示用户进程消耗的CPU时间百分比，us值越高，说明用户进程消耗CPU时间越多，如果长期大于50%，则需要考虑优化程序或者算法。
- sy：表示系统内核进程消耗的CPU时间百分比，一般来说us+sy应该小于80%，如果大于80%，说明可能存在CPU瓶颈。
- id：表示CPU处在空间状态的时间百分比。
- wa：表示IP等待所占用的CPU时间百分比，wa值越高，说明I/O等待越严重，根据经验wa的参考值为20%，如果超过20%，说明I/O等待严重，引起I/O等待的原因可能是磁盘大量随机读写造成的，也可能是磁盘或者监控器的贷款瓶颈（主要是块操作）造成的。
5、sar命令
sar和free类似sar -r 3每隔三秒输出一次内存信息：
通过sar -u 3可以查看CUP总体消耗占比：
- %user：用户空间的CPU使用。
- %nice：改变过优先级的进程的CPU使用率。
- %system：内核空间的CPU使用率。
- %iowait：CPU等待IO的百分比 。
- %steal：虚拟机的虚拟机CPU使用的CPU。
- %idle：空闲的CPU。
在以上的显示当中，主要看%iowait和%idle：
- 若 %iowait的值过高，表示硬盘存在I/O瓶颈；
- 若 %idle的值高但系统响应慢时，有可能是 CPU 等待分配内存，此时应加大内存容量；
- 若 %idle的值持续低于 10，则系统的 CPU 处理能力相对较低，表明系统中最需要解决的资源是 CPU；
6、top命令
在Linux内核的操作系统中，进程是根据虚拟运行时间（由进程优先级、nice值加上实际占用的CPU时间进行动态计算得出）进行动态调度的。
在执行进程时，需要从用户态转换到内核态，用户空间不能直接操作内核空间的函数。
通常要利用系统调用来完成进程调度，而用户空间到内核空间的转换通常是通过软中断来完成的。例如要进行磁盘操作，用户态需要通过系统调用内核的磁盘操作指令，所以CPU消耗的时间被切分成用户态CPU消耗、系统（内核） CPU 消耗，以及磁盘操作 CPU 消耗。
执行进程时，需要经过一系列的操作，进程首先在用户态执行，在执行过程中会进行进程优先级的调整（nice），通过系统调用到内核，再通过内核调用，硬中断、软中断，让硬件执行任务。
执行完成之后，再从内核态返回给系统调用，最后系统调用将结果返回给用户态的进程。
top可以查看CPU总体消耗，包括分项消耗，如User，System，Idle，nice等。
- Shift + H显示java线程；Shift + M按照内存使用排序；
- Shift + P按照CPU使用时间（使用率）排序；
- Shift + T按照CPU累积使用时间排序；
多核CPU，进入top视图1，可以看到各CPU的负载情况。
第一行：15:24:11 up 8 days, 7:52, 1 user, load average: 5.73, 6.85, 7.33：
- 15:24:11 系统时间
- up 8 days 运行时间
- 1 user 当前登录用户数
- load average 负载均衡情况，分别表示1分钟，5分钟，15分钟负载情况
第二行：Tasks: 17 total, 1 running, 16 sleeping, 0 stopped, 0 zombie：
- 总进程数17
- 运行数1
- 休眠 16
- 停止0
- 僵尸进程0
第三行：%Cpu(s): 13.9 us, 9.2 sy, 0.0 ni, 76.1 id, 0.1 wa, 0.0 hi, 0.1 si, 0.7 st：
- 用户空间CPU占比13.9%
- 内核空间CPU占比9.2%
- 改变过优先级的进程CPU占比0%
- 空闲CPU占比76.1
- IO等待占用CPU占比0.1%
- 硬中断占用CPU占比0%
- 软中断占用CPU占比0.1%
- 当前VM中的cpu 时钟被虚拟化偷走的比例0.7%
第四和第五行表示内存和swap区域的使用情况
第七行
- PID: 进程id
- USER:进程所有者
- PR:进程优先级
- NI:nice值。负值表示高优先级，正值表示低优先级
- VIRT:虚拟内存，进程使用的虚拟内存总量，单位kb。VIRT=SWAP+RES
- RES:常驻内存，进程使用的、未被换出的物理内存大小，单位kb。RES=CODE+DATA
- SHR:共享内存，共享内存大小，单位kb
- S:进程状态。D=不可中断的睡眠状态 R=运行 S=睡眠 T=跟踪/停止 Z=僵尸进程
- %CPU:上次更新到现在的CPU时间占用百分比
- %MEM:进程使用的物理内存百分比
- TIME+:进程使用的CPU时间总计，单位1/100秒
- COMMAND:进程名称（命令名/命令行）
7、磁盘
7.1、查看磁盘剩余空间
查看磁盘剩余空间使用df -hl命令：
7.2、查看磁盘已使用空间
du -sh命令是查看磁盘已使用空间的情况，这里的“已使用的磁盘空间”意思是指定的文件下的整个文件层次结构所使用的空间，在没给定参数的情况下，du报告当前目录所使用的磁盘空间。
其实就是显示文件或目录所占用的磁盘空间的情况：
- -h：输出文件系统分区使用的情况，例如：10KB，10MB，10GB等。
- -s：显示文件或整个目录的大小，默认单位是KB。
du的详细信息可以通过 man du查看。
7.3、查看磁盘读写情况
通iostat查看磁盘总体的读写情况：
- tps：该设备每秒的传输次数。
- kB_read/s：每秒从设备（drive expressed）读取的数据量；
- kB_wrtn/s：每秒向设备（drive expressed）写入的数据量；
- kB_read：读取的总数据量；
- kB_wrtn：写入的总数量数据量；
7.4、查看磁盘详细读写情况
通过iostat -x 1 3可以看到磁盘详细读写情况，没隔一秒输出一次一共输出3次，当看到I/O等待时间所占CPU时间的比重很高的时候，首先要检查的就是机器是否正在大量使用交换空间，同时关注iowait占比cpu的消耗是否很大，如果大说明磁盘存在大的瓶颈，同时关注await，表示磁盘的响应时间以便小于5ms：
avg-cpu表示总体cpu使用情况统计信息，对于多核cpu，这里为所有cpu的平均值：
- %user：CPU处在用户模式下的时间百分比。
- %nice：CPU处在带NICE值的用户模式下的时间百分比。
- %system：CPU处在系统模式下的时间百分比。
- %iowait：CPU等待输入输出完成时间的百分比，如果%iowait的值过高，表示硬盘存在I/O瓶颈。
- %steal：管理程序维护另一个虚拟处理器时，虚拟CPU的无意识等待时间百分比。
- %idle：CPU空闲时间百分比
1、如果%idle值高，表示CPU较空闲；
2、如果%idle值高但系统响应慢时，可能是CPU等待分配内存，应加大内存容量；
3、如果%idle值持续低于10，表明CPU处理能力相对较低，系统中最需要解决的资源是CPU。
Device表示设备信息
- rrqm/s：每秒对该设备的读请求被合并次数，文件系统会对读取同块(block)的请求进行合并
- wrqm/s：每秒对该设备的写请求被合并次数
- r/s：每秒完成的读次数
- w/s：每秒完成的写次数
- rkB/s：每秒读数据量(kB为单位)
- wkB/s：每秒写数据量(kB为单位)
- avgrq-sz：平均每次IO操作的数据量(扇区数为单位)
- avgqu-sz：平均等待处理的IO请求队列长度
- await：平均每次IO请求等待时间(包括等待时间和处理时间，毫秒为单位)
- svctm：平均每次IO请求的处理时间(毫秒为单位)
- %util：一秒中有百分之多少的时间用于 I/O如果%util接近100%，说明产生的I/O请求太多，I/O系统已经满负荷。idle小于70% IO压力就较大了，一般读取速度有较多的wait。
!! iostat -xmd 1 3：新增m选项可以在输出是使用M为单位。
8、查看最耗IO的进程
一般先通过iostat查看是否存在io瓶颈，再使用iotop命令来定位那个进程最耗费IO：
通过iotop -p pid可以查看单个进程的IO情况：
9、其它命令
9.1、查看某个进程的PID
如查看java的进程的pid，ps -ef | grep java:
9.2、查看特定进程的数量
如查看java进程的数量,ps -ef | grep java| wc -l：
9.3、查看线程是否存在死锁
查看线程是否存在死锁，jstack -l pid：
9.4、查看某个进程的线程数
ps -efL | grep [PID] | wc -l，如：
查看具体有哪些线程用ps -Lp [pid] cu:
9.5、统计所有的log文件中，包含Error字符的行
find / -type f -name “*.log” | xargs grep “ERROR”，这个在排查问题过程中比较有用：
9.6、应用启动时指定JVM参数
java -jar -Xms128m -Xmx1024m -Xss512k -XX:PermSize=128m -XX:MaxPermSize=64m -XX:NewSize=64m -XX:MaxNewSize=256m arthas-demo.jar，如：
9.7、排查命令
