线上事故处理总结
1、线上有些机器cpu idle（cpu空闲时间）和load avg（系统负载）报警；这个跟业务逻辑还不太一样，如果业务逻辑错误还可以看 error日志，看看zabbix上监控的上游服务时间相应等等
到底是什么原因引起的呢？我们必须知道系统现在到底在干啥？思路无非就是通过JVM的工具：
1、jstack看进程中的各个线程都在干啥？
2、jmap 看看内存是不是满了？young区&old区等。。。
3、jstat 看看gc次数和时间是否频繁？
但是问题来了，jstack可以dump所有线程的运作情况，但是比较繁忙的是哪些？用用户线程、垃圾回收线程等，很难清晰看出来；jmap 可以看出各区的内存状况，以及存活对象统计等，但是为什么这个对象没有被回收，也很难直观看出来；jstat可以看出gc时间和次数，这只是结果的表现，根本原因还是没找到，特别是处理线上问题，有时候不冷静情况下。
问题采取的手段还是还是有的：
1、查看进程id，如ps aux ｜grep java
2、查看进程中各线程占用cpu状态， 选出最繁忙的线程程id，top －Hp pid
3、把进程转成16进制，printf “ ％x\n” ｛线程id｝
4、下一步终于轮到jstack上场了，它用来输出进程｛线程id｝的堆栈信息，然后根据线程ID的十六进制值grep。
这样就可以定位到我们代码是在哪一块线程消耗最多啦，顺藤摸瓜就能找到问题啦。
就这个线上问题，如下图，我们看到idService.putPoiIdsInfoIntoCache()函数频繁试用，原因是之前留了一历史问题没处理好，就是job模块当产生新的poi或者poi信息变更的时候通过zeromq队列发送poiid给thrift模块，使thrift更新poiId，现在已经不用这样机制了，改成直接超苦了。当job频繁发送消息，时候会对thrift模块产生压力，可能就处理不过来了。（修改逻辑之后，报警解除，后续看看产生的影响）
PS：
上面解决问题的那几个套路，可以在VM上运行一个脚本，就可以知道进程中繁忙的top n 线程在搞些啥，供以后排查问题可以试用：
#!/bin/bash
# @Function
# Find out the highest cpu consumed threads of java, and print the stack of these threads.
#
# @Usage
# $ ./show-busy-java-threads.sh
#
# @author Jerry Lee
PROG=`basename $0`
usage() {
cat <<EOF
Usage: ${PROG} [OPTION]...
Find out the highest cpu consumed threads of java, and print the stack of these threads.
Example: ${PROG} -c 10
Options:
-p, --pid find out the highest cpu consumed threads from the specifed java process,
default from all java process.
-c, --count set the thread count to show, default is 5
-h, --help display this help and exit
EOF
exit $1
}
ARGS=`getopt -n "$PROG" -a -o c:p:h -l count:,pid:,help -- "$@"`
[ $? -ne 0 ] && usage 1
eval set -- "${ARGS}"
while true; do
case "$1" in
-c|--count)
count="$2"
shift 2
;;
-p|--pid)
pid="$2"
shift 2
;;
-h|--help)
usage
;;
--)
shift
break
;;
esac
done
count=${count:-5}
redEcho() {
[ -c /dev/stdout ] && {
# if stdout is console, turn on color output.
echo -ne "\033[1;31m"
echo -n "$@"
echo -e "\033[0m"
} || echo "$@"
}
## Check the existence of jstack command!
if ! which jstack &> /dev/null; then
[ -n "$JAVA_HOME" ] && [ -f "$JAVA_HOME/bin/jstack" ] && [ -x "$JAVA_HOME/bin/jstack" ] && {
export PATH="$JAVA_HOME/bin:$PATH"
} || {
redEcho "Error: jstack not found on PATH and JAVA_HOME!"
exit 1
}
fi
uuid=`date +%s`_${RANDOM}_$$
cleanupWhenExit() {
rm /tmp/${uuid}_* &> /dev/null
}
trap "cleanupWhenExit" EXIT
printStackOfThread() {
while read threadLine ; do
pid=`echo ${threadLine} | awk '{print $1}'`
threadId=`echo ${threadLine} | awk '{print $2}'`
threadId0x=`printf %x ${threadId}`
user=`echo ${threadLine} | awk '{print $3}'`
pcpu=`echo ${threadLine} | awk '{print $5}'`
jstackFile=/tmp/${uuid}_${pid}
[ ! -f "${jstackFile}" ] && {
jstack ${pid} > ${jstackFile} || {
redEcho "Fail to jstack java process ${pid}!"
rm ${jstackFile}
continue
}
}
redEcho "The stack of busy(${pcpu}%) thread(${threadId}/0x${threadId0x}) of java process(${pid}) of user(${user}):"
sed "/nid=0x${threadId0x}/,/^$/p" -n ${jstackFile}
done
}
[ -z "${pid}" ] && {
ps -Leo pid,lwp,user,comm,pcpu --no-headers | awk '$4=="java"{print $0}' |
sort -k5 -r -n | head --lines "${count}" | printStackOfThread
} || {
ps -Leo pid,lwp,user,comm,pcpu --no-headers | awk -v "pid=${pid}" '$1==pid,$4=="java"{print $0}' |
sort -k5 -r -n | head --lines "${count}" | printStackOfThread
} |