一次生产事故引起的反思

五一回家的路上，看到微信群里的通知，用户无法登陆，所有用户相关的操作均不能进行，最终发现是用户中心上线时少了一个class导致的。

检查日志，发现jaException in thread "pool-1-thread-10" java.lang.NoSuchMethodError错误。

我们的处理流程是一个NIO服务器创建人物队列，20个业务线程从任务队列里获取数据，并执行任务。由于线程执行中没有线程终止检测自动重建机制，所以导致了最后20个线程都挂掉，最终服务停止。

解决方法有以下几种：
1、上传缺失的class文件。
2、业务线程捕获异常Exception改为捕获Throwable。
3、增加线程TERMINATED检测，如果线程挂掉，重新开启一个线程。

第二种和第三种用一种便可以。


吸取的经验教训：
1、以后上线时，先写一个readme.txt，说明需要上线的文件，上线完以后在检查一遍，确认无误在进行系统重启。
2、系统底层通信和业务处理框架了解依然不够深入，线程模型，异常、错误捕获处理不够完善。

努力吧，骚年。