Thrift 个人实战--Thrift RPC服务框架日志的优化
前言:
Thrift作为Facebook开源的RPC框架, 通过IDL中间语言, 并借助代码生成引擎生成各种主流语言的rpc框架服务端/客户端代码. 不过Thrift的实现, 简单使用离实际生产环境还是有一定距离, 本系列将对Thrift作代码解读和框架扩充, 使得它更加贴近生产环境. 本文讲述RPC服务框架中, 日志的重要性, 以及logid的引入. 日志不仅包含丰富的数据(就看是否会挖掘), 而且还是线上服务问题追踪和排查错误最好的方式.
日志级别
采用大家喜闻乐见的log4j作为该RPC服务框架首选的日志库. 其对日志的级别有如下几种:
1). TRACE 最细粒度级别日志级别
2). DEBUG 对调试应用程序有帮助的日志级别
3). INFO 粗粒度级别突出强调应用程序的运行
4). WARN 表明潜在错误的情形
5). ERROR 明确发生错误, 但不影响系统继续运行
6). FATAL 严重的错误, 会导致应用工作不正常
日志级别等级顺序如下: TRACE < DEBUG < INFO < WARN < ERROR < FATAL
而应用具体的输出取决于日志级别的设置(包含及以上才会输出), 往往项目该上线采用DEBUG级别(日志量大, 容易写满磁盘), 等系统稳定后采用INFO级别
RPC服务日志需求
上述的日志需求虽然能定位问题, 但往往存在如下问题:
1). 很多日志只是简单了记录该点(代码行)运行过, 或是运行到该点的数据快照.
2). 服务由多种模块(每个模块由有多个节点构成)组成, 之间的日志串联不起来.
而好的日志设计, 必须能满足
1). 以完整的一次RPC调用作为单位(不是某个执行点快照, 而是完整的RPC callback过程), 并输出完整的一行日志记录, 包括(时间点, 来源, 输入参数, 输出参数, 中间经历的子过程, 消耗时间).
2). 引入logid, 作为多个模块之间串联的依据.
RPC级别的日志解决方案
尝试如下navie的方式去实现
public String echo(String msg) {
StringBuilder sb = new StringBuilder();
// *) 记录输入参数
sb.append("[request: {msg: msg}]");
// *) 访问缓存服务
sb.append("[action: access redis, consume 100ms]");
// *). 访问后端数据库
sb.append("[action: dao, consume 100ms]");
// *). 记录返回结果
sb.append("[response: {msg}]");
logger.info(sb.toString());
return msg;
}
评注: 这边的echo函数代表了一个rpc服务调用接口, 且简化了各个组件的交互. 同时引入StringBuilder, 记录各个交互的过程和时间消耗, 最后统一由函数出口前使用logger进行日志的统一输入.
但是这种方式弊端非常的明显:
1. 假设该rpc服务的函数, 存在多个出口
2. 函数存在嵌套调用, 需要嵌套子函数的过程信息
如下面的代码片段, 可参考:
public boolean verifySession() {
// ***********我要记录日志(*^__^*) ***************
}
public String echo(String msg) {
StringBuilder sb = new StringBuilder();
// *) 调用子过程
verifySession();
// *) 记录输入参数
sb.append("[request: {msg: msg}]");
// *) 访问缓存服务
if ( KeyValueEngine Access Fail ) {
// *********日志记录在那里***********
throw new Exception();
}
sb.append("[action: access redis, consume 100ms]");
// *). 访问后端数据库
if ( Database Access Fail ) {
// *********日志记录在那里***********
throw new Exception();
}
sb.append("[action: dao, consume 100ms]");
// *). 记录返回结果
sb.append("[response: {msg}]");
logger.info(sb.toString());
return msg;
}
评注: 子函数verifySession的调用, 需要把StringBuilder对象往里传, 才能记录相关的信息, 而多个异常出口, 需要把日志输入往里添加(这个繁琐且容易忘记). 这种方案只能说容易想到, 但不是最佳的方案.
有一点不可否认, rpc调用始终在同一个线程中. 聪明的读者是否猜到了最佳的解决方案.
对, 就是大杀器ThreadLocal,其能解决子函数调用的问题, 那多出口问题呢? 让rpc服务框架去处理, 其作为具体rpc调用的最外层.
采用动态代理类, 去拦截rpc的handler接口调用.
public class LogProxyHandler<T> implements InvocationHandler {
private T instance;
public LogProxyHandler(T instance) {
this.instance = instance;
}
public Object createProxy() {
return Proxy.newProxyInstance(instance.getClass().getClassLoader(),
instance.getClass().getInterfaces(), this);
}
@Override
public Object invoke(Object proxy, Method method, Object[] args)
throws Throwable {
// *) 函数调用前, 拦截处理, 作ThreadLocal的初始化工作
LoggerUtility.beforeInvoke(); // -----(1)
try {
Object res = method.invoke(instance, args);
// *) 函数成功返回后, 拦截处理, 进行日志的集中输出
LoggerUtility.returnInvoke(); // -----(2)
return res;
} catch (Throwable e) {
// *) 出现异常后, 拦截处理, 进行日志集中输入 // -----(3)
LoggerUtility.throwableInvode("[result = exception: {%s}]", e.getMessage());
throw e;
}
}
}
代码评注:
(1). 拦截点beforeInvoke用于ThreadLocal的初始话工作, 日志缓存的清空
(2). 拦截点returnInvoke用于函数成功返回后, 进行日志集中输出
(3). 拦截点throwableInvoke用于出现异常后, 进行日志的集中输出
同时在rpc服务调用中, 才用LoggerUtility的noticeLog静态函数(简单缓存中间日志过程)代替之前的StringBuilder.append来记录中间子过程
LoggerUtility的代码如下所示:
public class LoggerUtility {
private static final Logger rpcLogger = LoggerFactory.getLogger("rpc");
public static final ThreadLocal<StringBuilder> threadLocals = new ThreadLocal<StringBuilder>();
public static void beforeInvoke() {
StringBuilder sb = threadLocals.get();
if ( sb == null ) {
sb = new StringBuilder();
threadLocals.set(sb);
}
sb.delete(0, sb.length());
}
public static void returnInvoke() {
StringBuilder sb = threadLocals.get();
if ( sb != null ) {
rpcLogger.info(sb.toString());
}
}
public static void throwableInvode(String fmt, Object... args) {
StringBuilder sb = threadLocals.get();
if ( sb != null ) {
rpcLogger.info(sb.toString() + " " + String.format(fmt, args));
}
}
public static void noticeLog(String fmt, Object... args) {
StringBuilder sb = threadLocals.get();
if ( sb != null ) {
sb.append(String.format(fmt, args));
}
}
}
两者的结合完美的解决了上述RPC的日志问题, 是不是很赞.
Logid的日志解决方案
Thrift框架本身是没有logid的概念的, 我们很难去改动thrift的rpc协议, 去添加它(比如大百度的做法是把logid作为rpc协议本身一部分). 这边的解决方案是基于约定. 我们采用如下约定, 所有的rpc请求参数都封装为一个具体Request对象, 所有的返回结构都封装为一个具体的Response对象, 而每个Request对象首个属性是logid.
比如如下的结构定义:
struct EchoRequest {
1: required i64 logid = 1001,
2: required string msg
}
struct EchoResponse {
1: required i32 status,
2: optional string msg
}
service EchoService {
EchoResponse echo(1: EchoRequest req);
}
评注: Request结构中logid, 就是约定的需要加到rpc的请求结构里去的.
我一直觉得: 约定优于配置, 约定优于框架.
后续
中间插入日志处理这块, 后续讲述之前计划的服务发布/订阅化, 借助zookeeper来构建一个简单的系统, 敬请期待.