使用TProfiler分析并调优项目中的Fastjson序列化代码

摘要  本文介绍了TProfiler性能分析方面的实际应用，可以看到通过TProfiler的分析结果，非常容易发现一些性能问题。而这些问题往往较为隐蔽，你最熟悉的地方很有可能早就被你挖了坑。同时也介绍了Fastjson在过滤对象属性和自定义序列化属性方面的应用。

tprofiler  fastjson  instrument  instrumentation  jvmti

目录[-]

一、TProfiler入门

1.简介

2.简要的实现原理

3.配置

4.远程操作

5.日志分析

二、开始性能测试

三、Fastjson并发测试

四、问题代码的review和问题解决

五、总结

新项目年后就上线了，现在业务上没什么问题，就用TProfiler做了下性能分析，果然有坑。

一、TProfiler入门

高手请自觉略过本节。

1.简介

TProfiler是阿里巴巴开源的一款性能分析工具。号称可以用于生产环境进行长期的性能分析。测试程序部署后，在低峰期对响应时间影响20%，在高峰期对QPS影响30%。详细介绍请见官方WIKI。

2.简要的实现原理

TProfiler的实现基于JAVA的Instrumentation 和ASM。Instrumentation可以理解为一种虚拟机级别的AOP实现，无需对项目代码和JDK有任何改动就可以实现AOP功能。TProfiler利用Instrumentation提供的入口，调用ASM将待分析的类的字节码进行修改，加入分析记录方法。在Profiler运行时即可抽样收集到相关类方法的调用信息。使用Instrumentation时也可以通过JVMTI提供的接口实现对类的完全控制。至于为什么TProfiler会选择ASM，我想可能有两方面的考虑：

1）性能上更高效。使用JVMTI在每个类装入时都要执行hook程序，而ASM没有明显的性能代价。

2）使用JVMTI对编程难度要求较高，要求对class文件结构和java字节码有深刻了解，而ASM虽然也有一些难度，但是相对来说还是小一些。

3.配置

TProfiler在使用上比较简单，在待分析的程序启动脚本中加入JVM参数

javaagent:/path/to/tprofiler.jar -Dprofile.properties=/path/to/profile.properties

并将jar包和profile.properties配置文件放置到前面指定位置就可以了。

profile.properties可以根据需要进行配置：

startProfTime = 9:00:00 开始profile的时间点
endProfTime = 11:00:00 结束profile的时间点
eachProfUseTime = 5 profile时间长度(单位秒)
eachProfIntervalTime = 50 两次profile的时间间隔(单位秒)
samplerIntervalTime = 20 两次采样的时间间隔(单位秒)
debugMode = false 是否进入调试模式
needNanoTime = false 是否需要用纳秒记录时间
ignoreGetSetMethod = true 是否忽略采集get/set方法
logFilePath = /home/admin/logs/tprofiler.log profile log的存放位置
methodFilePath = /home/admin/logs/tmethod.log method log的存放位置
samplerFilePath = /home/admin/logs/tsampler.log sampler log的存放位置
excludeClassLoader = org.eclipse.osgi.internal.baseadaptor.DefaultClassLoader 不注入的类加载器(分号分割)
includePackageStartsWith = com.taobao 进行profile的类包名(分号分割)
excludePackageStartsWith = com.alibaba;com.taobao.forest.domain.dataobject 不进行profile的类包名(分号分割)

4.远程操作

TProfiler支持远程操作：

远程查看状态操作:

java -cp tprofiler.jar com.taobao.profile.client.TProfilerClient 10.232.. 端口号 status

远程开始操作:

java -cp tprofiler.jar com.taobao.profile.client.TProfilerClient 10.232.. 端口号 start

远程停止操作:

java -cp tprofiler.jar com.taobao.profile.client.TProfilerClient 10.232.. 端口号 stop

远程刷出方法数据:

java -cp tprofiler.jar com.taobao.profile.client.TProfilerClient 10.232.. 端口号 flushmethod

5.日志分析

运行采样后会生成三个文件：tsampler.log、tprofiler.log、tmethod.log。endProfTime时间到了后才会输出tmethod.log。

得到以上三个日志文件后就可以进行分析了。

分析sampler log命令: java -cp tprofiler.jar com.taobao.profile.analysis.SamplerLogAnalysis d:/tsampler.log d:/method.log d:/thread.log,会生成method.log和thread.log

分析profiler log命令: java -cp tprofiler.jar com.taobao.profile.analysis.ProfilerLogAnalysis d:/tprofiler.log d:/tmethod.log d:/topmethod.log d:/topobject.log,会生成topmethod.log和topobject.log

还是那句话，详细介绍请见官方WIKI，:P。

二、开始性能测试

参照第一节配置好我的jetty启动脚本jetty.sh后，使用ab进行压测

    ab -n 100000 -c 500 -p post-file http://urlpath    (post-file是post发送内容)

得到日志后分析耗时最长的方法：

    java -cp tprofiler.jar com.taobao.profile.analysis.ProfilerLogAnalysis /var/tprofiler/logs/tprofiler.log /var/tprofiler/logs/tmethod.log /var/tprofiler/logs/topmethod.log /var/tprofiler/logs/topobject.log

可以发现耗时最多的竟然是json序列化，抽样分析时共调用52412次，平均每次耗时809毫秒。对于这个结果比较诧异，和TProfiler系出同门的Fastjson的性能一直不错，以前开始用之前也做了不少序列化和反序列化的测试，怎么突然就这么耗时了呢。转念一想，这次的web项目里由于需要支持客户端自定义属性获取和日期格式化，所以需要Fastjson同时进行属性的过滤（通过SerializeFilter）以及日期的自定义格式化（通过SerializeConfig自定义一个把Integer秒转换成指定格式日期的IntegerCodec）。JSON类里没有原生的同时支持这两种操作的方法，所以就在原生的JSON#toJSONString(Object object, SerializeFilter filter, SerializerFeature... features)方法的基础上加了一个参数得到了JSONUtil#toJSONString(Object object, SerializeConfig config, SerializeFilter filter ,SerializerFeature... features)。难道是这个原因？话不多说，继续测试。

三、Fastjson并发测试

由于怀疑新加的方法在并发下可能导致性能问题，于是比较了几种对Fastjson不同方法的并发调用时间，怎么简单怎么来，就不用什么高大上的报表了，各位看官见笑了哈

第一列是普通的，第二列是带属性过滤的，第三列是自定义的同时支持属性过滤和日期格式化的toJSONString。其中COUNT是每个线程执行序列化的次数。这个并发的对比测试反应的问题有两点：1）并发情况下，性能确实变差；2）同样参数对比下来耗时相差两个数量级，我修改的方法确实有问题。

四、问题代码的review和问题解决

于是带着这两个问题，开始扒拉代码：

public static String toStringWithFieldFilterAndDateFormat(Object object ,final String[] fields,SerializerFeature... features ){
    SerializeFilter filter = null;
    // 只过滤第一层属性
    if(fields != null ){
        // 获得需要过滤掉的字段
        final Set<String> tobeRemoved = getTobeRemovedFields(object,fields);
        if(toRemove != null && toRemove.size() > 0){
            // 需要过滤字段
            filter = new PropertyFilter() {
                @Override
                public boolean apply(Object object, String name, Object value) {
                    // 转换日期格式
                    if(toRemove.contains(name)){
                        return false ;
                    }
                    return true;
                }
            };
        }
    }
    SerializeConfig config = new SerializeConfig();
    if(NEED_FORMAT_DATE){
        config.put(Integer.class, CustomIntegerCodec.instance);
    }
    return toJSONString(object, config, filter,features);
}

这里CustomIntegerCodec是基于IntegerCodec的Integer类序列化和反序列化器。而toJSONString(Object object, SerializeConfig config, SerializeFilter filter ,SerializerFeature... features)只是在new JSONSerializer(out)时使用了另一个构造器new JSONSerializer(out,config)。

又看了一下Fastjson的源码，发现在SerializeConfig中对ObjectSerializer做了缓存，如果每次都传入一个新的SerializeConfig，必然每次都会进行不必要的解析和初始化操作，占用大量的时间。问题找出来了，解决方法也很简单，只要使用一个单例或静态变量即可

    private static final SerializeConfig customGlobalConfig = new SerializeConfig();
static {
    if(NEED_FORMAT_DATE){
        customGlobalConfig .put(Integer.class, CustomIntegerCodec.instance);
    }
}

Fastjson默认的序列化方法其实也是使用的默认的静态全局实例SerializeConfig

private final static SerializeConfig globalInstance = new SerializeConfig();

修改之后进行测试

O(∩_∩)O

五、总结

本文介绍了TProfiler性能分析方面的实际应用，可以看到通过TProfiler的分析结果，非常容易定位一些性能问题。而这些问题往往较为隐蔽，你最熟悉的地方很有可能早就被你挖了坑。 
TProfiler本身也短小精炼，如果对Instrument、ASM感兴趣、性能分析感兴趣，推荐读一读。