Java技术专题-探针Agent原理分析(上篇)

研究背景

Agent都是用Java编写的,不需要太多的 C/C++ 编程基础,会讲到JVMTIAgent(C 实现的),因为 javaagent 的运行还是依赖于一个特殊的JVMTIAgent


常见的用法大致如下:

java -javaagent:myagent.jar=mode=test Test

通过-javaagent来指定我们编写的agent的jar路径(./myagent.jar), 以及要传给agent的参数(mode=test),在启动的时候这个 agent 就可以做一些我们希望的事了。

javaagent主要功能如下:

  • 在加载class文件之前做拦截,对字节码做修改
  • 在运行期对已加载类的字节码做变更,这种情况下有很多限制
  • 还有其他一些小众的功能
    • 获取已经加载过的类
    • 获取已经初始化过的类(执行过 clinit 方法,是加载类子集)
    • 获取某个对象的大小
    • 将某个 jar 加入到 bootstrap classpath 里作为高优先级被 bootstrapClassloader 加载
    • 将某个jar加入到classpath里sun.msc.AppClassLoader去加载
    • 设置某些 native 方法的前缀,主要在查找 native 方法的时候做规则匹配

   让程序按照我们预期的逻辑去执行,听起来是不是挺酷的。

JVMTI 全称 JVM Tool Interface,是 JVM 暴露出来的一些供用户扩展的接口集合。JVMTI 是基于事件驱动的,JVM 每执行到一定的逻辑就会调用一些事件的回调接口(如果有的话),这些接口可以供开发者扩展自己的逻辑。


比如最常见的,我们想在某个类的字节码文件读取之后、类定义之前修改相关的字节码,从而使创建的 class 对象是我们修改之后的字节码内容,那就可以实现一个回调函数赋给 jvmtiEnv(JVMTI 的运行时,通常一个 JVMTIAgent 对应一个 jvmtiEnv,但是也可以对应多个)的回调方法集合里的 ClassFileLoadHook,这样在接下来的类文件加载过程中都会调用到这个函数中,大致实现如下:,


    jvmtiEventCallbacks callbacks;

    jvmtiEnv * jvmtienv = jvmti(agent);

    jvmtiError jvmtierror;

    memset(&callbacks, 0, sizeof(callbacks));

    callbacks.ClassFileLoadHook = &eventHandlerClassFileLoadHook;

    jvmtierror = (*jvmtienv)->SetEventCallbacks( jvmtienv, &callbacks,sizeof(callbacks));

JVMTIAgent 其实就是一个动态库,利用JVMTI暴露出来的一些接口来干一些我们想做、但是正常情况下又做不到的事情,不过为了和普通的动态库进行区分,它一般会实现如下的一个或者多个函数:

JNIEXPORT jint JNICALL
Agent_OnLoad(JavaVM *vm, char *options, void *reserved);

JNIEXPORT jint JNICALL
Agent_OnAttach(JavaVM* vm, char* options, void* reserved);

JNIEXPORT void JNICALL
Agent_OnUnload(JavaVM *vm); 

Agent_OnLoad函数:

如果agent是在启动时加载的,也就是在 vm 参数里通过-agentlib来指定的,那在启动过程中就会去执行这个agent里Agent_OnLoad函数。


Agent_OnAttach函数:

如果agent不是在启动时加载的,而是我们先 attach 到目标进程上,然后给对应的目标进程发送 load 命令来加载,则在加载过程中会调用Agent_OnAttach函数。


Agent_OnUnload函数:

在agent卸载时调用,不过貌似基本上很少实现它。

其实我们每天都在和JVMTIAgent打交道,只是你可能没有意识到而已,比如我们经常使用 Eclipse 等工具调试 Java 代码,其实就是利用 JRE 自带的 jdwp agent 实现的,Eclipse等工具在没让你察觉的情况下将相关参数

-agentlib:jdwp=transport=dt_socket,suspend=y,address=
localhost:61349

自动加到程序启动参数列表里了,其中 agentlib 参数就用来跟要加载的 agent 的名字,比如这里的 jdwp(不过这不是动态库的名字,JVM 会做一些名称上的扩展,比如在 Linux 下会去找 libjdwp.so 的动态库进行加载,也就是在名字的基础上加前缀lib,再加后缀.so),接下来会跟一堆相关的参数,将这些参数传给 Agent_OnLoad 或者 Agent_OnAttach 函数里对应的 options。


javaagent,必须要讲的是一个叫做 instrument 的 JVMTIAgent(Linux 下对应的动态库是 libinstrument.so


因为javaagent功能就是它来实现的,另外instrument agent还有个别名叫 JPLISAgent (Java Programming Language Instrumentation Services Agent),这个名字也完全体现了其最本质的功能:就是专门为 Java 语言编写的插桩服务提供支持的。


instrument agent

instrument agent 实现了 Agent_OnLoad ** 和Agent_OnAttach**两方法,也就是说在使用时,agent 既可以在启动时加载,也可以在运行时动态加载。

其中启动时加载还可以通过类似 -javaagent:myagent.jar 的方式来间接加载 instrument agent,运行时动态加载依赖的是 JVM 的 attach 机制( JVM Attach 机制实现),通过发送 load 命令来加载 agent。

instrument agent 的核心数据结构如下:

struct _JPLISAgent {
    JavaVM *                mJVM;                   /* handle to the JVM */
    JPLISEnvironment        mNormalEnvironment;     /* for every thing but retransform stuff */
    JPLISEnvironment        mRetransformEnvironment;/* for retransform stuff only */
    jobject                 mInstrumentationImpl;   /* handle to the Instrumentation instance */
    jmethodID               mPremainCaller;         /* method on the InstrumentationImpl that does the premain stuff (cached to save lots of lookups) */
    jmethodID               mAgentmainCaller;       /* method on the InstrumentationImpl for agents loaded via attach mechanism */
    jmethodID               mTransform;             /* method on the InstrumentationImpl that does the class file transform */
    jboolean                mRedefineAvailable;     /* cached answer to "does this agent support redefine" */
    jboolean                mRedefineAdded;         /* indicates if can_redefine_classes capability has been added */
    jboolean                mNativeMethodPrefixAvailable; /* cached answer to "does this agent support prefixing" */
    jboolean                mNativeMethodPrefixAdded;     /* indicates if can_set_native_method_prefix capability has been added */
    char const *            mAgentClassName;        /* agent class name */
    char const *            mOptionsString;         /* -javaagent options string */
};

struct _JPLISEnvironment {
    jvmtiEnv *              mJVMTIEnv;              /* the JVM TI environment */
    JPLISAgent *            mAgent;                 /* corresponding agent */
    jboolean                mIsRetransformer;       /* indicates if special environment */
};

这里解释一下几个重要项:

  • mNormalEnvironment:主要提供正常类transform及redefine功能。
  • mRetransformEnvironment:主要提供类retransform功能。
  • mInstrumentationImpl:对象非常重要,也是我们Java agent和JVM进行交互的入口,或许写过javaagent的人在写premain以及agentmain方法的时候注意到了有个Instrumentation参数,该参数其实就是这里的对象。
  • mPremainCaller:指向启动方法,如果agent是在启动时加载的,则该方法会被调用。
    sun.instrument.InstrumentationImpl.loadClassAndCallPremain
  • mAgentmainCaller:指向sun.instrument.InstrumentationImpl.loadClassAndCallAgentmain方法,该方法在通过 attach 的方式动态加载 agent 的时候调用。
  • mTransform:指向sun.instrument.InstrumentationImpl.transform方法。
  • mAgentClassName:在我们 javaagent 的 MANIFEST.MF 里指定的Agent-Class。
  • mOptionsString:传给 agent 的一些参数。
  • mRedefineAvailable:是否开启了 redefine 功能,在 javaagent 的 MANIFEST.MF 里设置Can-Redefine-Classes:true。
  • mNativeMethodPrefixAvailable:是否支持 native 方法前缀设置,同样在 javaagent 的 MANIFEST.MF 里设置Can-Set-Native-Method-Prefix:true。
  • mIsRetransformer:如果在 javaagent 的 MANIFEST.MF 文件里定义了Can-Retransform-Classes:true,将会设置 mRetransformEnvironment 的 mIsRetransformer 为 true。

在启动时加载 instrument agent

正如前面“概述”里提到的方式,就是启动时加载 instrument agent,具体过程都在InvocationAdapter.cAgent_OnLoad方法里,这里简单描述下过程:


创建并初始化JPLISAgent

  • 监听VMInit事件,在vm初始化完成之后做下面的事情:
    • 创建InstrumentationImpl对象
    • 监听 ClassFileLoadHook 事件
    • 调用 InstrumentationImpl 的loadClassAndCallPremain方法,在这个方法里会调用 javaagent 里 MANIFEST.MF 里指定的Premain-Class类的premain方法。
    • 解析javaagent里MANIFEST.MF里的参数,并根据这些参数来设置JPLISAgent 里的一些内容
    • 在运行时加载instrument agent

在运行时加载的方式,大致按照下面的方式来操作:

VirtualMachine vm = VirtualMachine.attach(pid); 
vm.loadAgent(agentPath, agentArgs);

上面会通过 JVM 的 attach 机制来请求目标 JVM 加载对应的 agent,过程大致如下:

创建并初始化 JPLISAgent

  • 解析javaagentMANIFEST.MF 里的参数
  • 创建InstrumentationImpl 对象
  • 监听ClassFileLoadHook 事件
  • 调用InstrumentationImpl 的 loadClassAndCallAgentmain 方法,在这个方法里会调用 javaagent 里 MANIFEST.MF 里指定的 Agent-Class 类的 agentmain 方法

instrument agent 的 ClassFileLoadHook 回调实现


不管是启动时还是运行时加载的instrument agent,都关注着同一个 jvmti 事件——ClassFileLoadHook这个事件是在读取字节码文件之后回调时用的,这样可以对原来的字节码做修改

void JNICALL

eventHandlerClassFileLoadHook(  jvmtiEnv *              jvmtienv,
                                JNIEnv *                jnienv,
                                jclass                  class_being_redefined,
                                jobject                 loader,
                                const char*             name,
                                jobject                 protectionDomain,
                                jint                    class_data_len,
                                const unsigned char*    class_data,
                                jint*                   new_class_data_len,
                                unsigned char**         new_class_data) {

    JPLISEnvironment * environment  = NULL;

    environment = getJPLISEnvironment(jvmtienv);

    /* if something is internally inconsistent (no agent), just silently return without touching the buffer */

    if ( environment != NULL ) {

        jthrowable outstandingException = preserveThrowable(jnienv);
        transformClassFile( environment->mAgent,
                            jnienv,
                            loader,
                            name,
                            class_being_redefined,
                            protectionDomain,
                            class_data_len,
                            class_data,
                            new_class_data_len,
                            new_class_data,
                            environment->mIsRetransformer);

        restoreThrowable(jnienv, outstandingException);
    }
}

先根据jvmtiEnv取得对应的JPLISEnvironment,因为上面我已经说到其实有两个JPLISEnvironment(并且有两个jvmtiEnv),其中一个是专门做retransform的。


而另外一个用来做其他事情,根据不同的用途,在注册具体的
ClassFileTransformer 时也是分开的,对于作为retransform用的 ClassFileTransformer,我们会注册到一个单独的 TransformerManager 里。


接着调用transformClassFile方法,由于函数实现比较长,这里就不贴代码了,大致意思就是调用 InstrumentationImpl 对象的 transform 方法,根据最后那个参数来决定选哪个TransformerManager里的 ClassFileTransformer对象们做transform操作。

private byte[]
    transform(  ClassLoader         loader,
                String              classname,
                Class               classBeingRedefined,
                ProtectionDomain    protectionDomain,
                byte[]              classfileBuffer,
                boolean             isRetransformer) {

        TransformerManager mgr = isRetransformer?

                                        mRetransfomableTransformerManager :
                                        mTransformerManager;

        if (mgr == null) {

            return null; // no manager, no transform

        } else {

            return mgr.transform(   loader,
                                    classname,
                                    classBeingRedefined,
                                    protectionDomain,
                                    classfileBuffer);

        }

    }


  public byte[]

    transform(  ClassLoader         loader,
                String              classname,
                Class               classBeingRedefined,
                ProtectionDomain    protectionDomain,
                byte[]              classfileBuffer) {

        boolean someoneTouchedTheBytecode = false;
        TransformerInfo[]  transformerList = getSnapshotTransformerList();
        byte[]  bufferToUse = classfileBuffer;

        // order matters, gotta run 'em in the order they were added

        for ( int x = 0; x < transformerList.length; x++ ) {

            TransformerInfo         transformerInfo = transformerList[x];
            ClassFileTransformer    transformer = transformerInfo.transformer();
            byte[]                  transformedBytes = null;

            try {

                transformedBytes = transformer.transform(   loader,
                                                            classname,
                                                            classBeingRedefined,
                                                            protectionDomain,
                                                            bufferToUse);

            }

            catch (Throwable t) {

                // don't let any one transformer mess it up for the others.
                // This is where we need to put some logging. What should go here? FIXME

            }


            if ( transformedBytes != null ) {
                someoneTouchedTheBytecode = true;
                bufferToUse = transformedBytes;
            }

        }


        // if someone modified it, return the modified buffer.
        // otherwise return null to mean "no transforms occurred"

        byte [] result;

        if ( someoneTouchedTheBytecode ) {
            result = bufferToUse;
        }
        else {
            result = null;
        }

        return result;

    }   

以上是最终调到的 java 代码,可以看到已经调用到我们自己编写的 javaagent 代码里了,我们一般是实现一个 ClassFileTransformer 类,然后创建一个对象注册到对应的 TransformerManager 里。

这里说的 class transform 其实是狭义的,主要是针对第一次类文件加载时就要求被 transform 的场景,在加载类文件的时候发出 ClassFileLoad 事件,然后交给 instrumenat agent 来调用 javaagent 里注册的 ClassFileTransformer 实现字节码的修改。

你可能感兴趣的:(Java技术专题-探针Agent原理分析(上篇))