享学课堂特邀作者:周周
转载请声明出处!
前面的话:
做程序开发,基础很重要。同样是拧螺丝人家拧出来的可以经久不坏,你拧出来的遇到点风浪就开始颤抖,可见基本功的重要性。再复杂的技术,也是由一个一个简单的逻辑构成。先了解核心基础,才能更好理解前沿高新技术。
本文讲解的都是干货,建议先保存再观看。
1. 先看效果(github Demo地址)
2. Demo使用方法
3. Demo源码概览
4. 热修复核心技术
1) 基础知识预备
2) hook思路
5. TIPS
热更新技术,不是新话题。目前最热门的热更新由两种,一种是腾讯tinker为代表的 需重启app的热更新,一种是美团app为代表的instant Run,无需重启app.
今天先探究 前者的核心原理。
这个时候,机智的程序员用最快的方式修复了这个bug,也只是改了一行代码:
那么,产品已经在线上,怎么办?
我们通过后台,向app推送了一个 fix.dex文件, 等这个文件下载完成,app提示用户,发现新的更新,需要重启app. 待用户重启,代码修复 即会生效。无需发布新版本!
下载Demo代码之后,会在assets下看到一个fix.dex文件
按照正常的逻辑,我们做bug修复一定是把fix.dex放到服务器上, app去服务器下载它,然后存放在app私有目录,重启app之后,fix.dex生效, 当加载到这个类的时候,就会去读fix.dex中当时打包的已修复bug的类.
但是,我这里为了演示方便,直接放在assets,然后使用 项目中的AssetsFileUtil类
用io流将它读写到 app私有目录下.
演示方法:
1. 删掉 fix.dex ,运行app,你看到 手机屏幕中心 出现:"卧槽,有bug!"
2. 还原 fix.dex ,运行app,你看到 手机屏幕中心 出现:"嘿嘿,bug已修复"
起作用的是谁?就是这个fix.dex文件.
如上图所示:
核心类其实就只有一个:ClassLoaderHookHelper
,它 就是 让fix.dex
这个补丁发挥作用的 “幕后大佬
”.
这个核心类:有3个方法,分别是在不同的系统版本上,来对源码程序逻辑进行hook
,提高hook的兼容性.
下面是完整 ClassLoaderHookHelper
代码 以及 使用它的 MyApp
完整代码 :
import java.io.File;
import java.io.IOException;
import java.lang.reflect.Array;
import java.lang.reflect.Field;
import java.lang.reflect.InvocationTargetException;
import java.lang.reflect.Method;
import java.util.ArrayList;
import java.util.List;
public class ClassLoaderHookHelper {
//23和19的差别,就是 makeXXXElements 方法名和参数要求不同
//后者是 makeDexElements(ArrayList files, File optimizedDirectory,ArrayList suppressedExceptions)
//前者是 makePathElements(List files, File optimizedDirectory,List suppressedExceptions)
public static void hookV23(ClassLoader classLoader, File outDexFilePath, File optimizedDirectory) throws IllegalAccessException, InvocationTargetException {
Field pathList = ReflectionUtil.getField(classLoader, "pathList");//1、获得DexPathList pathList 属性
Object dexPathListObj = pathList.get(classLoader); //2、获得DexPathList pathList对象
Field dexElementsField = ReflectionUtil.getField(dexPathListObj, "dexElements");//3、获得DexPathList的dexElements属性
Object[] oldElements = (Object[]) dexElementsField.get(dexPathListObj);//4、获得pathList对象中 dexElements 的属性值
List<File> files = new ArrayList<>();//开始构建makeDexElements的实参
files.add(outDexFilePath);
List<IOException> ioExceptions = new ArrayList<>();
Method makePathElementsMethod = ReflectionUtil.getMethod(//获得 DexPathList 的 makePathElements 方法
dexPathListObj, "makePathElements", List.class, File.class, List.class);
assert makePathElementsMethod != null;
Object[] newElements = (Object[]) makePathElementsMethod.invoke(//这个方法是静态方法,所以不需要传实例,直接invoke;这里取得的返回值就是 我们外部的dex文件构建成的 Element数组
null, files, optimizedDirectory, ioExceptions);//构建出一个新的Element数组
//下面把新数组和旧数组合并,注意新数组放前面
Object[] dexElements = null;
if (newElements != null && newElements.length > 0) {
dexElements = (Object[]) Array.newInstance(oldElements.getClass().getComponentType(), oldElements.length + newElements.length);//先建一个新容器
//这5个参数解释一下, 如果是将A,B 你找AB的顺序组合成数组C,那么参数的含义,依次是 A对象,A数组开始复制的位置,C对象,C对象的开始存放的位置,数组A中要复制的元素个数
System.arraycopy(
newElements, 0, dexElements, 0, newElements.length);//新来的数组放前面
System.arraycopy(
oldElements, 0, dexElements, newElements.length, oldElements.length);
}
//最后把合并之后的数组设置到 dexElements里面
dexElementsField.set(dexPathListObj, dexElements);
}
public static void hookV19(ClassLoader classLoader, File outDexFilePath, File optimizedDirectory) throws IllegalAccessException, InvocationTargetException {
Field pathList = ReflectionUtil.getField(classLoader, "pathList");//1、获得DexPathList pathList 属性
Object dexPathListObj = pathList.get(classLoader); //2、获得DexPathList pathList对象
Field dexElementsField = ReflectionUtil.getField(dexPathListObj, "dexElements");//3、获得DexPathList的dexElements属性
Object[] oldElements = (Object[]) dexElementsField.get(dexPathListObj);//4、获得pathList对象中 dexElements 的属性值
List<File> files = new ArrayList<>();//开始构建makeDexElements的实参
files.add(outDexFilePath);
List<IOException> ioExceptions = new ArrayList<>();
Method makePathElementsMethod = ReflectionUtil.getMethod(//获得 DexPathList 的 makeDexElements 方法
dexPathListObj, "makeDexElements", ArrayList.class, File.class, ArrayList.class);//别忘了后面的参数列表
Object[] newElements = (Object[]) makePathElementsMethod.invoke(
null, files, optimizedDirectory, ioExceptions);//这个方法是静态方法,所以不需要传实例,直接invoke;这里取得的返回值就是 我们外部的dex文件构建成的 Element数组
//下面把新数组和旧数组合并,注意新数组放前面
Object[] dexElements = null;
if (newElements != null && newElements.length > 0) {
dexElements = (Object[]) Array.newInstance(oldElements.getClass().getComponentType(), oldElements.length + newElements.length);//先建一个新容器
//这5个参数解释一下, 如果是将A,B 你找AB的顺序组合成数组C,那么参数的含义,依次是 A对象,A数组开始复制的位置,C对象,C对象的开始存放的位置,数组A中要复制的元素个数
System.arraycopy(
newElements, 0, dexElements, 0, newElements.length);//新来的数组放前面
System.arraycopy(
oldElements, 0, dexElements, newElements.length, oldElements.length);
}
//最后把合并之后的数组设置到 dexElements里面
dexElementsField.set(dexPathListObj, dexElements);
}
//14和19的区别,是这个方法 makeDexElements(ArrayList files,File optimizedDirectory)···它又少了一个参数
public static void hookV14(ClassLoader classLoader, File outDexFilePath, File optimizedDirectory) throws IllegalAccessException, InvocationTargetException {
Field pathList = ReflectionUtil.getField(classLoader, "pathList");//1、获得DexPathList pathList 属性
Object dexPathListObj = pathList.get(classLoader); //2、获得DexPathList pathList对象
Field dexElementsField = ReflectionUtil.getField(dexPathListObj, "dexElements");//3、获得DexPathList的dexElements属性
Object[] oldElements = (Object[]) dexElementsField.get(dexPathListObj);//4、获得pathList对象中 dexElements 的属性值
List<File> files = new ArrayList<>();//开始构建makeDexElements的实参
files.add(outDexFilePath);
List<IOException> ioExceptions = new ArrayList<>();
Method makePathElementsMethod = ReflectionUtil.getMethod(//获得 DexPathList 的 makeDexElements 方法
dexPathListObj, "makeDexElements", ArrayList.class, File.class);//别忘了后面的参数列表
Object[] newElements = (Object[]) makePathElementsMethod.invoke(
null, files, optimizedDirectory, ioExceptions);//这个方法是静态方法,所以不需要传实例,直接invoke;这里取得的返回值就是 我们外部的dex文件构建成的 Element数组
//下面把新数组和旧数组合并,注意新数组放前面
Object[] dexElements = null;
if (newElements != null && newElements.length > 0) {
dexElements = (Object[]) Array.newInstance(oldElements.getClass().getComponentType(), oldElements.length + newElements.length);//先建一个新容器
//这5个参数解释一下, 如果是将A,B 你找AB的顺序组合成数组C,那么参数的含义,依次是 A对象,A数组开始复制的位置,C对象,C对象的开始存放的位置,数组A中要复制的元素个数
System.arraycopy(
newElements, 0, dexElements, 0, newElements.length);//新来的数组放前面
System.arraycopy(
oldElements, 0, dexElements, newElements.length, oldElements.length);
}
//最后把合并之后的数组设置到 dexElements里面
dexElementsField.set(dexPathListObj, dexElements);
}
}
import android.app.Application;
import android.content.Context;
import android.os.Build;
import android.util.Log;
import com.example.administrator.myapplication.utils.AssetsFileUtil;
import com.example.administrator.myapplication.utils.ClassLoaderHookHelper;
import java.io.File;
public class MyApp extends Application {
@Override
protected void attachBaseContext(Context base) {
super.attachBaseContext(base);
Log.d("BugTag2", "" + getClassLoader());//PathClassLoader
Log.d("BugTag2", "" + getClassLoader().getParent());//BootClassLoader
String fixPath = "fix.dex";
try {
String path = AssetsFileUtil.copyAssetToCache(this, fixPath);
File fixFile = new File(path);
if (Build.VERSION.SDK_INT >= 23) {
ClassLoaderHookHelper.hookV23(getClassLoader(), fixFile, getCacheDir());
} else if (Build.VERSION.SDK_INT >= 19) {
ClassLoaderHookHelper.hookV19(getClassLoader(), fixFile, getCacheDir());
} else if (Build.VERSION.SDK_INT >= 14) {
ClassLoaderHookHelper.hookV14(getClassLoader(), fixFile, getCacheDir());
}
} catch (Exception e) {
e.printStackTrace();
}
}
}
其实 热修复的核心技术,就一句话,
Hook ClassLoader
,但是要深入了解它,需要相当多的基础知识,下面列举出必须要知道的一些东西。
1.Dex文件是什么?
我们写安卓,目前还是用
java
比较多,就算是用kotlin
,它最终也是要转换成java
来运行。java
文件,被编译成class
之后,多个class
文件,会被打包成classes.dex
,被放到apk
中,安卓设备拿到apk
,去安装解析(预编译balabala...
),当我们运行app
时,app
的程序逻辑全都是在classes.dex
中。
所以,dex
文件是什么?
一句话,dex
文件是android app
的源代码的最终打包
2.Dex文件如何生成?
androidStudio 打包apk
的时候会生成Dex
,其实它使用的是SDK
的dx
命令,我们可以用dx
命令自己去打包想要打包的class
.
命令格式为: dx --dex --output=output.dex xxxx.class
将上面的output 和 xxxx换成你想要的文件名即可。
注:dx.bat
在 安卓SDK
的目录下:比如我的C:\XXXXX\AndroidStudioAbout\sdk1\build-tools\28.0.3\dx.bat
3.ClassLoader是什么?
ClassLoader来自jdk
,翻译为 : 类加载器,用于将class
文件中的类,加载到内存中,生成class
对象。只有存在了Class
对象,我们才可以创建我们想要的对象。
android SDK
继承了JDK的classLoader
,创造出了新的ClassLoader
子类。下图表示了android9.0-28
所有的ClassLoader直接或者间接子类.
用的比较多的是BaseDexClassLoader
,DexClassLoader
,PathClassLoader
, 其他这些,应该是谷歌大佬 创造出来新的 类加载器子类吧,还没研究过。注:关于
DexClassLoader
和PathClassLoader
,网上资料有个误区,应该不少人都认为,PathClassLoader
用于加载app
内部的dex
文件,DexClassLoader
用于加载外部的dex
文件,但是其实只要看一眼 这两个类的关系,就会发现,它们都是继承自BaseDexClassLoader
,他们的构造函数内部都会去执行父类的构造函数。 他们只有一个差别,那就是PathClssLoader
不用传optimizedDirectory
这个参数,但是DexClassLoader
必须传。这个参数的作用是,传入一个dex优化之后的存放目录
。而事实上,虽然PathClassLoader
不要求传这个optimizedDirectory
,但是它实际上是给了一个默认值。 emmmm…所以不要再认为PathClassLoader
不能加载外部的dex
了,它只是没有让你传optimizedDirectory
而已。
另外:
BootClassLoader
用于加载Android Framework
层class文件(SDK中没有这个BootClassLoader,也是很奇怪
)
PathClassLoader
是用于Android应用程序类的加载器,可以加载指定的dex
,以及jar
、zip
、apk
中的classes.dex
。
DexClassLoader
可以加载指定的dex
,以及jar
、zip
、apk
中的classes.dex
。
4.ClassLoader的双亲委托机制是什么?
android里面ClassLoader
的作用,是将dex
文件中的类,加载到内存中,生成Class
对象,供我们使用
(举个例子:我写了一个A
类,app运行起来之后,当我需要new 一个A
,ClassLoader
首先会帮我查找A
的Class
对象是否存在,如果存在,就直接给我Class
对象,让我拿去new
A
,如果不存在,就会出创建这个A
的Class
对象。)
这个查找的过程,就遵循双亲委托机制
。
一句话解释双亲委托机制
:某个类加载器
在加载某个类
的时候,首先会将 这件事委托给parent类加载器
,依次递归,如果parent类加载器
可以完成加载,就会直接返回Class对象
。如果parent
找不到或者没有父了,就会自己
加载。
下图是 安卓源码
ClassLoader.java
:
这里红字注解
,很容易读懂ClassLoader
去load
一个class
的过程.
OK,现在可以来解读我是如何去hook ClassLoader的了.
解读之前,先弄清楚,我为何 要hook ClassLoader
,为什么hook
了它之后,我的fix.dex
就能发挥作用?
先解决这个疑问,既然是hook
,那么自然要读懂源码,因为hook
就是在理解源码思维的前提下,更改源码逻辑。
一张图解决你的疑问:
按照上面图,去追踪源码,会发现,
ClassLoader
最终会从DexFile
对象中去获得一个Class
对象。并且在DexPathList
类中findClass
的时候,存在一个Element
数组的遍历。
这就意味着,如果存在多个dex
文件,多个dex
文件中都存在同样一个class
,那么它会从第一个开始找,如果找到了,就会立即返回。如果没找到,就往下一个dex
去找。
也就是说,如果我们可以在 这个数组中插入我们自己的修复bug的
fix.dex
,那我们就可以让我们已经修复bug的补丁类
发挥作用,让类加载器优先读取我们的补丁类
.
OK,理解了源码的逻辑,那我们可以动手了。来解析SDK 23的
hook ClassLoader
过程吧!
确定思路,我们要改变app启动之后,自带的ClassLoader对象(具体实现类是PathClassLoader )中 DexPathList 中 Element[] element 的实际值。
那么,步骤:
1.取得PathClassLoader的pathList的属性
2.取得PathClassLoader的pathList的属性真实值(得到一个DexPathList对象)
3.获得DexPathList中的dexElements 属性
4.获得DexPathList对象中dexElements 属性的真实值(它是一个Element数组)
做完这4个步骤,我们得到下面的代码
6.将从外部传入的ClassLoader中得到的Element数组和 我们自己的Element数组合并起来,
注意,我们自己的数组元素要放前面
!
OK,收官!
上面的内容,读起来可能会有一些疑问,我预估到了一些,将答案写在下面
- 当我们需要反射获得一个类的某个方法或者成员变量时,我们只想拿getDeclareXX,因为我们只想拿本类中的成员,但是仅仅getDeclareXX不能跨越继承关系 拿到 父类中的非私有成员,所以我写了ReflectionUtil.java,支持跨越继承关系 拿到父类的非私有成员。
- 这种热修复,是不是下载的包会很大,和原先的apk差不多大?
答案是,NO,我们只需要将我们修复bug之后的补丁dex下载到设备,让app重启,去读取这个dex即可。补丁包很小,甚至只有1K.- 这种修复方式必须重启么?
是的,必须重启,当然,存在不需要重启就可以修复bug的方法,那种方法叫做instant run方案,本文不涉及。 而,当前这种方案叫做:MultipleDex 即,多dex方案。- 为什么要对SDK 23 ,19,14 写不同的hook代码?
因为SDK版本的变迁,导致 一些类的关系,变量名,方法名,方法参数(个数和类型)都会发生变化,所以,要针对各个变迁的版本进行兼容。
阅读本文有任何疑问欢迎留言讨论!另,欢迎转载,注明出处即可。