MultiDex 不得不说的用法与源码解析
前言
开发Android应用或者SDK方向小伙伴们，经过多版本的迭代，新功能的不断增加，依赖多个开源项目，使用第三方SDK,都会导致Apk大小急速膨胀。最终会导致方法超限这一问题，下面让大家了解下什么是MultiDex，讲讲它如何使用，从源码角度说说它的工作原理。
1.认识一下MultiDex
1.1 方法超限问题
当应用及其引用的库包含的方法数超过 65536 时，会遇到一个构建错误
trouble writing output:Too many field references: 131000; max is 65536.You may try using --multi-dex option.
较低版本的构建应用会出现一个不同的错误，但指向的却是一问题：
Conversion to Dalvik format failed:Unable to execute dex: method ID not in [0, 0xffff]: 65536
这两种错误情况会显示一个共同的数字：65536。Google规定单个dex文件中的方法数量不能超过65536这一限制。
1.2 64K引用限制
为什么65536方法超限呢？是由于Dex文件格式限制，一个Dex文件中method个数采用short类型来索引文件中的方法，这个也给method个数带来了不小麻烦，short类型能表示的最大值是65536，如果method个数超过了这个范围自然会报错，1K 表示 1024（即 2^10），65536 刚好是 64K，因此这一限制称为“64K 引用限制。
1.3 MultiDex由来
针对这个问题Google官方对64K引用限制提供一种方案，相信大家也用过MultiDex，Multi翻译过来就是多的意思，MultiDex就是多个dex，简单的讲：既然你的代码这么多，一个dex装不下，那么拆分成多个dex来处理。这样避免了单个dex方法超限，也能正常的编译打包应用。
2.MultiDex基本用法
2.1 Android 5.0 及更高版本的 MultiDex 支持
Android 5.0（minSdkVersion >=21）及更高版本使用名为 ART 的虚拟机时，它本身支持从 APK 文件加载多个 DEX 文件。ART 在应用安装时执行预编译，扫描 classesN.dex 文件，并将它们编译成单个 .oat 文件，以供 Android 设备执行。因此，如果你的 minSdkVersion 为 21 或更高的值，则默认情况下会启用 MultiDex，并且不需要 MultiDex 支持库。
2.2 Android 5.0之前的MultiDex的支持
Android 5.0（minSdkVersion < 21）之前的平台版本使用 Dalvik 运行时执行应用代码。默认情况下，Dalvik 将应用限制为每个 APK 只能使用一个 classes.dex 字节码文件。为了绕过这一限制，可以在项目中添加 MultiDex 支持库：
android {
defaultConfig {
minSdkVersion 16
targetSdkVersion 28
multiDexEnabled true //启用MultiDex库支持
}
}
dependencies {
def multidex_version = "2.0.1"
implementation 'androidx.multidex:multidex:$multidex_version'
}
如果你不用 AndroidX，修改app下的build.gradle 文件以启用 MultiDex，并将 MultiDex 库添加为依赖项，如下所示：
android {
defaultConfig {
minSdkVersion 16
targetSdkVersion 28
multiDexEnabled true //启用MultiDex库支持
}
}
dependencies {
implementation 'com.android.support:multidex:1.0.3' //MultiDex依赖库
}
2.3MultiDex配置
如果无自定义Application，修改清单文件设置 中的android:name，如下所示：
如果有自定义Application，且直接继承Application可以更换为MultiDexApplication
public class MyApplication extends MultiDexApplication {
public void attachBaseContext(Context base) {
super.attachBaseContext(base);
}
}
如果有自定义Application，但无法更改基类(继承其他的Appliaction)，则可以添加attachBaseContext()方法，并调用MultiDex.install(this);
public class MyApplication extends SomeOtherApplication {
@Override
protected void attachBaseContext(Context base) {
super.attachBaseContext(base);
MultiDex.install(this);
}
}
3.MultiDex原理解析
注：本次源码基于com.android.support:multidex:1.0.3版本分析
3.1 判断安卓虚拟机的逻辑
程序入口 MultiDex.install();
public static void install(Context context) {
Log.i("MultiDex", "Installing application");
if (IS_VM_MULTIDEX_CAPABLE) {
//判断VM是否支持Multidex,如果是ART虚拟机默认情况下会启用 MultiDex，并且不需要MultiDex支持库
Log.i("MultiDex", "VM has multidex support, MultiDex support library is disabled.");
} else if (VERSION.SDK_INT < 4) {
//最低兼容SDK版本是4，这样的手机基本都是看不着了吧
throw new RuntimeException("MultiDex installation failed. SDK " + VERSION.SDK_INT + " is unsupported. Min SDK version is " + 4 + ".");
} else {
//执行到这里说明当前是Dalvik虚拟机，进行分包和包的逻辑
doInstallation();
...........
}
}
我们再看看IS_VM_MULTIDEX_CAPABLE如何定义做了什么逻辑：
//System.getProperty("java.vm.version") 获取当前虚拟机版本 例：2.1.0
private static final boolean IS_VM_MULTIDEX_CAPABLE = isVMMultidexCapable(System.getProperty("java.vm.version"));
/**
* 1、通过正则表达式将版本号分成major(主版本号)和minor(次版本号)。
* 2、通过判断主版本和次版本是否大于一个常量来判定虚拟机是否支持MultiDex。
*/
static boolean isVMMultidexCapable(String versionString) {
boolean isMultidexCapable = false;
if (versionString != null) {
Matcher matcher = Pattern.compile("(\\d+)\\.(\\d+)(\\.\\d+)?").matcher(versionString);
if (matcher.matches()) {
try {
int major = Integer.parseInt(matcher.group(1));
int minor = Integer.parseInt(matcher.group(2));
isMultidexCapable = major > 2 || major == 2 && minor >= 1;
} catch (NumberFormatException var5) {
}
}
}
Log.i("MultiDex", "VM with version " + versionString + (isMultidexCapable ? " has multidex support" : " does not have multidex support"));
return isMultidexCapable;
}
isVMMultidexCapable() 返回True 说明是ART虚拟机自身就支持MultiDex不需要再做任何处理，Flase说明是Dalvik虚拟机自身不支持 MultiDex ，该执行doInstallation()
3.1.1有争议的一个问题
网上搜索很多技术大佬的博客，大部分说：可以通过调用 System.getProperty(“java.vm.version”)来检测当前使用的是哪个虚拟机，如果使用的是ART虚拟机的话，属性值会大于等于2.0.0（重点就是这个=2.0.0）
在这里我纠正下，正确的说法是：如果使用的是ART虚拟机的话，属性值应该大于等于2.1.0（>=2.1.0），有什么依据这样说？用真机(模拟器)安卓系统4.4测试，会发现 System.getProperty(“java.vm.version”)=2.0.0 ，把结果带入isVMMultidexCapable()方法里，返回的是false，说明当前应该（api 4.4版本）是Dalvik虚拟机才对，有悖于技术大佬博客上面所说的等于2.0.0就是ART虚拟机。
3.2Dex解压和压缩
如果上一步判断是Dalvik虚拟机，执行到了doInstallation()
/**
* applicationInfo.sourceDir获取应用APK所在目录 /data/app/{packageName}-s_ZR1N24kyfFdRoazc7SLw==/base.apk
* applicationInfo.dataDir获取数据所在目录 /data/user/0/{packageName}
*/
private static void doInstallation(Context mainContext, File sourceApk, File dataDir, String secondaryFolderName, String prefsKeyPrefix, boolean reinstallOnPatchRecoverableException) throws IOException, IllegalArgumentException, IllegalAccessException, NoSuchFieldException, InvocationTargetException, NoSuchMethodException, SecurityException, ClassNotFoundException, InstantiationException {
Set var6 = installedApk;
//考虑到多线程并发下加锁，保证执行一次
synchronized(installedApk) {
//如果应用 没有安装，把installedApk添加到集合中,安装应用的路径：/data/app/packageName/base.apk
if (!installedApk.contains(sourceApk)) {
installedApk.add(sourceApk);
if (VERSION.SDK_INT > 20) {
Log.w("MultiDex", "MultiDex is not guaranteed to work in SDK version " + VERSION.SDK_INT + ": SDK version higher than " + 20 + " should be backed by " + "runtime with built-in multidex capabilty but it's not the " + "case here: java.vm.version=\"" + System.getProperty("java.vm.version") + "\"");
}
ClassLoader loader;
try {
loader = mainContext.getClassLoader(); //上下文对象中获取ClassLoader对象，提取出来的Dex需要通过ClassLoader真正的被加载执行；
} catch (RuntimeException var25) {
Log.w("MultiDex", "Failure while trying to obtain Context class loader. Must be running in test mode. Skip patching.", var25);
return;
}
if (loader == null) {//说明获取ClassLoader 对象失败
Log.e("MultiDex", "Context class loader is null. Must be running in test mode. Skip patching.");
} else {
try {
clearOldDexDir(mainContext);//清理老的缓存DEX文件
} catch (Throwable var24) {
Log.w("MultiDex", "Something went wrong when trying to clear old MultiDex extraction, continuing without cleaning.", var24);
}
//创建一个存放dex的目录 getDexDir()有详细的注释
File dexDir = getDexDir(mainContext, dataDir, secondaryFolderName);
// 把APK中的dex提取到dexDir目录中，返回的files集合有可能为空，表示没有secondaryDex
//apk路径:data/app/packageName/base.apk
//dexDir 路径： data/user/0/packageName/code_cache/secondary-dexes
MultiDexExtractor extractor = new MultiDexExtractor(sourceApk, dexDir);
IOException closeException = null;
try {
// 调用MultiDexExtractor.load方法，第一次是没有缓存的，需要IO操作，会非常耗时 返回dex文件列表
List files = extractor.load(mainContext, prefsKeyPrefix, false);
try {
installSecondaryDexes(loader, dexDir, files); //安装提取出来的Dex文件。
} catch (IOException var26) {
if (!reinstallOnPatchRecoverableException) {
throw var26;
}
//出现异常 重新提取dex文件，并安装提取出来的dex文件
Log.w("MultiDex", "Failed to install extracted secondary dex files, retrying with forced extraction", var26);
files = extractor.load(mainContext, prefsKeyPrefix, true);
installSecondaryDexes(loader, dexDir, files);
}
} finally {
try {
extractor.close();
} catch (IOException var23) {
closeException = var23;
}
}
if (closeException != null) {
throw closeException;
}
}
}
}
}
上面代码进行各种预校验以及获取需要的信息,重点方法MultiDexExtractor.load()：提取dex
List load(Context context, String prefsKeyPrefix, boolean forceReload) throws IOException {
Log.i("MultiDex", "MultiDexExtractor.load(" + this.sourceApk.getPath() + ", " + forceReload + ", " + prefsKeyPrefix + ")");
if (!this.cacheLock.isValid()) { //文件锁是否还有效，无效抛异常
throw new IllegalStateException("MultiDexExtractor was closed");
} else {
List files;
//forceReload判断文件是否重新加载,isModified()是判断sourceApk文件是否做过修改（简单点说这个条件就是没有覆盖安装过）
if (!forceReload && !isModified(context, this.sourceApk, this.sourceCrc, prefsKeyPrefix)) {
try {
files = this.loadExistingExtractions(context, prefsKeyPrefix);//加载之前已经解压过的dex（可以理解缓存过的）
} catch (IOException var6) {
Log.w("MultiDex", "Failed to reload existing extracted secondary dex files, falling back to fresh extraction", var6);
files = this.performExtractions(); //出现异常重新执行提取dex
putStoredApkInfo(context, prefsKeyPrefix, getTimeStamp(this.sourceApk), this.sourceCrc, files);//出现异常保存apk时间戳 Crc码等信息缓存下来用于下次比对。
}
} else {
if (forceReload) {
Log.i("MultiDex", "Forced extraction must be performed.");
} else {
Log.i("MultiDex", "Detected that extraction must be performed.");
}
files = this.performExtractions();//走到else{}说明 没有缓存，本质上提取的是dex文件
putStoredApkInfo(context, prefsKeyPrefix, getTimeStamp(this.sourceApk), this.sourceCrc, files);//把apk 信息缓存下来
}
Log.i("MultiDex", "load found " + files.size() + " secondary dex files");
return files;
}
}
看上面的代码是不是有点懵我先给大家梳理下大概的逻辑：load()方法里面有两种逻辑，缓存过的loadExistingExtractions()和没缓存过的performExtractions()，第一次获取dex,没有缓存过任何信息，应先执行performExtractions()这是一个IO耗时操作（下面会细说），完成这个操作后把信息缓存下来(因为IO很耗时 不能每次都去操作)，下一次则读取缓存的loadExistingExtractions(),速度会更快些。
private List performExtractions() throws IOException {
// 格式：base.apk.classes"
String extractedFilePrefix = this.sourceApk.getName() + ".classes";
this.clearDexDir(); //清理dex文件
List files = new ArrayList();
ZipFile apk = new ZipFile(this.sourceApk);// 把.apk转换成.zip
try {
int secondaryNumber = 2;
//apk本质上就是归档文件上面步骤已经把apk变成了zip文件 ，for循环遍历zip文件 ，获取的dex文件
// classes2.dex classesN.dex
for(ZipEntry dexFile = apk.getEntry("classes" + secondaryNumber + ".dex"); dexFile != null; dexFile = apk.getEntry("classes" + secondaryNumber + ".dex")) {
//获取的应该是base.apk.classes2.zip
String fileName = extractedFilePrefix + secondaryNumber + ".zip";
//创建base.apk.classes2.zip 文件
MultiDexExtractor.ExtractedDex extractedFile = new MultiDexExtractor.ExtractedDex(this.dexDir, fileName);//
// 添加到文件列表(base.apk.classes2.zip 添加到/data/user/0/packageName/files/code_cache/secondary-dexes文件下)
files.add(extractedFile);
Log.i("MultiDex", "Extraction is needed for file " + extractedFile);
int numAttempts = 0;
boolean isExtractionSuccessful = false; //是否提取成功
while(numAttempts < 3 && !isExtractionSuccessful) {
++numAttempts;
//将classes2.dex文件写到压缩文件classes2.zip里去，最多重试三次
extract(apk, dexFile, extractedFile, extractedFilePrefix);
try {
extractedFile.crc = getZipCrc(extractedFile);
isExtractionSuccessful = true;
} catch (IOException var18) {
isExtractionSuccessful = false;
Log.w("MultiDex", "Failed to read crc from " + extractedFile.getAbsolutePath(), var18);
}
Log.i("MultiDex", "Extraction " + (isExtractionSuccessful ? "succeeded" : "failed") + " '" + extractedFile.getAbsolutePath() + "': length " + extractedFile.length() + " - crc: " + extractedFile.crc);
if (!isExtractionSuccessful) {
//未校验通过则删除。
extractedFile.delete();
if (extractedFile.exists()) {
Log.w("MultiDex", "Failed to delete corrupted secondary dex '" + extractedFile.getPath() + "'");
}
}
}
if (!isExtractionSuccessful) {
throw new IOException("Could not create zip file " + extractedFile.getAbsolutePath() + " for secondary dex (" + secondaryNumber + ")");
}
++secondaryNumber;
}
} finally {
try {
apk.close();
} catch (IOException var17) {
Log.w("MultiDex", "Failed to close resource", var17);
}
}
return files; //返回dex的压缩文件列表
}
上面的逻辑就是解压apk（apk来自applicationInfo.sourceDir()），遍历出里面的dex文件，例如 classes.dex， classesN.dex，然后又压缩成classes.zip，classesN.zip，然后返回zip文件列表。
总结：第一次加载才会执行耗时IO操作，第二次进来读取缓存中保存的dex信息，直接返回文件列表，所以第一次启动的时候比较耗时。
3.3 安装dex
dex列表已经返回了，该执行 installSecondaryDexes();进行dex安装
private static void installSecondaryDexes(ClassLoader loader, File dexDir, List files) throws IllegalArgumentException, IllegalAccessException, NoSuchFieldException, InvocationTargetException, NoSuchMethodException, IOException, SecurityException, ClassNotFoundException, InstantiationException {
//针对不同的api 分别进行逻辑处理
if (!files.isEmpty()) {
if (VERSION.SDK_INT >= 19) {
MultiDex.V19.install(loader, files, dexDir);
} else if (VERSION.SDK_INT >= 14) {
MultiDex.V14.install(loader, files);
} else {
MultiDex.V4.install(loader, files);
}
}
}
看下 api19(v14 v4这是对不同版本做了处理 )dex安装处理了什么逻辑 MultiDex.V19.install()
private static final class V19 {
private V19() {
}
static void install(ClassLoader loader, List additionalClassPathEntries, File optimizedDirectory) throws IllegalArgumentException, IllegalAccessException, NoSuchFieldException, InvocationTargetException, NoSuchMethodException, IOException {
//反射获取ClassLoader 的 pathList 字段
Field pathListField = MultiDex.findField(loader, "pathList");
Object dexPathList = pathListField.get(loader);
ArrayList suppressedExceptions = new ArrayList();
//生成的Dex文件对应的Element数组
//将Element数组插入到原有的dexElments数组后面
MultiDex.expandFieldArray(dexPathList, "dexElements", makeDexElements(dexPathList, new ArrayList(additionalClassPathEntries), optimizedDirectory, suppressedExceptions));
if (suppressedExceptions.size() > 0) {
Iterator var6 = suppressedExceptions.iterator();
while(var6.hasNext()) {
IOException e = (IOException)var6.next();
Log.w("MultiDex", "Exception in makeDexElement", e);
}
//反射获取到dexElements字段
Field suppressedExceptionsField = MultiDex.findField(dexPathList, "dexElementsSuppressedExceptions");
IOException[] dexElementsSuppressedExceptions = (IOException[])((IOException[])suppressedExceptionsField.get(dexPathList));
if (dexElementsSuppressedExceptions == null) {
dexElementsSuppressedExceptions = (IOException[])suppressedExceptions.toArray(new IOException[suppressedExceptions.size()]);
} else {
IOException[] combined = new IOException[suppressedExceptions.size() + dexElementsSuppressedExceptions.length];
suppressedExceptions.toArray(combined);
System.arraycopy(dexElementsSuppressedExceptions, 0, combined, suppressedExceptions.size(), dexElementsSuppressedExceptions.length);
dexElementsSuppressedExceptions = combined;
}
suppressedExceptionsField.set(dexPathList, dexElementsSuppressedExceptions);
IOException exception = new IOException("I/O exception during makeDexElement");
exception.initCause((Throwable)suppressedExceptions.get(0));
throw exception;
}
}
private static Object[] makeDexElements(Object dexPathList, ArrayList files, File optimizedDirectory, ArrayList suppressedExceptions) throws IllegalAccessException, InvocationTargetException, NoSuchMethodException {
Method makeDexElements = MultiDex.findMethod(dexPathList, "makeDexElements", ArrayList.class, File.class, ArrayList.class);
return (Object[])((Object[])makeDexElements.invoke(dexPathList, files, optimizedDirectory, suppressedExceptions));
}
}
上面代码做了以下的几个操作
1.反射获取到 pathList 字段
2.找到pathList 字段对应的类的makeDexElements 方法（也用到了反射）
3.通过MultiDex.expandFieldArray 这个方法扩展 dexElements 数组
就是创建一个新的数组，把主dex要增加的内容（classerdex2、classerdexN）拷贝进去，反射替换原来的dexElements为新的数组。
3.3.1 类加载机制（简单说说概念，本文重点是MultiDex）
不管是 PathClassLoader还是DexClassLoader，都继承自BaseDexClassLoader。系统会默认创建一个PathClassLoader ,PathClassLoader有个重要成员变量pathList,pathList内部包含一个Element[]，数组每一个元素对应这一个dex文件（classes.dex）。
默认情况下 系统只会加载apk第一个classes.dex文件，一般来说element数组只会存在一个元素对应一个classes.dex,运行需要加载某个类时，pathClassLoader 通过pathList的 element数组 从前往后遍历所有元素，去看哪一个dex文件有对应类，有则返回。
3.4详细源码注释
github地址有需要可以去clone ：详细注释源码
技术思考：
1. 为了更好的了解一个程序或者原理，找程序入口下断点分析非常有必要的
2. 优秀的解决方案都是从源码中获取的
3. 知道的越多不知道的更多(说多都是泪)
结语
记录下自己的学习和工作经验，分享给有需要的人。如果有那里写的不对或者不理解,欢迎大家的指正。