从 Apk 提取代码到单独 dex
从 Apk 提取代码到单独 dex
Android 中动态加载是指应用程序在运行时加载和执行 Dex 文件的过程，可以在运行时加载不同的代码或功能，而无需重新编译整个应用程序，动态加载 Dex 文件通常涉及以下步骤：
- 创建 Dex 文件
我们接触到的通常是 Android studio 等 IDE 工具将 Java 或 Kotlin 代码编译成 Dex 格式的字节码文件。 - 将 Dex 文件打包到 APK 中
Apk 就是一个压缩包，通常也是 IDE 将编译好的 Dex 文件打包到应用程序的 APK 文件中。 - 运行时加载 Dex 文件
当应用程序启动时，Android 系统会加载应用程序的代码。如果应用程序中包含 Dex 文件，系统会自动将其加载到内存中，以便应用程序可以执行其中的代码。 - 执行 Dex 文件中的代码：
一旦 Dex 文件被加载到内存中，应用程序就可以执行其中的代码。
通过动态加载 Dex 文件，可以实现更加灵活和可扩展的功能，可以编写插件或模块化的代码，并在运行时根据需要加载它们。DexClassLoader 是 Android 中的一个类加载器，用于动态加载包含 Dex 文件的 jar 或 apk 文件，它的工作原理大概是：加载 Dex 文件，DexClassLoader 会从指定的路径中读取 Dex 文件，并将其加载到内存中… …无序过多描述，我们知道它可以加载 dex 文件即可。
本文讲的如下图所示：
如何从 apk 中获取特定包名下的代码并保存到 dex 文件中，然后再把此 dex 放到 assets 目录下，最后重新打包成 APK。
本次通过 Java 实现，最终产物是一个可执行的 Jar，使用方式如下所示：
java -jar xpluginJs.jar -mapping mapping.txt -apk 1.apk -dexname hello -pkg com.primer.pay.manager,com.primer.login.manager
意思是：
根据 mapping.txt 映射文件从 1.apk 安装包中提取所有 com.primer.pay.manager,com.primer.login.manager 包下的代码，将所提取代码写入 hello.dex 文件，hello.dex 文件将被放到包体内 assets 目录下。
/**
*
* 1、必须参数
* -mapping：安装包的映射文件
* -apk：待处理 apk 文件
* -dexname：处理后存放在 assets 目录下的 dex 文件名
* -pkg：需要提取的包名（混淆前的包名），多个包名用英文逗号分隔
*
*
* 2、当前目录运行环境目录结构
* tools：内置工具（apktool、smali）
* xpluginJs.jar：主程序
* mapping.txt：映射文件
* 1.apk：apk 文件
* output-dex2jar：中间产物输出目录
* output-dex2jar\apk-decode\dist\***.apk：最终产物
*/
0、线性执行
一图概述～
public void run() {
System.err.println("=================== 1、Initializes the output directory");
initOutPutDir();
mDexConfig.setspecifyPkgSmailOutputPath(OUTPUT_PATH_SMAIL);
System.err.println("=================== 2、Load the local mapping configuration");
mObsMapping = loadMappingConfig(mDexConfig.getMappingFilePath());
System.err.println("=================== 3、Gets a list of mapping names for the specified package name");
List<String> specifyMappingPkgList = ObsMappingUtils.collectionSpecifyPkgMapping(mObsMapping,
mDexConfig.getSpecifiyPkgList());
System.err.println("=================== 4、Decompile Apk using apktool");
String decodeOutPath = decodeApk(mDexConfig.getApkFilePath(), mDexConfig.getApkDecodeOutputDirname());
mDexConfig.setApkDecodeOutputDirpath(decodeOutPath);
System.err.println("=================== 5、Collects and moves the smail file under the specified package name");
collectionAndMoveSpecifyPkgSmail(decodeOutPath, specifyMappingPkgList);
System.err.println("=================== 6、Package the smali file as dex");
String smailToDexPath = encodeSmailToDex(mDexConfig.getSpecifyPkgSmailOutputPath());
if (CommUtil.isEmptyOrNoExists(smailToDexPath)) {
throw new IllegalArgumentException("smailToDexPath is null");
}
System.err.println("\tsmailToDexPath: " + smailToDexPath);
System.err.println("=================== 7、dex encryption");
String encodeDexPath = encodeDex(mDexConfig.getEncodeDexFilename(), smailToDexPath);
System.err.println("\tencodeDexPath: " + encodeDexPath);
String decodeDexPath = decodeDex(mDexConfig.getEncodeDexFilename() + "-decode", encodeDexPath);
System.err.println("\tencodeDexPath: " + decodeDexPath);
System.err.println("=================== 8、copy dex encryption");
boolean isCopy = copyDexToAssets(encodeDexPath, decodeOutPath);
if (!isCopy) {
throw new IllegalArgumentException("copy dex to assets error");
}
System.err.println("=================== 9、Apk compile back");
String unsignApkFilePath = encodeApk(decodeOutPath);
System.err.println("\t [Successfully~] unsignApkFilePath: " + unsignApkFilePath);
}
1、参数解析
按格式解析参数，收集必要的信息，这里参数解析或许有漏洞，但你可以根据自己的想法写出更好的参数解析，避免因外部使用的多样化导致内部解析异常。
package com.primer;
import java.util.Arrays;
import com.primer.bean.CmdArgs;
public class Main {
private static DexToolManager mDexToolManager;
private static CmdArgs mCmdArgs;
public static void main(String[] args) {
mCmdArgs = parserArgs(args);
initDexToolManager();
}
//解析 java -jar 传入的参数
private static CmdArgs parserArgs(String[] args) {
if (args == null || args.length == 0) {
throw new IllegalArgumentException(" argument not be empty");
}
CmdArgs cmdArgs = new CmdArgs();
String current;
for (int i = 0; i < args.length; i++) {
current = args[i];
if (current.equals("-mapping")) {
if (i + 1 >= args.length) {
throw new IllegalArgumentException("-mapping args error");
}
cmdArgs.mappingPath = args[i + 1];
} else if (current.equals("-apk")) {
if (i + 1 >= args.length) {
throw new IllegalArgumentException("-apk args error");
}
cmdArgs.apkPath = args[i + 1];
} else if (current.equals("-dexname")) {
if (i + 1 >= args.length) {
throw new IllegalArgumentException("-dexname args error");
}
cmdArgs.encodeDexFilename = args[i + 1];
} else if (current.equals("-pkg")) {
if (i + 1 >= args.length) {
throw new IllegalArgumentException("-pkg args error");
}
String str = args[i + 1];
String[] pkgList = str.split(",");
if (pkgList == null || pkgList.length == 0) {
throw new IllegalArgumentException("args error");
}
cmdArgs.specifiyPkgList = Arrays.asList(pkgList);
}
}
cmdArgs.checkArgument();
return cmdArgs;
}
private static void initDexToolManager() {
DexConfig dexConfig = new DexConfig.Builder()
.setApkFilePath(mCmdArgs.apkPath)
.setMappingFilePath(mCmdArgs.mappingPath)
.setSpecifyPkgList(mCmdArgs.specifiyPkgList)
.setEncodeDexFilename(mCmdArgs.encodeDexFilename)
.setApkDecodeOutputDirname("apk-decode")
.build();
//简单得对参数是否有效做检查
dexConfig.checkConfigIllegal();
mDexToolManager = new DexToolManager();
mDexToolManager.setDexConfig(dexConfig);
mDexToolManager.run();
}
}
2、准备工作目录
- initOutPutDir：创建输出目录、清空输出目录残留的文件
如果让自己写删除目录及目录下的所有文件，很容易让我们想起了递归遍历，可以递归删除文件。
public void traversalFile(File dirFile, FileTraversal traversal) {
if (dirFile == null) {
return;
}
for (File file : dirFile.listFiles()) {
if (file.isDirectory()) {
traversalFile(file, traversal);
traversal.processDir(file);
} else {
traversal.processFile(file);
}
}
}
//使用
traversalFile(outFile, new FileTraversal() {
@Override
public void processFile(File file) {
if (file.exists()) {
file.delete();
}
}
@Override
public void processDir(File file) {
if (file.exists()) {
file.delete();
}
}
});
3、加载映射
- loadMappingConfig：加载 mapping.txt 映射文件
我们知道 build/output/**/ release/mapping.txt 就是 Android 开启混淆打包生成的映射文件，就是根据该文件的格式进行解析，可以从中解析获取混淆前类的全限定名（包名+类名），当然也可以拿到混淆前后的方法名等信息。
com.opos.mobad.service.tasks.a -> com.opos.mobad.service.tasks.a:
java.lang.String a -> a
java.io.FileFilter b -> b
java.util.HashMap getPayMap(android.content.Context,boolean,int) -> a
boolean d(android.content.Context) -> d
java.lang.String j(android.content.Context) -> j
根据映射文件我们可以这样简单写出解析存储数据的 bean 类及关系。
//一个映射文件包含很多类的映射
public class ObsMapping {
private LinkedList<ClassObsMapping> obsMapping;
//略
}
//一个类包含类名映射、多个成员变量映射、多个方法的映射（我们没有使用到成员变量，所以可以不要）
public class ClassObsMapping {
//类名映射
private MappingItem classMapping;
//方法映射
private LinkedList<MappingItem> methodsMapping;
//略
}
//映射的基本元素是混淆前后的名称
public class MappingItem {
//混淆前名称
private String originalName;
//混淆后名称
private String mappingName;
//略
}
4、确认提取目标
- collectionSpecifyPkgMapping：根据 -pkg 参数列表指定的包名，从映射文件中收集混淆后的包名。
如 com.primer.manager.A -> com.android.manager.AA，那么收集的是 com.android.manager，最终返回的是混淆后的类的包名。
5、apk 反编译
- decodeApk：利用 apktool 工具反编译
简单地封装 Runtime.getRuntime()，通过调用 runtime.exec(cmdline) 执行控制台命令，这里是通过控制台执行 bat 脚本，再由脚本执行 java 命令执行 apktool。
APKTOOL_BAT_PATH 指向的一个 bat 脚本路径：
:: 参数1-apktool 参数2-apk路径 参数3-输出路径 -f：强制覆盖
java -jar %1 d %2 -o %3 -f
/**
* java -jar apktool_2.7.0.jar d [apk file] -o [out name]
*
* @param inputApkPath
* @param outDirName
* @return
*/
private String decodeApk(String inputApkPath, String outDirName) {
if (inputApkPath == null || inputApkPath.isEmpty()) {
throw new IllegalArgumentException("inputApkPath is null");
}
String cmdline;
String outApkPath = OUTPUT_PATH + File.separator + outDirName;
StringBuilder sb = new StringBuilder();
sb.append(APKTOOL_BAT_PATH)
.append(" ")
.append(APKTOOL_JAR_PATH)
.append(" ")
.append(inputApkPath)
.append(" ")
.append(outApkPath);
if (sb.toString().contains("\\") && !sb.toString().contains("\\\\")) {
cmdline = sb.toString().replace("\\", "\\\\");
} else {
cmdline = sb.toString();
}
System.out.println("decodeApk cmd: " + cmdline);
CommUtil.executeCmdline(cmdline, false);
return outApkPath;
}
6、smali 收集
- collectionAndMoveSpecifyPkgSmail：根据上述收集到的映射，在反编译目录下查找文件并存放到额外目录下。
通过递归遍历过了 smali 找到映射文件，再把目标文件已到指定目录待下一步处理。
private void collectionAndMoveSpecifyPkgSmail(String path, List<String> specifyPkgList) {
if (CommUtil.isEmptyOrNoExists(specifyPkgList)) {
return;
}
traversalFile(new File(path), new FileTraversal() {
@Override
public void processFile(File file) {
if (file.getName().endsWith(".smali")) {
SmailFile smailFile = splitClassPkgname(file.getAbsolutePath());
if (!CommUtil.isEmptyOrNoExists(smailFile.pakcgeName)) {
for (String pkg : specifyPkgList) {
if (pkg.equals(smailFile.pakcgeName)) {
moveAndDeleteTargetFile(file, smailFile);
break;
}
}
}
}
}
@Override
public void processDir(File file) {
}
});
}
public class SmailFile {
//映射后的文件名（类名）
public String filename;
//映射后的包名，如 com.primer.manager
public String pakcgeName;
//映射后的包路径，如 com/primer/manager
//因为提取到外部目录下也应该创建相同包名的目录，再不 smali 文件存放到该目录下，确保前后一致
public String pakagePath;
@Override
public String toString() {
return "SmailFile: " + filename + ", " + pakcgeName + ", " + pakagePath;
}
}
7、smali 打包
- encodeSmailToDex：使用 smali.jar 把一组 smali 文件打包成 dex
这里有一点需要注意的是，最新版 smali.jar 打包参数是 assemble ，好像以前的包版本打包参数是 b。
:: java -jar smali.jar b out_directory -o output.dex
:: 参数1：smali.jar
:: 参数2：out_directory smali 文件目录
java -jar %1 assemble %2
8、dex 加密
- encodeDex：对 dex 文件应用自己的加密算法
dex 文件本质上是一个二进制文件，二进制文件读取出来就是一组字节数组 byte[]，简单的对字节数组进行特殊操作（插入偏移量等）就是对文件的加密。
9、dex 加密文件放入包体
- copyDexToAssets：如果你想把提取部分的代码 dex 后续通过动态加载方式执行，你可以重新把它打入包体的其他地方存储备用，也可以后续通过远程请求获取再加载等。
10、apk 打包
- encodeApk：同样的，也是使用 apktool 工具
这里还是先调用 bat 脚本，再由 bat 执行 java 命令执行 apktool，你也可以以自己的方式处理。
java -jar apktool_2.7.0.jar b [apk decode file path]
:: 参数1-apktool 参数2-apk路径
java -jar %1 b %2
TODO：
当然，有了想法你可以做很多诸如此类的事情！
- 你可以在 apk 打包完成功之后，完成重新签名
- 等等等