那些值得你试试的Android竞品分析工具

作者简介: 纪喜才(@D_clock爱吃葱花),创业小团队的Android开发攻城狮,Diycode 技术社区管理员,热爱开源并学习开源,热衷于技术分享,目标是成为一名T型开发者。个人博客:http://www.jianshu.com/users/ec95b5891948,Github地址:https://github.com/D-clock
审校: 唐小引(@唐门教主),欢迎技术投稿、约稿、给文章纠错,请发送邮件至[email protected]
感谢作者的辛苦撰文分享。

前言

本文整理了一些自己在开发过程中经常会用到的竞品分析工具,这些工具可以帮助分析竞品。让我们得以了解竞品相应的一些技术信息,例如:代码质量、某种业务的实现方式、用了什么第三方库等。除此之外,也有一些高端玩家会玩起 HOOK ,更有甚者是通过修改代码然后进行二次打包。当然这些损害开发者利益的事情,是不值得提倡的。但如果只是出于学习的目的,我是十分建议多折腾的。

提前声明:

  • 本文只对工具做简要功能介绍,要求面面俱到讲解每个工具使用,本人表示能力有限啊;
  • 下文所介绍的工具,都会附上这些工具的官方地址以及相应的使用教程链接(如果有);
  • 有童鞋对下文提到的工具已经用得出神入化,欢迎写成文章,可以的话,也欢迎给个链接让我补充进本文,顺带学习一下;
  • 本文所有提到的工具只做分析学习使用,请不要拿去做损害他人利益的事情;

Apk 内部结构

为了方便介绍工具,需要先简单科普一下 Apk 的内部结构,已经很熟悉的童鞋可以忽略此章节。需要注意的是,这里介绍的 Apk 结构并不包含加固的情况,虽然很多厂家推出了加固服务用于对抗反编译,但是加固也有诸多的问题存在,另外基本上分析的大厂应用都没有发现有加固的,可能也是考虑到加固后安装包存在的诸多问题吧。

直接使用 Android Studio 创建一个 HelloWorld 的 Moudle,然后打个 release 的 Apk 安装包,并修改后缀 apk 为 zip 后进行解压,可以看到下面一个标准的结构:

  • META-INF: 存放签名文件签名信息的目录,用于系统签名校验;
  • res: 存放资源文件的目录,包含项目中的 xml 和 图片资源等;
  • AndroidManifest.xml: Android项目中的配置文件;
  • classes.dex: 由Java产生的字节码文件打包生成为虚拟机可以解读的字节码文件,所有的源码都在其中;
  • resources.arsc: 资源文件的ID索引表,如:layout、drawable、mipmap都会在R文件生成相应的ID资源;
  • 其他目录:开发者自行添加的目录,如:存放资源的 asserts 、存放依赖包的 lib 目录等。

上面介绍完了一个最基本的 Apk 解压后的目录结构,下面直接拿微信作为示例,看看大厂应用的结构是怎样的:

那些值得你试试的Android竞品分析工具_第1张图片

我们可以看到微信除包含了上面提到的,还有 asserts、lib、r 这三个自行添加的目录,至于前两个目录是干嘛的上面已经提到,r 目录里面主要存放了一些 svg 和 xml 文件,有兴趣可以自行试试。如果要问为什么微信有3个dex文件的话,只能说它超了 Android 系统设定 65k 方法的限制,所以有多个dex包。

OK,关于 Apk 的目录结构介绍基本到此,这有助于我们去理解下面即将要介绍的工具!

Apktool

工具名: Apktool

官网: http://ibotpeaches.github.io/Apktool/

源码:

  • Github地址:https://github.com/iBotPeaches/Apktool
  • Bitbucket地址:https://bitbucket.org/iBotPeaches/apktool/downloads

配置文档: http://ibotpeaches.github.io/Apktool/install/, 教你如何配置 Apktool 的使用环境。

使用文档: http://ibotpeaches.github.io/Apktool/documentation/, 教你各种基本的命令的使用。

功能:

  • 还原 Apk 中所包含的 resources.arsc, classes.dex, 9.png 和 xml 等文件;
  • 对 Apk 进行重新(二次)打包;
  • 反编译依赖于 Framework 的 apk 文件;
  • 运行调试 Smali 文件;

下面以微信的Apk为例简要介绍每个功能。

1. 还原 Apk 中所包含的 resources.arsc, classes.dex, 9.png 和 xml 等文件。通过DOS窗口去到Apktool目录下,执行如下命令:

apktool d XXX.apk

那些值得你试试的Android竞品分析工具_第2张图片

可以看到上图的反编译过程中打印信息日志,以及反编译成功后得到的微信目录。反编译成功后,进入微信目录可以看到如下的目录结构:

那些值得你试试的Android竞品分析工具_第3张图片

2. 对 Apk 进行重新(二次)打包。通过DOS窗口去到Apktool目录下,执行如下命令:

apktool b 目录名

本想对微信做重新打包,结果发现微信果然做了处理了,打包不成功,大厂考虑得好周到。于是「狡猾地」拿了另一个对象试手,果然一下子搞定了。

那些值得你试试的Android竞品分析工具_第4张图片

可以去到反编译生成目录下的dist目录看到我们重新打包好后的 Apk :

那些值得你试试的Android竞品分析工具_第5张图片

那些值得你试试的Android竞品分析工具_第6张图片

这个功能主要有两个应用场景,一个是对应用进行本地化处理,例如反编译后对应用进行汉化。另一个是无耻地对应用进行广告植入,重新打包发放市场并以此牟利(非常强烈的不赞同大家去这么做)。

3. 反编译依赖于 Framework 的 apk 文件。这个功能我并没有用过,但是也做了大致的了解。举个例子(摘自网络的栗子):一般来说,你在使用 Apktool 进行反编译前不需要做其他的事情,然而由于有的厂商,如HTC、三星等,他们定制了 Framework 文件并且在他们的系统应用中使用了这些文件,这时,为了能正常的反编译这些Apk文件,你就必须从你的设备中拷贝出framework文件并且安装到apktool中。对这个功能感兴趣的童鞋,可以直接查看这篇文章:http://bbs.gfan.com/android-2657915-1-1.html

4. 运行调试 Smali 文件。首先需要解释一下什么是Smali,它是 Android 虚拟机所使用的一种机器语言,差不多可以理解成汇编语言那样子。利用 Apktool 反编译后,classes.dex 会被翻译成 Smali 源代码。

那些值得你试试的Android竞品分析工具_第7张图片

去到下面随便找个目录打开,可以看到都是后缀为 smali 的文件:

那些值得你试试的Android竞品分析工具_第8张图片

随便找个文件打开你会发现, smali 的语法还是比较好理解的。

那些值得你试试的Android竞品分析工具_第9张图片

有兴趣想要了解 smali 语法的,可以看看这位作者写的文章:http://blog.isming.me/2015/01/14/android-decompile-smali/。看到这里你可能会想问,了解 smali 的语法有什么用呢?哈,非常简单粗暴,如果懂语法,就能读懂人家的应用里面的业务逻辑,还可以加以修改等。 再加上 Apktool 提供的调试 Smali 功能,可以玩得很爽。但是在 2.0.3 的版本上,作者已经宣布废弃此功能,到了 2.1 时此功能已经完全移除掉了。这也并不意味这我们无法玩转 smali 文件。感兴趣的童鞋可以直接玩耍下面这个 smali 调试插件:

SmaliIdea: https://github.com/JesusFreke/smali/wiki/smalidea

反正我一看到 SmaliIdea 是震惊了。目前 SmaliIdea 最新的版本是 0.03,喜欢玩耍的童鞋可以到下面的下载地址中:

https://bitbucket.org/JesusFreke/smali/downloads

找到最新版的 SmaliIdea 进行安装使用:

那些值得你试试的Android竞品分析工具_第10张图片

对了,这个插件是基于 IntelliJ IDEA / Android Studio 的,还在 Eclipse 下撸码的童鞋可以忽略。

使用 Apktool 需要注意还需要注意以下几点:

1. 下载完 Apktool 后,记得要把 jar 文件改成 apktool.jar,与 apktool.bat 同名;

2. 如果之前使用过旧版的 apktool ,记得到自己对应的用户目录下将 1.apk 文件删除,否则会造成反编译失败;

那些值得你试试的Android竞品分析工具_第11张图片

Clock 是我在 Windows 下的用户目录,其他童鞋自己换成自己对应的用户目录即可。

3. 不要拿去使用 Apktool 去干违法盗版的事情,这也是工具的作者特别强调的;

那些值得你试试的Android竞品分析工具_第12张图片

dex2jar

工具名: dex2jar

官网: https://sourceforge.net/projects/dex2jar/

源码:

  • Github地址:https://github.com/pxb1988/dex2jar
  • Bitbucket地址:https://bitbucket.org/pxb1988/dex2jar

配置文档: 很简单,去官网链接直接下载到本地即可。

使用文档: 同样比较简单,直接看下面示例,或者 Google 一下。

功能:

  • 将 dex 文件还原成为 jar 文件;
  • 将 dex 文件还原成为 smali 文件;
  • 其他一些命令行很少用,喜欢折腾的童鞋,同样自行摸索。

继续拿微信开刀,解压 Apk 去除一个 dex 包,对其进行如下命令行操作:

d2j-dex2jar.bat dex文件名

那些值得你试试的Android竞品分析工具_第13张图片

可以看到生成一个对应的 jar 包,这样就可以结合下一个工具很方便的查看源代码了。如果想要将 dex 转换成 smali ,同样可以执行如下操作:

d2j-dex2smali.bat dex文件名

那些值得你试试的Android竞品分析工具_第14张图片

classes-out 目录中就可以看到由 dex 包生成的所有 smali 文件了。想必大家也留意到所有的文件都存在同名但是后缀不同的两份。

那些值得你试试的Android竞品分析工具_第15张图片

bat 后缀的是 Windows 用户可以调用的批处理文件,sh 后缀的则是 Linux 用户的 Shell 脚本。根据自己的环境去选择用 bat 还是 sh 即可。

jd-gui

工具名: jd-gui

官网: http://jd.benow.ca/

源码: https://github.com/java-decompiler/jd-gui

功能:

  • 查看 dex 文件还原成为 jar 文件代码;
  • 将 jar 文件中所有的 class 文件转换成为 java 文件。

使用很方便,下载后,直接把用 dex2jar 生成的微信 jar 包拖曳进去即可查看到对应的源代码。

那些值得你试试的Android竞品分析工具_第16张图片

那些值得你试试的Android竞品分析工具_第17张图片

也可以去到工具栏选择 File -> Save 或者 File -> Save All Sources 将单个 class 文件或者整个 jar 包保存成为 java 文件。可惜的是,这个工具的作者从 2015 年开始就停止了维护,所以迟早寻求一个替代品。网上有童鞋说,jadx 不错,可以取代 jd-gui 。我自己还没玩过,童鞋们可以自行试试:

jadx:https://github.com/skylot/jadx

enjarify

工具名: enjarify

源码: https://github.com/google/enjarify

配置文档: 下载源码到本地,并安装 Python3 的环境,同时配置好环境变量。

使用文档: 可以参考上面的源码地址中的说明,或者乌云平台的文章 http://wiki.wooyun.org/android:tools:enjarify。

功能: 可直接将 apk 文件还原成为 jar 文件,也可以和 dex2jar 一样,直接操作某个dex。

这是 Google 出品的一个逆向分析工具,从反编译成 jar 包的流程来说,要比 dex2jar 方便得多。下载完工具到本地并配置好 Python 环境后,需要修改 enjarify 目录下的 enjarify.bat 文件,将 python3 改为 python。

那些值得你试试的Android竞品分析工具_第18张图片

再通过DOS窗口去到其目录下,运行如下命令:

enjarify.bat XXX.apk

那些值得你试试的Android竞品分析工具_第19张图片

这里同样需要注意,一定要将 apk 拷贝到和 enjarify.bat 同级目录,如果使用 apk 的全目录的话,会报错。

enjarify 相较于 dex2jar 做了更多的优化处理,去避免在反编译得到 jar 包的过程中出错。虽然我在使用 dex2jar 的过程中还没遇到过出错的情况,但是在使用 enjarify 时,确实感受到相对更加方便的地方。例如:可以直接对apk进行操作,而不需要先解压提取classes.dex,特别是针对那些本来就不止一个dex包的大型应用。而 enjarfy 也并非万能的,它目前存在的一些限制,如暂时还无法逆向获得源文件的属性、行数和注释等。当然,相信 Google 的工程师也会尽力去优化改善 enjarfy 的功能,还是很值得期待的。

Procyon

工具名: Procyon

源码: https://bitbucket.org/mstrobel/procyon

配置文档: 通过下载链接 https://bitbucket.org/mstrobel/procyon/downloads,下载 jar 包到本地即可。

使用文档: https://bitbucket.org/mstrobel/procyon/wiki/Java%20Decompiler

功能: 将反编译得到 jar 包还原成 java 文件,同时能够更强的还原代码的逻辑结构。

下面直接对比一下,即可看到 Procyon 的优势所在了。直接去到 Procyon 的目录下,并将 enjarify 反编译好的微信 jar 文件放置到同级目录,同时执行如下命令反编译整个 jar 包:

java -jar procyon-decompiler-0.5.30.jar -jar XXX.jar -o 目录名

那些值得你试试的Android竞品分析工具_第20张图片

即可看到目录下指定生成的目录,和控制台窗口相应的反编译 log 信息。为了验证 Procyon 的亮点,我同时将 dex2jar 反编译微信的某个类拿出来做对比(类名是MCacheItem)得到结果如下:

那些值得你试试的Android竞品分析工具_第21张图片

那些值得你试试的Android竞品分析工具_第22张图片

相同的一个方法体的代码逻辑,图一是 dex2jar 的,图二是 Procyon 的,哪个能够更好的读懂相信大家自然心中有数,像这样的栗子是很多的,这里就不一一例举。除了上面反编译这个 jar 文件的命令外,Procyon 还有下面两个文件使用比较高频:

java -jar procyon-decompiler-0.5.30.jar //获取帮助命令

java -jar procyon-decompiler-0.5.30.jar xxx.class //反编译单个class文件

ClassyShark

那些值得你试试的Android竞品分析工具_第23张图片

工具名: ClassyShark

官网: http://classyshark.com/

源码: https://github.com/google/android-classyshark

配置文档: 通过下载链接 https://github.com/google/android-classyshark/releases ,下载 jar 包到本地即可

使用文档:

  • Github markdown版本:https://github.com/borisf/classyshark-user-guide
  • Github PDF版本:https://github.com/google/android-classyshark/blob/master/CommandLine.pdf
  • 简书版本:http://www.jianshu.com/p/8e8b88ea2197

功能: 可直接浏览 Apk,支持对.dex, .aar, .so,.apk, .jar, .class等文件的操作。

ClassyShark 同样是 Google 的亲儿子,利用它我们可以查看一些 Apk 使用了什么技术,方便作为我们开发的参考进行使用。同样以别人家的 Apk 作为分析的栗子,这回不拿微信了,因为从 Apk 分析上看,微信大部分基本上都是用自己的技术,参考价值可能不太大,换一个目标下手(常常逛知乎,就拿知乎了)。操作同样很傻瓜化,去到 ClassShark 的目录下执行如下命令即可:

java -jar ClassyShark.jar -open XXX.apk

可以看到如下界面:

那些值得你试试的Android竞品分析工具_第24张图片

我们可以看到如下界面,左边包含了 xml 文件、 classes 文件以及 lib 目录及其所包含的 so 库。直接点击某个 xml 文件即可看到其文件内容,非常方便,不过这个工具的重点不在这里。直接点击 classes 目录下某个 dex 文件。

那些值得你试试的Android竞品分析工具_第25张图片

那些值得你试试的Android竞品分析工具_第26张图片

从上面两张图中你可以看到知乎两个 dex 包所包含的方法数是多少(这个信息对我们可能没啥用),还有就是它使用了 Facebook 开源的图片加载库 Fresco、开源数据库 Realm、还有腾讯和新浪的一些SDK。

如果我切换到另外一个 Tab,还可以看到更多的信息。

那些值得你试试的Android竞品分析工具_第27张图片

它分别列出了 Apk 下每个包中的方法数,并且以直观的扇形图展示在右边。透过这里也可以看到知乎还用了 Apache 的开源库、Twitter 的移动开发检测平台 Fabric、 Rxjava、 Retrofit 以及 Square 出品的 OKIO 库。发现大厂引入的开源技术我们也可以进行相应的学习,并权衡考虑引入使用。

最后补充一点,ClassyShark 能显示包中方法数的这个功能对我们开发自家产品还是有所帮助的,假设你引入大量的第三方库而导致了 Apk 超过了 65K 方法的限制,可以通过它来查找是哪些第三方库的方法过多导致。网上很多童鞋都推荐什么计算方法数的 AS 插件,个人觉得还不如用 ClassyShark 方便一些。

TcpDump

那些值得你试试的Android竞品分析工具_第28张图片

工具名: TcpDump

官网: http://www.androidtcpdump.com/

下载地址: http://www.androidtcpdump.com/android-tcpdump/downloads

使用文档:

  • Trinea版本:http://www.trinea.cn/android/tcpdump_wireshark/
  • MrPeak版本:http://mrpeak.cn/blog/tutorial-tcpdump/

功能: 对手机进行网络抓包,前提是手机已经获取 Root 权限。支持 HTTP 和 HTTPS ,还支持更多其他协议。

Tcpdump 的使用就不介绍太多,具体怎么玩可以看上面 Trinea 和 MrPeak 的文章,已经写得很完善了。TcpDump 没有GUI,要查看抓包日志可以通过控制台窗口,但明显很鸡肋,为了方便还是把所有网络日志的抓包信息放到 pcap 文件里面,然后结合下面要介绍的 WireShark 进行操作。

WireShark

工具名: WireShark

官网: https://www.wireshark.org/

下载地址: https://www.wireshark.org/#download

使用文档: http://www.cnblogs.com/TankXiao/archive/2012/10/10/2711777.html (非常齐全的文档)

功能:

  • 配置 Tcpdump 生成打 pcap 文件,进行分析;
  • 或者可以让电脑建立热点,手机连上电脑创建的热点进行抓包,这种方式处理起来更加方便灵活。

那些值得你试试的Android竞品分析工具_第29张图片

WireShark 支持的协议也是非常多,可以看到我抓包出来的结构也非常详细,WireShark 的基本使用自行参考上面提供的链接即可,如果要玩得很深的话,需要对网络协议有一定深度的了解,童鞋们可以选择性自由发挥。

Fiddler

工具名: Fiddler

官网: http://www.telerik.com/fiddler

下载地址: https://www.telerik.com/download/fiddler

使用文档: 直接参考 Trinea 的文章 http://www.trinea.cn/android/android-network-sniffer/ 即可。

功能: 支持对 HTTP 和 HTTPS 两种协议进行抓包。

相比 Tcpdump ,它的好处在于手机不需要 Root,且有自己的 GUI 。不过它只支持 HTTP 和 HTTPS 两种协议。另外在使用时,手机也需要连接 Wi-Fi 并设置好代理,具体查看 Trinea 的文章好了。抓包的过程还是能够获得不少信息的,我在抓了新浪微博和微信的包后感受是,微信的防抓包工作比以前做得好了,微博好像就没发现有什么变化,不知道是不是错觉。

Fiddler 是本文介绍的最后一个工具,需要补充一下,请教了一些童鞋,它们说 Mac 下使用 Charles 会更爽,额,我是 Windows 用户,Mac 下的童鞋就自行折腾吧。

总结

以上就是目前自己常用的一些竞品分析工具,有针对 Apk 反编译的,也有对应用进行网络抓包的。竞品分析并非只是帮助我们去了解竞争对手的产品,很多时候我只是出于对某些应用的技术实现感兴趣,而对其进行一番挖掘,挖掘的过程中你会发现某种新技术你可以开始学习了。例如像知乎使用 Realm 数据库一样,其实 Realm 正式版发布也没多久,不过既然大厂已经投入使用那有空也需要适当的跟进学习,说不定哪天 Realm 真的干掉来了 SQLite 呢。

当然有时候除了学新技术,还派上了另一番用场,诸如某次同事对一个 App 的某些数据信息感兴趣,于是乎专门做了爬虫到网上爬取数据,后来我反编译了 App 后大致捋了一遍,发现该 App 在 raw 目录下其实已经放着一个本地数据库了,对比了数据基本差别无几,直接可以拿来用了。或者可以拿着这些工具来对自家应用动手,找找自家的产品哪里的安全性还不够,可以进行完善弥补,未尝不是一件好事。

文章总结到此,本人水平有限,无法做过多深入讲解,感兴趣竞品(逆向)分析技术的童鞋可以考虑看看 《Android软件安全与逆向分析》 或者逛逛看雪论坛膜拜一些大神的奇技淫巧!

第一时间掌握最新移动开发相关信息和技术,请关注mobilehub公众微信号(ID: mobilehub)。


更多内容请关注Android知识库。该知识库包含了专家精心绘制的Android知识图谱,及由特邀编辑(领域专家)从海量数据中层层筛选出的精华内容和资源(学习视频、实践Demo、图书)。扫描下方二维码,立即查看Android知识库精彩内容。

那些值得你试试的Android竞品分析工具_第30张图片

你可能感兴趣的:(那些值得你试试的Android竞品分析工具)