我这样减少了26.5M Java内存！

作者：杨超，腾讯移动客户端开发 工程师
商业转载请联系腾讯WeTest获得授权，非商业转载请注明出处。
原文链接：http://wetest.qq.com/lab/view/359.html

WeTest 导读

历时五天的内存优化已经结束，这里总结一下这几天都做了什么，有哪些收获。优化了，或可以优化的地方都有哪些。（因为很多事还没做，有些结论需要一定样本量才能断定，所以叫一期）一期优化减少JavaHeap内存占用约26.5M。

---

在任何性能优化之前，要做的第一件事就是找到性能瓶颈！而找到性能瓶颈通常需要强大的debug工具辅助。内存方面Android有 AndroidStudio 的 Android Profiler、Allocation Tracker，以及Eclipse的MAT用于分析java的内存占用，相当强大。而偏向native层面的内存占用则找不到太好的工具，因此这里在做优化前，先造了几个工具。

一、造轮子

---

1. 线程创建分析工具

该工具使用native hook的方式，直接hook了pthread_create调用，并记录每一个线程创建时的堆栈，并打印日志。同时维护一个running thread的集合，必要时 dump下来所有running thread的创建堆栈，用于分析野蛮线程创建的场景。以及对应的日志分析工具。

2、 Linux /proc//smaps 文件分析脚本

主要用于跟踪进程的 Code 部分内存（见下文）占用，分析出占用内存较多的dex，so文件。排查第三方SDK占用过多内存场景。网上只能找到一个perl脚本，功能不是很强大，鉴于笔者不熟悉perl的语法规范，改起来会比较困难，因此直接用python重写了一个。

代码在这里：https://gist.github.com/LanderlYoung/aedd0e1fe09214545a7f20c40c01776c

3、 快速Dump Android java heap脚本

因为分析内存需要很多dump操作，所以干脆写了个Bash脚本。

Bash脚本链接：https://gist.github.com/LanderlYoung/9cd0f49e49e42746622cc8e7b4bbcc8a

（顺便提一下，android提供的 hprof-conv 工具有个参数 -z 用于排除zygote的内存，十分便利。）

二、Android 进程 内存分类

---

通常我们在系统的内存管理页面看到的内存占用是进程的PSS，也就是整个进程的内存占用，因此我们做优化的要考虑到所有的内存，不仅仅是Java Heap。

使用Android Studio（3.0 beta）的 Android Profiler工具。

我们可以很清晰的看到

1）进程总内存占用： 180M

2）JavaHeap： 48M

3）NativeHeap：native层的 so 中调用malloc或new创建的内存 —— 28M

4）Graphics：OpenGL和SurfaceFlinger相关内存 ——58M

5）Stack：线程栈——1.89M

6）Code：dex+so相关代码占用内存——37.75M

7）Other：蜜汁存在

上述6中内存占用除了两种不需要考虑，其他5中通通需要优化。不需要考虑的是：

1）Other：暂时无从分析

2）Graphics：若应用没有直接调用OpenGL，则可以确定这部分内存是由Android Framework操控的，可以忽略。（当然对于游戏类应用，这里肯定是优化重点。）

下面按照内存分类分开逐一介绍分析方法，和结论：

JavaHeap

这里必然是内存优化的重点，无需多言。但是企鹅FM的业务，UI，代码已经比较庞大，分析起来会显得力不从心。因此这里主要从两个方面入手，希望能总结出一套分析方法。

1、分析应用 静息态 内存占用。
所谓静息态，是笔者自行定义的概念：

应用在退后台之后，不保留活动的场景下的内存占用。

为什么要考察这个维度？因为这个是一个应用内存占用最低点的时候，后续打开任何Activity内存只会更多，不会更少！

2、分析方法

1）开发者选项开启“不保留活动”

2）进入MainActivity，滑动页面，操作一下

3）退后台，Android Studio中强制执行GC

4）dump java heap （注意上面提到的 hprof-conf 加上 -z 参数排除zygote的干扰）

5）MAT 分析 dump 下来的JavaHeap

重点介绍一下MAT：

这里可以直接打开domanitor_tree看占用内存最多的实例。

从这里按照RetainedHeap倒序排列，一点一点的排查内存占用。很容易发现不正常的内存情况。

在企鹅FM中发现：

1）图片的内存级缓存退后台没清空（此处属于onTrimMemory回调的处理有误），占用10M内存

2）ImageMisc — 280k

①

② 是一个buffer，可以在不用的时候释放内存

③ 优化目标，彻底干掉

3）播放页应用动画的关系，UI是单例。其中相关View占用数百K内存，而button的icon直接引用住了5-6M的bitmap资源。

4）播放列表存储了103个ShowInfo，每个ShowInfo 22k，总计内存约2.24M，ShowInfo冗余信息很多，可以考虑优化数据结构

5） DanmuManager — 510k

● mDanmuItemManager 内含众多弹幕

● 每条弹幕6k

● UI相关数据，离开播放页后应该清理弹幕（因为无需展示了）

● 优化目标，彻底干掉。

6） FileCacheService — 362k

①

② 其中缓存了每一个cache entry，其中图片缓存较多

③ 每一个entry记录完整文件路径其比较长，因此路径的字符串占用了很多内存

④ 优化方案：

● 文件Parent可以共用同一个File对象。

● entry = new File(parent, “entry_name”)

⑤ 优化目标 到100k

7）LiveRoomShowListManager – 287k

①

② 优化目标：UI相关数据，离开界面应该彻底干掉

8) DB InsertHelper， Sql Statement clearBinding

① 700K到2M

② InsetHelper中会引用住最后一次执行DB insert调用的 数据（占位符）

③ InsertHelper的占位数据可以在insert完成之后清掉

针对上面提到的ShowInfo的数据结构优化

拟定优化方案：

1）ShowList存储的ShowInfo数量过多，30个足矣。

2）ShowInfo中Album字段占用10k内存，其实同一个ShowList中大多数album是完全一致的（比如专辑类型的ShowList，主播类型的，自选集类型的，本地专辑的，etc…）。

预计内存占用 2M -> 30*12K = 360K

3）静息态内存优化总结：

上述几点加起来预期可以减少内存占用：

10M + 280K + 5M + 2M + 510K + 260k + 287k + 1M = 约20M

3、 MainActivity 操作一段时间之后内存增量

上面分析的是静息态内存，下面看一下MainActivity操作一点时间之后，内存有怎样的变化。

这里采用的方式是：

1）dump静息态内存

2）进入MainActivity，立即dump内存

3）操作一段时间之后再dump内存

一共有三次dump，可以利用MAT对比heap的功能对比内存增量。

打开MAT的historgram视图

工具栏最右边有个双箭头的icon，点击可对比dump：如下图

增量最多的还是Bitmap（底层用byte[]存储），借助MAT的 Finer 工具可以直接看到Bitmap的图片。

这里发现的几个问题是（时间关系，应该多次测试的，会发现更多问题）：

① Banner的大图没有 Clip 导致 分辨率 很高

② 分类页的 配置区域 没有Clip

③ onRecycle没有清除掉已经引用的Bitmap，导致引用住不能gc

主要说一下第3点，是Banner每一个Item有一个大图做背景，当item的view被回收的时候，相应的ImageView仍然持有着大图，导致其不能回收。这里发现了4张1M+的大图，其实理论上应该只有1张。

这个问题可以推广到所有的ListView场景，建议方式是：

替换为RecyclerView，在view回收的时候，ScarpView释放图片引用。

此外，MainActivity有5个tab，各个tab之间其实会用到相同的View（listview 的item），如果使用RecyclerView可以做到5个tab的RecyclerView共同复用同一个RecyclerPool，在节省内存的同时还能显著提高性能。

这里不方便直接测试内存占用，预估可以节省内存5-10M。

4、 正常操作应用，观察内存占用图表是否有突起

这里主要用来测试异常内存分配的场景。

这里仍然需要很大人力，过很多页面。

目前发现问题有：

1）service进程，发送wns请求的时候，内存异常增长2-3M。

这时可以使用AllocationTracker工具（点击下图工具栏的红点），记录峰值那一段内存的分配，如图：

这里可以直接看到分配的栈，定位过去看，发现是这样的代码，因为head是一个65536长的数组（在 com.tencent.wns.session.Session 的构造函数写死的长度），这里创建string就浪费了超大量的内存。建议可以改成下图弹窗里的样子

2）另外一个问题是播放进程，在切换节目的时候内存会突然增长2-3M，简单跟进去看是exo创建buffer。似乎有问题，需要再多分析一下~

Native Heap

目前能看到的NativeHeap大小是

应用启动：26M 此时已经初始化了 X5内核和IM SDK

UGC录音：26M->34M 退出之后时32M，还有部分没释放，疑似内存泄漏

发起直播：32M->72M 退出之后42M，同样没有完全释放

具体内部占用情况还没测。。。（都说了是一期）。

官方文档：

https://source.android.com/devices/tech/debug/native-memory

Code

这一段明显看到占用了很多内存。各个场景下的使用情况是：

1）刚进入应用：38M

2）再使用UGC录音：38.28M

3）再使用视频直播（发起直播）：46M

4）打开应用内WebView（X5内核）：56M

以上是主进程的内存，占用相当多。需要注意的是code内存占用一般是通过read-only方式mmap映射到内存中的的dex、odex、so等文件，因此在内存紧张的情况下，系统会回收这些内存，只是在oom-killer中仍然会计算在内。

另外播放进程2.27M，service进程1.1M还属于比较正常的水平。

显然主进程的Code内存占用太多了，需要分析。这里通过解析Linux标准的 /proc//smaps文件，这个文件记录了进程内每一段虚拟内存的文件映射情况，这个文件只有进程自己有读权限，所以要么用root的机器，要么就自己写段代码copy出来。结合上面提到的工具。分析结果如下：

● 应用so占用 app so map Rss = 3984 kB （其中IM SDK 2576k）

● 应用的dex占用 app dex map Rss = 15101 kB

● X5内核的so+dex内存占用 tbs mem map Rss = 29048 kB

● 直播so相关 avlive mem map Rss = 3092 kB

● 其中X5内核的代码没有打进apk，因此可以比较独立的统计出来，占用有29M之多，让人惊讶！

● 其次直播的java代码打进了apk不方便单独统计内存用量，但是so是独立加载的，内存占用3M也是不少的。

● 最后是应用自身的dex占用有15M之多，因为自身代码量很大，似乎可以理解，但是仍然很多啊！

这里需要考虑的是 X5 内核能否延时加载？因为没打开WebView的时候就已经占用了数M了。另外WebView关闭之后是否可以销毁。

直播相关SO，可以考虑直播退出之后从内存中卸载掉。（java规范是加载so的classloader被GC，相关so即可卸载）。

应用自身dex占用。android 8.0 对art优化一个叫做DexLayout 的能力，应为mmap映射的文件不会被立即加载进内存，在用到的时候是按照页大小（4k）加载的，当用到的类在dex中分布很分散的时候，就会导致盲目加载很多页，DexLayout就是把热点类集中放到一起。这里FaceBook推出了ReDex工具，可以参考一下。

PS：关于DexLayout

三、线程创建

---

在AndroidStudio的Memory Profiler中没有线程数这个维度。但是运行中，主进程的线程数量通常会在100个左右，这是个惊人的数字，要知道Mac版的AndroidStudio也不过77个线程。。。。请自行体会一下。

关于线程的创建和内存占用，请参考笔者的另一篇文章：《Android 创建线程源码与OOM分析》 。

这里分析用的自制工具，dump下载所有running的线程，和他们创建时的堆栈。

结果是：

● X5：25个线程（简直。。。）

● IMSDK：17个线程

● StackBlur：8个线程

● WNS：7个线程

● ImageLoader：6个线程

● magnifiersdk：5个线程

需要注意，这里的栈和线程名，是创建线程的时候的调用栈，以及对应的线程名（而不是子线程名）

事实上，用同样的方法，还可以分析一下进程历史中所有创建过的线程，统计哪里创建线程最多。

通常来说，所有线程应该有应用统一的线程池来管理，sdk内部需要线程池，应该有外部注入一个线程池来提供给sdk使用。

如果有其他情况，如：不是在线程池创建的线程，在sdk自己的线程池里创建的线程，这种都可能导致线程数量的野蛮增长，需要联系sdk的开发人员杜绝这种情况。

四、总结

---

以上就是这5天的工作结果：

java内存占用基本合理，静息态 内存占用可以优化20M，MainActivity运行时的内存占用可以优化5-10M。

code内存占用太多，其中X5内核占用29M实在太多，需要考虑优化。

应用内的线程数量主要有X5内核，IMSDK和WNS贡献，外网线程创建的OOM crash 系WNS的bug，需要联系相关sdk开发人员。

最后是Native内存占用还没有详细分析，暂时看不到使用情况。但是可以知道目前的结论是：Native内存占用很多，且应该存在内存泄漏。

PS: 实际效果反馈

按照上述分析结果，进行了相关的代码调整。

执行的点包括：

1、IntelliShowList pageSize 50->20

2、IntelliShowList 公用Album结构

3、Afc-db clearBinding after insert， 数据库

4、Afc-FileCacheService cache Entry with fileName not full path， 文件缓存

5、 fix onTrimMemory bug,退后台清空图片内存缓存

6、播放页相关控件,退后台之后清掉icon,释放bitma引用

未执行的点包括：

1、播放页的bottomPannel部分icon因为逻辑较为复杂，暂时未进行处理。预计内存占用1M

2、PlayLogic的historyList逻辑复杂暂时未处理，预计内存占用500K

3、24h直播间LiveRoomShowListManager – 287k

4、DanmuManager — 510k

5、经过ice提醒，下载节目的record也会全部加载进内存。每个ShowInfo 22k，内存占用取决于用户下载的节目数。

效果对比：

before：39.32M

after：12.88M

                   优化内存占用 26.44M！

UPA—— 一款针对Unity游戏/产品的深度性能分析工具，由腾讯WeTest和unity官方共同研发打造，可以帮助游戏开发者快速定位性能问题。旨在为游戏开发者提供更完善的手游性能解决方案，同时与开发环节形成闭环，保障游戏品质。

目前，限时内测正在开放中，点击http://wetest.qq.com/cube/ 即可预约。

对UPA感兴趣的开发者，欢迎加入QQ群：633065352

如果对使用当中有任何疑问，欢迎联系腾讯WeTest企业QQ：800024531