(先扯扯Java,热热身) 论坛上,经常看到有些人讨论c、c++、java哪个更快,哪个更主流等的口水贴,吵的乐此不疲。其实个人感觉Java 1.6之后性能和开发效率都提高了不少,虽然不像直接编译成机器码的语言一样,但是Java特有的JVM动态优化器、JIT即时编译器对热点代码都提供了动态编译和即时优化,而且开源的库也比较多,开发效率也比较高。
不过,Java在高性能IO、大内存使用上还是有些自己的弱点(个人观点,有进一步见解的可留言讨论),不过大部分系统开发还是可以应付的,Hadoop、Hbase也都是java写的。所以必要过分的挣这些,应用的场景、底层相关度、团队开发的熟悉语言反而显得比较重要。
回到正题哈,Java相对于c/c++来说,是比较“动态”的语言,在运行时期,也有扩展性和可优化性(不像c/c++直接编译成机器码)。所以,针对JVM和GC的一些优化策略就显得尤为重要,提供给程序员的灵活性也会相应的增加。这两天着手于Java后端进程的优化,对jvm和gc进行了一些研究。做了一些简单的总结:
熟悉c的同学,一定知道c对内存进行分区的管理:栈+堆+静态存储+mmap等。同样Java亦是如此。不过Java绝大多数对象都是new出来得,所以Java与"堆内存"联系更紧密。也是吃内存的大户,对“堆内存”的分区方式有些不同,Java把堆分成了四大部分:
Eden(新生代) + S0/S1(Survivor区域) + Old(老年代) + Perm(持久代)
Eden : Eden主要存储一些“新对象”,比如刚刚被new出来的(就像伊甸园的新生人类一样)。大部分生命周期比较短的对象,都是在这个区域里徘徊。
S0/S1 : 又称为from和to是两个同等大小的区域,在使用“复制”回收算法时,作为DoubleBuffer(双缓冲见博客之前的文章),起内存整理的作用(具体作用后面gc算法时会提到)。
Old : 老年代主要存储一些生存时间特别长的对象,比如伴随服务进程时刻一直存在的对象,还有进入Eden后,长时间没被清理的对象,也会进去老年代。或者超大的对象无法直接在新生代分配的对象。
Perm : 存放代码,字符串常量池,静态变量等,可以持久化的数据。(包含String.intern()方法放入字符串常量池的容量)。Perm区不同于"方法区",方法区按Java规范属于Non-Heap,只是SunJDK把它实现在了Perm区,用Perm区来存储(后续SunJDK正在逐步移出)。
Java New IO (NIO)为了获得更高的效率,防止jvm的堆内存和系统内存做多一层的映射,使用了DirectMemory的方式。例如NIO中的MappedByteBuffer,DirectByteBuffer。直接从操作系统分配内存,也成为“堆外内存”。这部分内存不受GC的直接管理,但是效率很高。使用时要比较小心,否则有可能堆内存还剩很多的时候,却抛出了OutOfMemory的异常(无法分配内存了)。
Garbage Collection时时刻刻伴随这你写的代码,帮你回收着不会再使用的对象。在c/c++中,malloc/free和new/delete总是要成对的出现(自己的东西自己收拾)。在Java GC伴随中写代码的程序员,基本上不用考虑自己“收拾”了,也基本上不用担心哪里忘了"free"内存。注意,是“基本上”,因为有时候错误的使用,也会造成Java的内存泄漏。
试想一下,如果你自己写一个垃圾回收器,你会怎么做?(拓展一下思维哈)
首先,我们需要明确,什么是垃圾对象?什么是内存的泄漏?狭义的理解,可以简单的认为,如果一个对象,我们以后不可能在用了,不想要了(就像丢掉生活中的垃圾),把这个对象的“引用”赋值一个null,哇!世界清静了,再也找不到那个对象了。泄漏,顾名思义,那个被你丢弃的对象,那块内存被你扔掉了,但是却没人能接着复用,就像从内存中扣除去了一样。所以,可以基本看出gc的简单的流程:
遍历内存中所有的对象 --> 找到那些你不在需要的(引用为null) --> 清理那块内存(不保证一定) --> 放入未使用的内存供其他地方用
这就是GC的大致流程,当然其中的很多不同的算法细节造就了不同的结构、效果:
引用计数很好理解,就是为每一个对象维护一个计数器,存储引用这个对象的个数,如:
A a = new A(); // new出来的这个对象“X”的引用就为1
A b = a ; // “X”引用+1
a = null; // “X”引用-1
当对象“X”的引用为0,说明没人再引用它,它就没用了。
此算法中,所有的Java对象构成一颗近似“搜索树”的结构,有一个root根节点,每次从root出发向下搜索,当整个树遍历完成后,那些不在其中的变量则视为"垃圾"。
如下对象可作为root可达的对象:
Java虚拟机栈中变量所引用的对象(比如A a = new A(),a即为栈中变量) -- 最主要的
方法区中静态属性引用的对象
方法区中常量引用的对象
JNI Native方法引用的对象
FullGC : 老年代的触发的GC,可回收老年代和Perm代
YoungGC : 年轻代的GC,又称为MinorGC
MinorGC可能比较频繁一般多一些没关系,FullGC需要Hung住进程,发生多了影响响应时间,所以应该尽量避免。
可以通过设置-Xms(初始化内存大小)和-Xmx(最大内存大小)使堆定长,这样就会发生收缩和扩张,可以避免GC的发生。
GC总览:
-XX:-DisableExplicitGC禁止调用System.gc(),可避免强制的无用GC
-XX:+ScavengeBeforeFullGC 新生代GC优先于Full GC执行
-XX:+UseConcMarkSweepGC 对老生代采用并发标记清除算法进行GC
-XX:+UseParallelGC 启用并行GC
-XX:+UseParallelOldGC 对Full GC启用并行,当-XX:-UseParallelGC启用时该项自动启用
-XX:+UseSerialGC 启用串行GC
-XX:+PrintGC 每次GC时打印相关信息
-XX:+PrintGC Details 每次GC时打印详细信息
-Xloggc:gc.log GC打印文件
-XX:+HeapDumpOnOutOfMemoryError 内存溢出时dump文件,可供分析
--server 以server模式启动(默认client),会触发很多优化机制(JIT编译、优化器),适合启动时间长,运行响应快的后端进程。建议后端都开启。
2、新对象在Eden和S0/S1经过15次YoungGC后,一次GC长一岁,进入Old。所以尽可能的释放无用的引用和资源。
3、Java String的subString和split方法由潜在的浪费内存的诟病,大量字符串操作情况下,自行用while和new String方式替换。
4、多使用并发数据结构(java.util.concurrenc),提高并发性能。
5、多线程下谨慎使用volatile 关键字,避免内存栅和内存的一致性访问
6、大数据量,高性能访问可以使用或借鉴Google Guava库
7、对直接数据类型,比如int、long大量操作时,避免与Integer、Long转换带来的装箱拆箱消耗
8、在高IO场景下,使用NIO代替原来的stream io
9、jvm喜欢可以重复调用的代码,可以做JIT即时编译和优化
10、构造HashMap如果元素个数可预先预估,比如cache,最好通过构造函数传入预估大小、调节负载因子防止rehash过于频繁。
11、rehash代价比较高,如果需要自己实现的话,可以参考一下redis的rehash方式,利用了double buffer,可实现动态rehashing过程。
太多了。。。。之后慢慢完善,希望各位也留言分享一些优化经验。。。。。。。。。。。。。。。。。。。。