Hbase集群优化-实用

Hbase集群优化信息-平台优化是为了在程序运行调用的过程中

         1：保障程序正常执行

         2：给程序提供较优的执行环境

1：针对Hbase优化信息

如果集群内存够用的话，建议关闭交换区，直接使用物理内存

关闭内存空间或者调整交换空间大小

Linux默认交换空间为60；查看路径：/proc/sys/vm/swappiness

如果需要关闭内存空间将改值设置为0

Sysctl  -w vm.swappiness=0

如果内存空间不太充足的话，可以将该参数调小

Sysctl  -w vm.swappiness=5

 

也可以在Linux系统中手动释放交换空间命令：

         Linux swapoff命令用于关闭系统交换区(swap area)， -a代表all

         swapoff -a              全部关闭交换空间

         swapon -a                  全部开启交换空间

完成交换空间释放

2：调整参数优化Hbase

         调整参数：HBase Master 的 Java 配置选项    【百度解释调整方向】

                            -Xmx4g：设置应用程序（不是JVM）最大可用的内存为4g

                            -Xms2g：设置程序初始化的时候内存栈的大小，

                            -Xmn128M：JVM启动时分配的内存

                       HBase RegionServer 的 Java 配置选项

 

HBase REST Server 的 Java 堆栈大小（字节）

 

CM中Hbase参数设置

         1：配置：客户端Java堆大小（字节）                                   256兆字节

            原因：客户端java堆大小是相对客户端来说，所有不需要很大

         2：配置：HbaseRESTServer的Java堆栈大小（字节）                        256兆字节

            原因：HbaseRESTServer和HbaseTriftSever是除了java之外其他客户端访问Hbase所需，所以也不需要很大，256M足够，后期可以根据访问的语言来进行调整（如果有需要，可以都调整到2G）

         3：HbaseMaster的Java堆栈大小                                              1G

            原因：后期看日志，如果GC时间长，可以向上调整。主要看集群具体情况

         4：HbaseRegionServer的java堆栈大小                                   4G

总结:如果Hbase的RegionSever退出，并且没有打印错误日志，那么先检查Hbase的内存设置

 

拓展：JVM相关参数设置

1：堆设置

• -Xms :初始堆大小
• -Xmx :最大堆大小
• -XX:NewSize=n :设置年轻代大小
• -XX:NewRatio=n: 设置年轻代和年老代的比值。如:为3，表示年轻代与年老代比值为1：3，年轻代占整个年轻代年老代和的1/4
• -XX:SurvivorRatio=n :年轻代中Eden区与两个Survivor区的比值。注意Survivor区有两个。如：3，表示Eden：Survivor=3：2，一个Survivor区占整个年轻代的1/5
• -XX:MaxPermSize=n :设置持久代大小

2：收集器设置

• -XX:+UseSerialGC :设置串行收集器
• -XX:+UseParallelGC :设置并行收集器
• -XX:+UseParalledlOldGC :设置并行年老代收集器
• -XX:+UseConcMarkSweepGC :设置并发收集器

3：垃圾回收统计信息

• -XX:+PrintGC
• -XX:+PrintGCDetails
• -XX:+PrintGCTimeStamps
• -Xloggc:filename

4：并行收集器设置

• -XX:ParallelGCThreads=n :设置并行收集器收集时使用的CPU数。并行收集线程数。
• -XX:MaxGCPauseMillis=n :设置并行收集最大暂停时间
• -XX:GCTimeRatio=n :设置垃圾回收时间占程序运行时间的百分比。公式为1/(1+n)

5：并发收集器设置

• -XX:+CMSIncrementalMode :设置为增量模式。适用于单CPU情况。
• -XX:ParallelGCThreads=n :设置并发收集器年轻代收集方式为并行收集时，使用的CPU数。并行收集线程数。

调优总结：

年轻代大小选择

• • 响应时间优先的应用 ：尽可能设大，直到接近系统的最低响应时间限制 （根据实际情况选择）。在此种情况下，年轻代收集发生的频率也是最小的。同时，减少到达年老代的对象。
  • 吞吐量优先的应用 ：尽可能的设置大，可能到达Gbit的程度。因为对响应时间没有要求，垃圾收集可以并行进行，一般适合8CPU以上的应用。

年老代大小选择

• • 响应时间优先的应用 ：年老代使用并发收集器，所以其大小需要小心设置，一般要考虑并发会话率 和会话持续时间 等一些参数。如果堆设置小了，可以会造成内存碎片、高回收频率以及应用暂停而使用传统的标记清除方式；如果堆大了，则需要较长的收集时间。最优化的方案，一般需要参考以下数据获得：
    • 并发垃圾收集信息
    • 持久代并发收集次数
    • 传统GC信息
    • 花在年轻代和年老代回收上的时间比例

减少年轻代和年老代花费的时间，一般会提高应用的效率

1. • 吞吐量优先的应用 ：一般吞吐量优先的应用都有一个很大的年轻代和一个较小的年老代。原因是，这样可以尽可能回收掉大部分短期对象，减少中期的对象，而年老代尽存放长期存活对象。
2. 较小堆引起的碎片问题
   因为年老代的并发收集器使用标记、清除算法，所以不会对堆进行压缩。当收集器回收时，他会把相邻的空间进行合并，这样可以分配给较大的对象。但是，当堆空间较小时，运行一段时间以后，就会出现“碎片”，如果并发收集器找不到足够的空间，那么并发收集器将会停止，然后使用传统的标记、清除方式进行回收。如果出现“碎片”，可能需要进行如下配置：
   • -XX:+UseCMSCompactAtFullCollection ：使用并发收集器时，开启对年老代的压缩。
   • -XX:CMSFullGCsBeforeCompaction=0 ：上面配置开启的情况下，这里设置多少次Full GC后，对年老代进行压缩

3：针对HDFS调优 --占位抽空整理

客户端 Java 堆大小（字节）

Secondary NameNode 的 Java 堆栈大小（字节）

 

4：针对YARN调优--占位抽空整理

JobHistory Server 的 Java 堆栈大小（字节）

NodeManager 的 Java 堆栈大小（字节）

容器内存

最大容器内存

增：

-Xmx:JVM最大内存
-Xms:JVM初始堆内存
-Xss:设置每个线程栈大小
-Xmn:设置年轻代大小2G
-XX:NewSize 设置年轻代的初始值
-XX:MaxNewSize 设置年轻代最大值
-XX:PermSize 设置持久代初始值
-xx:MaxPerSize 设置持久代最大值
-xx:NewRatio=4 设置年轻代与老年代的比值 表示年轻代与老年代的比值1：4

JVM优先级：高优先级：-XX:NewSize/-XX:MaxNewSize 
          中优先级：-Xmn（默认等效  -Xmn=-XX:NewSize=-XX:MaxNewSize=?）
          低优先级：-XX:NewRatio  

垃圾回收器选择
JVM给出了3种选择：串行收集器、并行收集器、并发收集器。串行收集器只适用于小数据量的情况，所以生产环境的选择主要是并行收集器和并发收集器。
默认情况下JDK5.0以前都是使用串行收集器，如果想使用其他收集器需要在启动时加入相应参数。JDK5.0以后，JVM会根据当前系统配置进行智能判断
串行收集器
并行收集器(吞吐量优先)
并发收集器(响应时间优先)

调优原则:
-Xmx 与 -Xms 相同以避免JVM反复重新申请内存。-Xmx 的大小约等于系统内存大小的一半，即充分利用系统资源，又给予系统安全运行的空间。
-Xmn1256m 设置年轻代大小为1256MB。此值对系统性能影响较大，Sun官方推荐配置年轻代大小为整个堆的3/8。
-Xss128k 设置较小的线程栈以支持创建更多的线程，支持海量访问，并提升系统性能。