ma-hadoop1 集群内存设置

阅读更多

 

 

如下介绍是 hadoop1 的非 yarn下内存分配设置：

 

1. 内存

hadoop为各个守护进程（namenode,secondarynamenode,jobtracker,datanode,tasktracker）统一分配的内存在hadoop-env.sh中设置，参数为HADOOP_HEAPSIZE，默认为1000M。

大部分情况下，这个统一设置的值可能并不适合。例如对于namenode节点，1000M的内存只能存储几百万个文件的数据块的引用。
单独设置namenode的内存，可以通过HADOOP_NAMENODE_OPTS来设置。
单独设置secondrynamenode的内存，可以通过HADOOP_SECONDARYNAMENODE_OPTS来设置，使得它与namenode保持一致。
单独设置datanode的内存，可以通过HADOOP_DATANODE_OPTS来设置
单独设置BalancerNode的内存，可以通过HADOOP_BALANCER_OPTS来设置
单独设置jobtracker的内存，可以通过HADOOP_JOBTRACKER_OPTS来设置
此外，tasktracker启动独立的子JVM以运行map和reduce任务，分配给每个子JVM的内存量由mapred.child.java.opts属性（mapred-site.xml）控制，默认值为200M。

 

星环内存设置：
/etc/hdfs1/conf/hadoop-env.sh   hdfs的内存设置如下

export HADOOP_NAMENODE_OPTS="-Xmx32205m -Dcom.sun.management.jmxremote $HADOOP_NAMENODE_OPTS"    31.5G 
export HADOOP_SECONDARYNAMENODE_OPTS="-Xmx4096m -Dcom.sun.management.jmxremote $HADOOP_SECONDARYNAMENODE_OPTS"   4G
export HADOOP_DATANODE_OPTS="-Xmx4096m -Dcom.sun.management.jmxremote $HADOOP_DATANODE_OPTS"   4G
export HADOOP_BALANCER_OPTS="-Xmx4096m -Dcom.sun.management.jmxremote $HADOOP_BALANCER_OPTS"   4G

 

/etc/mapreduce1/conf/hadoop-env.sh   mapreduce的内存设置如下

export HADOOP_JOBTRACKER_OPTS="-Xmx4096m -Dcom.sun.management.jmxremote $HADOOP_JOBTRACKER_OPTS"  4G
export HADOOP_TASKTRACKER_OPTS="-Xmx4096m $HADOOP_TASKTRACKER_OPTS"    4G

 

2. 最大map任务数

一个tasktracker能够同时运行最大map任务数，由mapred.tasktracker.map.tasks.maximum属性（mapred-site.xml）控制，默认为2。

 

3. 最大reduce任务数

一个tasktracker能够同时运行最大reduce任务数，由mapred.tasktracker.reduce.tasks.maximum属（mapred-site.xml）性控制，默认为2。

 

如果使用默认每个节点2个map slots, 2个reduce slots时,当来了3个map任务时,第三个map任务会在别的

2个map任务执行完毕后在进入map slots执行。

 

关于map reduce task个数的设置，以及这两个任务内存的分配设置，在星环配置文件中设置如下：

 

 

    mapred.tasktracker.map.tasks.maximum
    24
  
  
    mapred.tasktracker.reduce.tasks.maximum
    12
  
  
    mapred.child.java.opts    运行map/reduce任务的内存
    -Xmx4096m -XX:+UseConcMarkSweepGC -XX:ParallelCMSThreads=1 -XX:ParallelGCThreads=1
  

   

 
个人觉得，上述设置后，每个工作节点 使用的内存为：
datanode系统进程内存4G  + tasktracker系统进程内存4G +  tasktracker系统进程内存 4G+ 4G + (24+12)*4G = 156G 

 

上述这种设置下， map+reduce任务数 / 工作节点cpu核数(25)  = 1.5 倍，

在一个128G内存的工作节点下，上面设置的map/reduce任务内存为4G合适，、

这个工作节点不一定就 会将map reduce任务都占满并运行，大多情况下是占满map，

这样， 4G + (24)*4G = 100G  正好还有 28G的内存给当前工作机器别的任务使用，比如集群通讯等

 
4. 小总结：计算节点的内存占用量。 

 

默认情况下，一个同时运行了namenode，secondarynamenode和jobtracker的主节点(系统进程)，各自使用1000M内存，所以总计使用3000M(2.92G)。
默认情况下，一个从节点运行了如下守护进程：

1个datanode：默认占用1000M内存。
1个tasktracker：默认占用1000M内存。
上面是hadoop系统进程占据内存
=============================================================================
下面是工作进程占用内存,这里使用map task个数的默认值，reduce task个数的默认值
最多2个map任务：2*200M=400M。
最多2个reduce任务：2*200M=400M。
即默认情况下，一个从节点需要使用2800M内存量(2.74G)。

在一个tasktracker上能够同时运行的任务数取决于这台机器上有多少个处理器。
由于mapreduce作业通常是I/O-bound，因此将任务数设定为超出处理器数也有一定道理，可以获得更好的利用率。
经验法则是任务总数（map任务数与reduce任务数之和）与处理器的比值在1和2之间, 
即任务总数最少为节点处理器个数，
查看当前机器cpu个数：

[root@chinadaas01 ~]# grep "model name" /proc/cpuinfo | wc -l
24

 

例如，假设一台8个处理器的工作节点，每个处理器上运行2个进程，
则可以将最大map任务数和最大reduce任务数分别设置成7（因为还有datanode和tasktracker进程，所以不能设置为8），
各个JVM子任务可用内存设置为400M，则总内存开销=1000M(datanode)+1000M(tasktracker)+7*400M(map)+7*400M(reduce)=7600M(7.5G)

这样配置是否合理，还需要考虑是否给这台机器上的其他进程预留了足够内存，否则可能导致各进程在系统中不断切换，导致性能恶化。
可以使用一些工具来监控集群的内存使用情况来进行优化，例如Ganglia工具。

 

hadoop也可以设置mapreduce操作所能使用的最大内存量，这是分别针对各项作业进行设置的。（详见《hadoop权威指南》117页的“shuffle和排序”小节）

 

即集群中，工作节点 map/reduce任务 个数和任务内存设置，要参考如下公式：

 

 

1   工作节点cpu个数=<任务总个数 <= 工作节点cpu个数的2倍

2   保证工作节点内存 > (datanode)内存+(tasktracker)内存+(map task内存)*(map task总个数)+ (redcue task内存)*(reduce task总个数)