关于YDB与Hadoop在配置较低机器部署的配置项

HDP 篇

测试机器配置

Memory :8G
Core num:2

HDFS Config

HADOOP_HEAPSIZE:指定hadoop所有守护进程分配的java内存值默认是1024,可按需调低至 256m。

namenode java heapsize :Hadoop Name Node 分配的java堆内存大小,如果文件数小于100万 默认推荐1024M 可适当调小 至 256M 或512M。

About it
https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.2.4/bk_installing_manually_book/content/ref-80953924-1cbf-4655-9953-1e744290a6c3.1.html

NFS网关 分配的java堆内存大小
NFSGateway maximum Java heap size :128M

YARN Config

指定YARN所有守护进程分配的java内存值默认是1024,可按需调低至 256m。
YARN Java heap size :256M

ResourceManager 分配的java堆内存大小
ResourceManager Java heap size :512m

NodeManager 分配的堆内存大小
NodeManager Java heap size :256m

AppTimelineServer 分配的堆内存大小
AppTimelineServer Java heap size :256m
yarn 能够使用的最小Vcore数
Minimum Container Size (VCores):1
yarn 能够使用的最大Vcore数
Maximum Container Size (VCores):4
yarn能够调用的总Vcore数
Number of virtual cores:4

MapReduce2 Config

JobHistory分配的堆内存大小
History Server heap size: 128M

Zookeeper Config

Zookeeper能够使用的最大堆内存
Zookeeper Server Maximum Memory :256M

Ambari_Metrics Config

metrics_collector 能够使用的堆内存大小
metrics_collector_heapsize :256m

Ambari 内嵌的Hbase 内存配置:

嵌入式Hbase 所有主从节点的堆内存之和
hbase_master_heapsize :192
嵌入式Hbase 可用主节点最大堆内存
hbase_master_maxperm_size:128
嵌入式Hbase_master 年轻代最大内存值
hbase_master_xmn_size:64
嵌入式Hbase 可用主节点最大堆内存
hbase_regionserver_heapsize:64
嵌入式Hbase 从节点年轻代最大堆内存
regionserver_xmn_size:128

ambari-server Config

vi /var/lib/ambari-server/ambari-env.sh

修改 Xms, Xmx ,XX:MaxPermSize 的值
Xms初始堆大小
Xmx 最大堆大小
XX:MaxPermSize 永久代内存大小

export AMBARI_JVM_ARGS=$AMBARI_JVM_ARGS' -Xms256m -Xmx512m -XX:MaxPermSize=64m -Djava.security.auth.login.config=$ROOT/etc/ambari-server/conf/krb5JAASLogin.conf -Djava.security.krb5.conf=/etc/krb5.conf -Djavax.security.auth.useSubjectCredsOnly=false'

你可能感兴趣的:(延云工作笔记)