Presto之内存管理

内存管理参数

• query.max-memory-per-node：单个查询可以在单个worker上使用的最大user memory。

• query.max-total-memory-per-node：单个查询可以在单个worker上使用的最大user and system memory。

• query.max-memory：单个查询可以在整个集群中使用的最大user memory。

• query.max-total-memory：单个查询可以在整个集群中使用的最大user and system memory。

• memory.heap-headroom-per-node：堆内存中一些未被presto跟踪的内存。

• 这个query.low-memory-killer.policy：当集群内存OOM时，选择要kill查询的策略。

1. none：无

2. total-reservation：会kill掉集群中使用最多内存的query

3. total-reservation-on-blocked-nodes：会kill掉内存不足节点中使用最多内存的query

可以看出，presto把内存分为两类，user memory和system memory。

• user memory：是与用户查询有关的，分配给与其有关或者控制的对象。

• system memory：则是分配给不直接归属于用户查询或由用户查询控制的对象，比如reader、writer或network buffers等。并且参数分为集群和worker两种级别。超过任一参数的query都将被kill。

节点配置

query.max-memory-per-node 默认为堆内存*0.1

query.max-total-memory-per-node 默认为堆内存*0.3

memory.heap-headroom-per-node 默认为堆内存*0.3

experimental.reserved-pool-enabled 默认为true 是否禁用reserved pool

集群配置

query.max-memory 默认是20G

query.max-total-memory =2*20=40G

kill策略默认也是None

Memory Pool

• 实际每个worker都会划分内存池，分为general pool和reserved pool。
• 正常query都会从general中分配内存，只有当general pool的内存用满时，才会将集群中占用内存最多的query移动到reserved pool(默认禁用)去。

配置实践

现在有1master 4worker节点的presto集群

如是独占节点 可预留给系统20%内存 堆内存可配置为80%

假如节点内存(80%)为100G

headroom=0.3*Xmx=30G

query.max-memory-per-node=0.1*Xmx=10G

query.max-total-memory-per-node=0.3*Xmx=30G

此时如果启用reservedPool则=query.max-total-memory-per-node=30G

则generalPool=100-30-30=40G

query.max-memory可=4*10=40G

query.max-total-memory=2*40=80G

可以按实际需求微调 包括kill策略和是否禁用reservedPool。

获取内存池资源

可以通过rest api获取内存池大小

curl http://ip:port/v1/memory/$pool_id(reserved或general)