Hadoop内核调整

【vm.swappiness】

设置为0,指示内核不交换应用数据到磁盘。

如果磁盘正在执行其他I/O操作,将Hadoop守护进程的数据交换到磁盘可能导致操作超时从而有可能失败。对于HBase来说,由于HBase的Server必须保持与ZooKeeper通信,否则它们会被标记为失败。


【vm.overcommit_memory】

考虑java子任务分叉时,在exec前的瞬间所占的内存将使用两倍内存。将vm.overcommit_memory的值设置为1,并相应地调整vm.overcommit_ratio参数。

你可能感兴趣的:(hadoop,内核调整)