hdfs性能调优

参照官方文档：http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_ig_yarn_tuning.html

1）对YARN调优：

我们实际是2颗CPU，一共24核心数，上面的服务用掉了5核，还剩下24-5=19核心

我们实际的64G的内存，64-1-1-（64*20%）=49G

修改YARN的配置页面，按照上面的算法修改配置参数：

修改参数过后需要重启集群

---

 

2）对系统优化：

File System：

Linux文件系统中为了保证root能够登录到操作系统中，需要保留一定的磁盘空间，默认这个值设置为5%。但是当前磁盘空间都是TB级别的，因此保留5%就会造成一大部分空间的浪费，对于一块4TB来说就是200G。

下面的命令可以将保留磁盘空间的容量设置成1%:

tune2fs –m 1 /dev/sdaX

12块硬盘增加noatime的参数：

/dev/sda1   /data1  ext4    defaults,noatime    0   0  

修改完设置后需要重新挂载文件系统，不需要重启。

mount -o remount /dev/sdX1