hadoop参数调优(hdfs-site.xml)

property	default	description
dfs.block.size	67108864	默认每個 block 是 64MB。如果確定存取的文件块都很大可以改為 134217728(128MB)。Client 也可自行决定要使用的 block size 而不需要更改整個 cluster 的设定。
dfs.safemode.threshold.pct	0.999f	Hadoop 启动时会进入 safe mode，也就是安全模式，這时是不能写入数据的。只有当99.9% 的 blocks 达到最小的 dfs.replication.min 数量(默认是3)才会离开safe mode。在 dfs.replication.min 设的比较大或 data nodes 数量比较多时会等比较久。
dfs.namenode.handler.count	10	设定 namenode server threads 的数量，这些 threads 會用 RPC 跟其他的 datanodes 沟通。当 datanodes 数量太多时会发現很容易出現 RPC timeout，解決方法是提升网络速度或提高这个值，但要注意的是 thread 数量多也表示 namenode 消耗的内存也随着增加
dfs.datanode.handler.count	3	指定 data node 上用的 thread 数量。
dfs.datanode.max.xcievers	256	这个值是指定 datanode 可同時处理的最大文件数量
dfs.datanode.du.reserved	0	默认值表示 data nodes 会使用整个 磁盘，写满之后会导致无法再写入 M/R jobs。如果还有其他程式共用这些目录也会受到影响。建议保留至少 1073741824(1G) 的空间。