hadoop 集群资源配置调优

我们常说 打江山难，坐江山更难，hadoop集群搭建不容易，hadoop性能调优就更不简单，之前就因为 *-site配置文件中的内存分配不够准确，连demo中的wordcount 都运行不起来，另外 在我们 生产环境中，由于阿里云的机器一直不便宜，我们的节点有限，在运行中，数据量本身也大，自然运行就慢，假如 资源分配就还不足够优异，那自然就更难。我们老大天天给我做数学题，为甚 运行这么慢，为甚运行这么慢，哎，它就是一盘大萝贝！！
我们让我们的hadoop 运行足够 快，只能在不变的硬件基础上 进行不断调整，
我认为 大家可以参考 这两篇
http://rocketeer.leanote.com/post/Yarn-%E5%B0%8F%E8%AE%B0
http://blog.csdn.net/hy245120020/article/details/75202058

我们的目标就是 硬件的所有资源 cpu 和内存都充分使用上，并保证集群的高可用和容灾可恢复，我们还要保证任务的task充足的并行度