基于x86服务器的Hadoop集群配置参考

基于Hadoop的大数据方案越来越多地被企业所采用。但是，如何进行合理地规划和配置Hadoop平台是很多用户头痛的事情。在我们接触或合作的很大一部分客户，他们在给Hadoop配置硬件的时候，通常没有考虑到对大数据处理的特性，造成后续Hadoop集群的性能无法满足要求。典型的配置问题包括：

• 数据节点的CPU和内存配置很高，但磁盘数量很少（少于6块磁盘）
• 按容量考虑而选择单盘容量非常大的磁盘（大于8TB），但磁盘数量偏少
• 数据接收速度和查询性能要求高，但配置的是1GbE网络
• 高可用性要求高场景下管理节点和数据节点混合在一起，或者管理节点数量偏少（少于4个）

本文通过三种不同场景的Hadoop集群方案，对其配置进行说明以便为用户提供参考。

方案一：低成本的互联网分析（IA）

该方案是为互联网分析（Internet Analysis，缩写成IA）或一般非结构化数据处理而设计的Hadoop集群，具有以下特点：

支持非结构化数据的接收和分析

• WebServer日志文件，点击流量，Twitter或Facebook的流入
• 支持使用DataClick、BigInsights或Scoop进行数据注入
• 运行Map/Reduce作业

数据的临时存储或轻量存储的要求

• 432 TB 裸存储
• 超过100 TB 可用存储空间（数据非压缩）
• 灵活的压缩选项（文件格式类型）

1 Gb 以太网数据网络

• 结合数据和管理网络
• 单独的监控网络支持xCat

可靠的硬件，无需硬件冗余的成本

• HDFS数据复制机制实现数据保护
• 支持xCat快速部署

方案二：通用型的数据落地区或数据湖（LZ）

该方案是为通用型的数据落地区（Landing Zone，缩写成LZ）或数据湖而设计，主要特点如下：

非结构化数据的快速接收、分析和存储

• ETL 工作负载，包括 DataStage, Informatica
• DataClick, BigInsights Console 和Scoop
• 运行Map/Reduce 和Hive作业
• 每GB数据的成本低且数据完全保护

数据的长期存储和企业级的保护

• 每个机架1.344 PB裸存储!
• 超过400 TB 可用存储空间（数据非压缩）
• 压缩和加密选项
• 灵活的存储框架 – HDFS 或GPFS

灵活的网络和安全选项

• 完全冗余的路由或私有网络
• 10/40 Gb 混合的以太网数据网络

基于硬件和软件冗余的可靠构造

• OS、电源、网络和Name Node服务
• HDFS数据复制机制实现数据保护

方案三：强大的NoSQL或复杂分析（NS/CA）

该方案支持NoSQL或复杂分析（Complex Analysis），对可靠性、性能等要求比前面两个方案更高。它具有以下特点：

非结构化数据的快速接收、分析和查询

• 使用BigSQL代替DW & RDBMS
• Hbase, Accumulo, Hive 和 Map/Reduce 作业
• BigR, R 或SPSS数据挖掘
• 每GB数据的成本低且数据完全保护

数据的长期存储和企业级的保护

• 每个机架896 TB裸存储!
• 超过300 TB 可用存储空间（数据非压缩）
• 压缩和加密选项
• 灵活的存储框架 – HDFS 或GPFS

灵活的网络和安全选项

• 完全冗余的路由或私有网络
• 10/40 Gb 混合的以太网数据网络

基于硬件和软件冗余的可靠构造

• OS、电源、网络和Name Node服务
• HDFS数据复制机制实现数据保护

根据不同的方案类型，IBM建议的配置参考如下：

集群总体指标

数据节点详细指标

管理节点详细指标

网络详细指标

结束语

上述内容是IBM根据实践经验推荐的配置参考模型，用户在实践使用时可以数据量进行增删数据节点，服务器和网络设备也可用换成类似性能其它厂商的产品。