[翻译]Hadoop硬件推荐配置

原文：http://www.cloudera.com/blog/2010/03/clouderas-support-team-shares-some-basic-hardware-recommendations/
标题：Cloudera’s Support Team Shares Some Basic Hardware Recommendations


   提高我们的客户开始使用Hadoop时的第一个问题是关于选择合适的硬件，为他们的Hadoop集群。这个博客帖子描述Hadoop的管理员考虑到各种因素。我们鼓励其他人也附和他们的经验生产Hadoop集群配置。虽然Hadoop是设计行业标准的硬件上运行，建议一个理想的集群配置是不一样只是提供了硬件规格列表容易。选择硬件提供了一个给定的工作负载的性能和经济的最佳平衡，需要测试和验证。例如，用户IO密集型工作负载将投资在些每核心主轴。在这个博客后，我们将讨论的工作量评价和它在硬件的选择起着至关重要的作用。

存储和计算的融合

    在过去十年中，IT组织有标准化的刀片服务器和SAN（存储区域网络），以满足他们的网格和处理密集型工作负载。虽然这种模式使一些标准的应用，如Web服务器，应用服务器，规模较小的结构化数据库和简单的ETL（提取，转换，装载）基础设施的要求有很大的意义已经发生变化的数据量和数量用户已经成长。 Web服务器现在前端使用缓存层，数据库使用大规模并行与本地磁盘，ETL作业正在推动更多的数据比他们可以在本地处理。硬件厂商建立创新体系，以满足这些要求包括存储刀片，SAS（串行连接SCSI）开关，外部SATA阵列和更大容量的机架单元。
Hadoop的目的是基于一种新的方法来存储和处理复杂的数据。海量存储和可靠性进行处理然后移动到刀片的集合，而不是依靠在SAN上，Hadoop的处理大数据量和可靠性，在软件层。 Hadoop的数据分布到集群上，处理平衡，并使用复制，以确保数据的可靠性和容错。因为数据的分布式计算能力的机器上，处理可以直接发送到存储数据的机器。由于每个机器在一个Hadoop集群的存储和处理数据，他们需要进行配置，以满足数据存储和处理要求。


任务压力问题

    MapReduce作业，在几乎所有情况下，将遇到一个瓶颈，从磁盘或从网络（作为IO时限的工作“），或在处理数据读取的数据（CPU绑定）。 IO绑定工作的一个例子是排序，这就需要非常小的加工（简单的比较）和大量的读取和写入磁盘。一个CPU密集型的工作的一个例子是分类，其中一些输入数据处理非常复杂的方式来确定一个本体。
这里有几个例子IO绑定的工作量：
1.索引
2.搜索
3.分组
4.解码/解压缩
5.数据导入和导出
这里有几个CPU密集型工作负载的例子：
1.机器学习
2.复杂的文本挖掘
3.自然语言处理
4.特征提取

   由于我们的客户需要了解他们的工作量，为了充分优化他们的Hadoop的硬件，在开始的时候，我们经常用一个典型的鸡和蛋的问题。最多的团队寻求建立一个Hadoop集群还不知道他们的工作量，往往是组织运行Hadoop的第一份任务的，远超过他们的想像。此外，有些工作负载可能会在无法预料的方式约束。例如，有时理论IO绑定的工作量实际上可能是因为用户的选择压缩的CPU绑定。有时可能会改变一个算法的不同实现MapReduce作业的限制。由于这些原因，是有道理的投资时，团队是不熟悉的工作，他们将运行在一个平衡的Hadoop集群,团队能够基准的MapReduce工作，一旦他们的平衡群集上运行，了解他们的必然。
   它是直接测量现场工作量，并确定将在地方上的Hadoop集群的全面监测的瓶颈。我们建议安装Ganglia的所有Hadoop的机器提供实时统计，有关CPU，磁盘和网络负载。与Ganglia的安装了Hadoop的管理员可以运行自己的MapReduce工作，并检查Ganglia的仪表盘怎么看每一台机器正在执行。了解整个集群节点的更多信息。
   除了建立集群适当的工作量，我们鼓励我们的客户能够与硬件厂商和了解电力和冷却的经济。由于Hadoop的运行几十，几百或上千个节点，一个运营团队，可以节省相当数量的钱，在低功耗的硬件投资。每个硬件厂商将能够提供如何监控电源和冷却的工具和建议。

如何挑选适合你的Hadoop集群的硬件
   在选择机器配置的第一步是要了解你的运营团队已经管理的硬件类型。运营团队往往有关于购买新机器的意见，，他们已经熟悉的硬件工作。 Hadoop是不是唯一的系统，从规模效益的好处。记得使用一个初始的群集到Hadoop时，如果你还不知道你的工作量均衡的硬件规划。
一个基本的Hadoop集群中的节点有四种类型。我们这里指的是为执行特定任务的机器上的一个节点。大部分的机器将作为双方的Datanode的TaskTracker。正如我们所描述的，这些节点存储数据和执行处理功能。我们建议Datanode的/在一个平衡的Hadoop集群的TaskTracker以下规格:
在JBOD（简单磁盘捆绑）配置41TB硬盘
2四核CPU，运行至少2-2.5GHz的
1624GBs的内存（如果你考虑HBase的24-32GBs）
千兆以太网

    namenode负责协调数据存储集群,jobtracker协调数据处理任务。最后的节点类型是secondarynamenode的，它可以为小群的namenode机器上同一位置，将较大的群集namenode节点相同的硬件上运行。我们建议我们的客户购买Power的服务器，为运行的namenodes和jobtrackers的冗余电源和搜查的企业级磁盘。 namenodes也需要更多的RAM，相对集群中的数据块数量。一个好的经验法则是假设的名称节点的分布式文件系统中存储的每个一百万块内存1GB。与100的Datanode在集群名称节点上的RAM32GBs提供充足的成长空间。我们也建议有一个备用机，以取代的情况下，当其中之一失败突然namenode或jobtracker。
    当您希望您的Hadoop集群增长超过20台机器，我们建议初始群集配置，因为它是跨越两个机架，每个机架有机架千兆交换机顶部，这些交换机连接10千兆以太网的互连或核心切换。有两个逻辑机架，运营团队的内部机架的网络要求更好地理解和跨机架的沟通。
    与Hadoop集群可以开始确定工作量和准备这些工作负载基准，以确定CPU和IO瓶颈。经过一段时间的基准和监测，该小组将有一个很好的了解，更多的机器应该如何进行配置。这是常见的有Hadoop集群，特别是因为它们的规模增长。一套机器不适合你的工作量时，将不会是一种浪费。
下面是各种硬件配置不同的工作负载，包括我们原来的“基点”的建议名单：
   轻型处理配置（1U/machine）的：两个四核CPU，8GB内存，4个磁盘驱动器（1TB或2TB）。注意CPU密集型的工作，如自然语言处理涉及加载到RAM的大型模型在数据处理之前，应配置2GB内存每核心，而不是1GB内存每核心。
   平衡计算配置（1U/machine）的两个四核CPU，16到24GB内存，4个磁盘驱动器直接连接使用的主板控制器（1TB或2TB）。这些往往是因为有两个主板和8个驱动器在一个单一的2U机柜的。
   重配置存储（2U/machine）：两个四核CPU，16到24GB的内存，和12个磁盘驱动器（1TB或2TB）。这种类型的机器的功耗开始〜200W左右，处于闲置状态，可以去〜350W高活动时。
   计算密集配置（2U/machine）：两个四核CPU，48-72GB的内存，8个磁盘驱动器（1TB或2TB）。这些都需要一个大的内存模型和沉重的参考数据缓存的组合时经常使用。

其他硬件方面的考虑
   当我们遇到的应用程序产生大量的中间数据,我们建议一个以太网卡或双通道，太网卡提供2 Gbps的每台机器上的两个端口。另外，对于那些已经转移到10千兆以太网或Infiniband的客户，这些解决方案可以用来解决网络绑定的工作量。可以肯定，你的操作系统和BIOS是兼容的，如果你正在考虑切换到10千兆以太网。
   当计算内存需求，Java使用管理虚拟机到10％的因素。我们建议配置Hadoop的使用严格的堆大小的限制，以避免内存交换到磁盘。交换大大影响MapReduce作业性能，可避免更多的RAM配置的机器。
   同样重要的是优化RAM的内存通道宽度。例如，当使用双通道内存每台机器应该对DIMM配置。随着三通道内存，每台机器应该有三胞胎的DIMM。这意味着一台机器可能18GBs（9x2GB）内存，而不是16GBs（4x4GB）结束。

结论
   Hadoop集群购买相应的硬件要求基准和精心策划，充分理解的工作量。然而，Hadoop集群是常用异构，我们建议与平衡的规格部署开始时的初始硬件。