通过Isilon和VMware部署Hadoop大数据分析（上）

转载请在文首保留原文出处：EMC中文支持论坛https://community.emc.com/go/chinese

介绍

随着传统业务和新一代业务流生成大量数据仓库，各种不同机制处理这些数据的需求不断增强，如何统一管理和处理这些数据仓库催生了集中管理的、易于扩展的数据湖。数据湖让我们的分析师可以轻松安全地访问数据并进行各种分析。本文将演示如何在Isilon和VMware上搭建一个数据湖，然后部署Hadoop进行大数据分析。

更多信息

关键组件

Hadoop模型

传统的Hadoop模型由计算（MapReduce）和数据（HDFS）组合而成。Hadoop计算主要采用MapReduce架构，用于应用程序处理集群中大量的并行数据。Hadoop数据主要存储在分布式文件系统上，为高吞吐量访问应用程序提供数据。

vSphere大数据扩展

在vSphere平台上，VMware vSphere大数据扩展是一套集成的管理工具，帮助企业在vSphere平台上部署Apache Hadoop平台，以实现在vSphere平台支持大数据和Apache Hadoop。

Isilon横向扩展NAS存储

EMC Isilon是唯一支持HDFS协议的横向扩展NAS平台。通过在Isilon使用HDFS协议，用户可以部署一个功能强大、高效、灵活的数据存储和分析系统。

环境介绍

本环境包括以下几个重要组件：

1、  活动域（AD）和DNS服务器；

2、  一台VMware vCenter服务器;

3、  二台VMware ESXi主机；

4、  预装VMware大数据扩展程序；

5、  3个节点的Isilon群集。

实验操作步骤

1、  激活Isilon集群上的HDFS许可证。首先点击“Help”页面，然后点击“About This Cluster”，选择“Active license”激活HDFS许可证。

2、  在Isilon上创建Hadoop HDFS根目录。具体操作如下图：

3、  登录Isilon命令行，将HDFS的根目录指向新建目录/ifs/hadoop。具体操作如下图：

4、  在Isilon命令行，为MapReduce将来的操作和任务跟踪添加一个用户。具体操作如下图：

5、  在VMware vSphere Web Client中，新建二个DataStores容器。

应用于

了解如何通过Isilon和VMware搭建一个数据湖，然后部署Hadoop进行大数据分析。