Hadoop伪分布式集群环境配置

该文档是对自己在虚拟机环境下进行Hadoop集群环境进行配置的总结。首先安装环境是:

宿主机:Windows 7 旗舰版

虚拟机:VirtualBox 4.2.0

虚拟机操作系统:opensuse 12.2

Hadoop:1.0.3

1.虚拟机安装

首先进行VirtualBox和opensuse在VirtualBox中的安装,比较简单,不再做详细的介绍。

小技巧:在VirtualBox中可以设置共享文件夹,以便Windows7和opensuse共享一些文件。具体设置如下,首先运行opensuse;然后点击“设备”→“共享文件夹”,选择一个Window7中的一个文件夹作为共享文件夹。在opensuse中使用下面命令将共享文件夹挂载到opensuse中,其中挂载点可是opensuse的任意

mount -t vboxsf 共享文件夹的名字 挂载点

文件夹,一般可以在mnt目录下。该条命令的具体例子如下:

mount -t vboxsf sharefile /mnt

2.Java安装

Opensuse安装完成后,需要进行JDK的安装和配置。JDK安装完成后,需要设置两个环境变量JAVA_HOME和PATH。一般有两种方式可以设置这两个变量。一个是修改/etc/profile文件,在该文件末尾追加下面两行代码:

export JAVA_HOME=/usr/java.1.6.35(JDK安装目录)

export $PATH=$PATH:$JAVA_HOME/bin

修改完文件后使用source /etc/profile更新文件。

还有一种方法是修改bash的配置文件,一般是/home/username/.bashrc,在里面添加上面两行代码。

3.Hadoop安装

Java安装完成后,可以进行Hadoop的安装。首先去Apache网站下载Hadoop安装包,然后将Hadoop解压到你想存储的目录,本次安装使用的目录是/usr。然后进行Hadoop解压操作:

tar zxf  hadoop-1.0.3.tar.gz

解压完成后需要配置Hadoop环境变量,与Java环境变量的配置基本相同。可以在/etc/profile添加下面两行。

export HADOOP_INSTALL=/usr/hadoop-1.0.3

export $PATH=$PATH:$HADOOP_INSTALL/bin:$HADOOP_INSTALL/sbin

也可以采用第二种方式,在.bashrc文件中添加上面两行代码。

4.ssh配置

首先,确定ssh已经安装,否则进行下载安装。然后使用下面的命令行生成密钥对:

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

密钥对生成后,验证一下是否成功,使用命令ssh localhost进行验证。如果没有成功,重新启动ssh后台服务,使用命令service sshd restart。

5.Hadoop配置

Hadoop的配置文件可以放在Hadoop的安装目录下(这是默认情况),也可以放在其他地方。本次安装放在了一个新的目录下/root/etc/hadoop/pdist,/root/etc/hadoop目录下共有三个文件,分别对应standalone模式、为分布式模式和分布式模式,分别为standalone、pdist和dist。下面看一下pdist目录下几个主要的配置文件。

<!-- core-site.xml -->

<?xml version="1.0"?>

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://localhost/</value>

</property>

</configuration>

<!-- hdfs-site.xml -->

<?xml version="1.0"?>

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

<!-- mapred-site.xml -->

<?xml version="1.0"?>

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>localhost:8021</value>

</property>

</configuration>

除了以上三个主要的配置文件外,还需要有masters和slaves两个文件,但是基本不需要进行什么修改。

这里有一个需要主要的地方,Hadoop在为分布式配置下,其运行过程中使用到了本机的计算机名称,如果在linux host文件下没有计算机名称和ip的配对,会抛出异常。在host文件中需要添加配对

Linux计算机名 127.0.0.1

例如linux-ja3s 127.0.0.1

这样Hadoop为分布式环境基本配置完毕,可以运行。

6.Hadoop运行

在运行Hadoop的时候,要指定配置文件目录,先启动HDFS,再启动MapReduce。

start-dfs.sh --config /root/etc/hadoop/pdist

start-mapred.sh --config /root/etc/hadoop/pdist


你可能感兴趣的:(mapreduce,hadoop,集群)