Hadoop安装部署

安装环境:

系统：CentOS 6.4 64位

版本:Hadoop 2.6.0 (stable)

创建hadoop用户：

这条命令创建了可以登陆的 hadoop 用户，并使用 /bin/bash 作为shell。

useradd -m hadoop -G root -s /bin/bash

设置hadoop用户密码

passwd hadoop

可为 hadoop 用户增加管理员权限，方便部署，避免一些对新手来说比较棘手的权限问题，执行：

visudo

添加hadoop ALL(ALL) ALL 一行

准备工作:

测试一下 SSH 是否可用：

ssh localhost

输入ssh命令后可输入密码远程连接到此服务器

如果不可用，可用通过yum命令安装SSH服务

sudo yum install openssh-clients

sudo yum install openssh-server

安装Java环境：

使用root用户安装，输入su命令切换至root用户

su

使用yum命令安装jdk7,注意默认安装jdk目录位于/usr/lib/jvm/java-1.7.0-openjdk

sudo yum install java-1.7.0-openjdk java-1.7.0-openjdk-devel

配置环境变量:

vim /etc/profile

在文件末尾添加下面几句话，按ESC退出编辑模式，并输入wq保存

编译该文件使配置生效:

source /etc/profile

至此，jdk安装完成，输入java -version即可看到jdk版本信息。

安装 Hadoop 2.6稳定版

下载地址:http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.6.0/

下载好tar文件后传输至/usr/local/目录下即可

解压tar并将解压出来的文件改名为

tar -zxvf hadooop-2.6.0.tar.gz

mv hadoop-2.6.0 hadoop

检查hadoop的版本，及是否正常运行：

Hadoop伪分布式配置

Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。

在设置 Hadoop 伪分布式配置前，我们还需要设置 HADOOP 环境变量，执行如下命令设置：

vim /etc/profile

同样在文件的结尾添加如下配置信息并保存

# Hadoop Environment Variables

export HADOOP_HOME=/usr/local/hadoop

export HADOOP_INSTALL=$HADOOP_HOME

export HADOOP_MAPRED_HOME=$HADOOP_HOME

export HADOOP_COMMON_HOME=$HADOOP_HOME

export HADOOP_HDFS_HOME=$HADOOP_HOME

export YARN_HOME=$HADOOP_HOME

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

保存后，不要忘记执行如下命令使配置生效：