1、下载并配置JDK环境
用vi命令编辑/etc/profile文件,添加以下内容(包括tomcat环境变量的设置)
JAVA_HOME=/usr/jdk7.0/jdk1.7.0_79
TOMCAT_HOME=/root/tomcat7.0/apache-tomcat-7.0.61
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME
export PATH
export TOMCAT_HOME
export CLASSPATH
用 java -version 命令检验配置是否成功。
2、下载Hadoop-2.5.2
下载地址 :Hadoop-2.5.2
解压Hadoop到指定目录 /root/hadoopHome/hadoop-2.5.2
3、设置Hadoop环境变量
用vi命令编辑/etc/profile文件,添加以下内容
#HADOOP VARIABLES START
export HADOOP_INSTALL=/root/hadoopHome/hadoop-2.5.2
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
#HADOOP VARIABLES END
4、三台测试服务器,配置服务器名字
用vi命令编辑/etc/hosts 文件,添加以下内容
192.168.152.128 h1
192.168.152.129 h2
192.168.152.130 h3
(所有更改系统的配置文件,运行 sourcem或.命令 如source /etc/profile 使配置文件即时生效而无需 重启系统)
用scp命令 依次复制/etc/hosts文件到其他服务器的对应位置
生效后,直接用ssh 服务器名 如 ssh h1连接。
5、配置服务器间无密码连接(使得集群间服务器无密码通信)
分别在三台服务上运行 ssh-keygen -t rsa 全部回车
在root/.ssh 目录会生成 两个文件 如下
id_rsa id_rsa.pub
把三台服务器生成的id_rsa.pub的内容复制到一个文件里取名为 authorized_keys
把authorized_keys分别复制到三台服务的 /root/.ssh/ 目录下。
ssh命令测试连接,此时已不需要密码便可连接。
6、配置Hadoop配置文件
编辑 $HADOOP_HOME/etc/hadoop/hadoop-env.sh,指定jdk路径。
export JAVA_HOME=/usr/jdk7.0/jdk1.7.0_79
<一>修改$HADOOP_HOME/etc/hadoop/core-site.xml
<二>修改$HADOOP_HOME/etc/hadoop/yarn-site.xml
<三>修改$HADOOP_HOME/etc/hadoop/mapred-site.xml
因为本身没mapred-site.xml文件,可以复制mapred-site-template.xml到mapred-site.xml文件再修改
<四>修改$HADOOP_HOME/etc/hadoop/hdfs-site.xml
设置集群中每台主机都可用
<五>配置salves
编辑 $HADOOP_HOME/etc/hadoop/slaves
h1
h2
<六>配置salves 同步Hadoop主目录到每个主机服务器上。
用 scp -r 命令复制到各主机
<七>格式化hdfs
<七>启动Hadoop集群
$HADOOP_HOME/sbin/start-dfs.sh
$HADOOP_HOME/sbin/start-yarn.sh
<八>浏览器查看
浏览器打开 http://ubuntu-V01:50070/,会看到hdfs管理页面
浏览器打开 http://ubuntu-V01:8088/,会看到hadoop进程管理页面
浏览器打开 http://ubuntu-v01:8088/cluster 查看cluster情况