hadoop部署过程学习总结
最近公司开始研究hadoop，组织了一个小组来研究，以下是部署过程的总结。
一、部署准备：需要用到VmWare、Centos
Hadoop 支持 windows 和 Linux，但在 windows 上仅测试过此软件可运行，并未用于生
产实践， 而大量的实践证明，在 Linux 环境下使用 hadoop 则更加稳定高效。 本节使用 Linux
较成熟的发行版 CentOS 部署 hadoop，需注意的是新装系统 （CentOS）的机器不可以直接部
署 hadoop，需做些设置后才可部署， 这些设置主要为：修改机器名，添加域名映射，关闭防
火墙，安装 jdk。
二、环境准备
（1）修改机器名
su - root
vim /etc/sysconfig/network
HOSTNAME=cMaster（自己定）
reboot（重启后才会生效）
（2）添加域名映射
vi /etc/hosts
192.168.1.100 cMaster
（3）关闭防火墙
chkconfig --level 35 iptables off
（4）安装 jdk
rpm -ivh /home/joe/jdk-7u40-linux-x64.rpm
下载地址：
添加环境变量：
vi /etc/profile
JAVA_HOME=/usr/java/jdk1.7.0_40
PATH=$JAVA_HOME:$PATH
source /etc/profile（使修改后立即生效）
（5）生成登陆密钥
#切换 Hadoop 用户下
su hadoop
cd /home/hadoop/
#生成公钥和私钥
ssh-keygen -q -t rsa -N "" -f /home/hadoop/.ssh/id_rsa
cd .ssh
cat id_rsa.pub > authorized_keys
chmod go-wx authorized_keys
#公钥:复制文件内容 id_rsa.pub 到 authorized_keys
#集群环境 id_ras_pub 复制到 node1:/home/hadoop/.ssh/authorized_keys
#检查
ll -a /home/hadoop/.ssh/
三、部署（传统解压包部署）
（1）下载hadoop2.2.0包下载地址：
解压：
tar –zxvf /home/joe/hadoop-2.2.0.tar.gz
（2）编辑文件“/home/joe/hadoop-2.2.0/etc/hadoop/hadoop-env.sh”
export JAVA_HOME=/usr/java/jdk1.7.0_40
这里的“/usr/java/jdk1.7.0_40”就是 jdk 安装位置
（3）编辑文件 “/home/joe/hadoop-2.2.0/etc/hadoop/core-site.xml” 并将如下内容嵌入到
此文件里 configuration 标签间（红色字体替换成自己的用户名）
（4）编辑文件 “/home/joe/hadoop-2.2.0/etc/hadoop/yarn-site.xml”， 并将如下内容嵌入到此文件
里 configuration 标签间
（5）将文件“/home/joe/hadoop-2.2.0/etc/hadoop/mapred-site.xml.template ”重命名为
“/home/joe/hadoop-2.2.0/etc/hadoop/mapred-site.xml”，接着编辑此文件并将如下内容嵌入到
此文件的 configuration 标签间
（6）启动 hadoop（启动前在主节点 cMaster 上格式化主节点命名空间）
hadoop-2.2.0/bin/hdfs namenode -format（多次format会出问题）
（7） 在主节点 cMaster 上启动存储主服务 namenode 和资源管理主服务 resourceManager
hadoop-2.2.0/sbin/hadoop-daemon.sh start namenode
hadoop-2.2.0/sbin/yarn-daemon.sh start resourcemanager
在从节点上启动存储从服务 datanode 和资源管理从服务 nodemanager
hadoop-2.2.0/sbin/hadoop-daemon.sh start datanode
hadoop-2.2.0/sbin/yarn-daemon.sh start nodemanager
（8）验证
命令 jps：会显示以下的进程
浏览器地址栏输入以下地址：
cMaster:8088：可在 web 界面看到 hdfs 相关信息。
cMaster:50070：可在 web 界面看到 yarn 相关信息。