Hadoop2.7.1，Hadoop的环境配置不是特别的复杂，但是确实有很多细节需要注意，不然会造成许多配置错误的情况。尽量保证一次配置正确防止反复修改。
操作环境说明
操作系统
- 操作系统： window10
- cpu： i7-6700k
-
内存：16g
虚拟机版本：VMware12
ssh-keygen -t rsa -C " [email protected]"
材料准备
- ubuntu-14.10-desktop-amd64.iso (Ubuntu 光盘映像)
- hadoop-2.7.1.tar.gz (Hadoop 环境包)
注意：
ubuntu14.04有自带的java，版本是1.7，输入java -version即可查看
mark
如果没有安装java的话，网上找个安装java的文章即可，比如这篇
搭建开始
搭建开始
Vmware 创建虚拟机
根据Hadoop的调度规则，我们将使用VMware 12 加载 ubuntu….iso来创建三个Ubuntu 虚拟机。创建用典型安装即可。安装位置请选一个足够大的硬盘，预估需要50g。 记住这个位置
这时我们先创建一个Ubuntu虚拟机，为什么这样稍后解释。
SSH 安装以及配置
先配置ubuntu镜像源
打开软件源文件
sudo gedit /etc/apt/sources.list
将以下内容替换到源文件（注意在清华大学网站上选择合适自己系统的版本）
# 默认注释了源码镜像以提高 apt update 速度，如有需要可自行取消注释
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ trusty main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ trusty main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ trusty-updates main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ trusty-updates main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ trusty-backports main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ trusty-backports main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ trusty-security main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ trusty-security main restricted universe multiverse
# 预发布软件源，不建议启用
# deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ trusty-proposed main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ trusty-proposed main restricted universe multiverse
更新软件源
sudo apt-get update
安装ssh
sudo apt-get install openssh-server
已有ssh或者安装成功了的输入命令
ps -e | grep ssh
验证SSH是否成功安装输入
ssh localhost
出现以下提示说明安装成功
注意，这个时候不是特权模式，特权模式反而会报错，因为我们设置的账户名其实不是
root
生成密钥Pair
ssh-keygen -t rsa
输入后一直回车选择默认即可
mater主机中输入命令复制一份公钥到home中
cp .ssh/id_rsa.pub ~/id_rsa_master.pub
复制出两个虚拟机
到开始我们放置虚拟机的位置，复制两份放在旁边，然后用vm直接打开那两个文件夹。
这样可以生成三个一毛一样的虚拟机。
顺便给他们把名字改成各自的角色。
这样做的好处是不需要将之前的步骤重复进行多次，不容易出错。
配置 Hadoop (**以下配置将仅仅在master主机上进行 **)
- 将解压缩好的hadoop-2.7.1文件夹拷贝到home根目录下面
- 在hadoop-2.7.1文件夹下创建文件，输入
mkdir hadoop-2.7.1/tmp
mkdir hadoop-2.7.1/hdfs
mkdir hadoop-2.7.1/hdfs/name
mkdir hadoop-2.7.1/hdfs/data
- 输入命令查看ip地址 ，三个都要看，找个小本本记下。
ifconfig -a
eg. 我所使用的IP地址
192.168.232.36 master
192.168.232.54 slave1
192.168.232.79 slave2
- 修改hosts
sudo gedit /etc/hosts
三个ip地址和对应的角色写在hosts内
- 修改hostname
sudo gedit /etc/hostname
master 的改为 master
slave1 的改为 slave1
slave2 的改为 slave2
修改环境变量
cd ~/hadoop-2.7.1/
hadoop-env.sh
gedit etc/hadoop/hadoop-env.sh
找到JAVA_HOME=… 一行修改为Java HOME的路径
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-amd64
core-site.xml
gedit etc/hadoop/core-site.xml
在configuration标签中添加
fs.defaultFS
hdfs://master:9000
hadoop.tmp.dir
file:/home/mmmwhy/hadoop-2.7.1/tmp
mapred-site.xml
创建并编辑
cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
gedit etc/hadoop/mapred-site.xml
在configuration标签中添加
fs.defaultFS
hdfs://master:9000
hadoop.tmp.dir
file:/home/mmmwhy/hadoop-2.7.1/tmp
hdfs-site.xml
gedit etc/hadoop/hdfs-site.xml
在configuration标签中添加
dfs.namenode.name.dir
file:/home/mmmwhy/hadoop-2.7.1/hdfs/name
dfs.datanode.data.dir
file:/home/mmmwhy/hadoop-2.7.1/hdfs/data
dfs.replication
2
dfs.namenode.secondary.http-address
master:9001
yarn-site.xml
gedit etc/hadoop/yarn-site.xml
在configuration标签中添加
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.nodemanager.auxservices.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler
yarn.resourcemanager.address
master:8032
yarn.resourcemanager.scheduler.address
master:8030
yarn.resourcemanager.resource-tracker.address
master:8031
yarn.resourcemanager.admin.address
master:8033
yarn.resourcemanager.webapp.address
master:8088
slaves文件
gedit etc/hadoop/slaves
删除原有内容，根据配置修改，此处为
slave1
slave2
- 分发配置好的hadoop文件夹到slave1, slave2
前提是设置好ssh
scp -r hadoop-2.7.1 mmmwhy@slave1:~/
scp -r hadoop-2.7.1 mmmwhy@slave2:~/
应该出现一大堆看起来非常厉害的东西。
- 格式化hdfs
进入hadoop home目录
bin/hdfs namenode -format
- 启动集群
sbin/start-all.sh
启动后分别在master, slave下输入jps查看进程
如上则说明启动成功
集群测试
echo hellecho hello world >> in1.txt hadoop >> in2.txt
cd ~/mmmwhy/hadoop-2.7.1/
bin/hadoop fs -mkdir /usr
bin/hadoop fs -mkdir /usr/input
bin/hadoop fs -put in1.txt /usr/input
bin/hadoop fs -put in2.txt /usr/input
#执行Hadoop内置example测试程序
bin/hadoop jar ~/hadoop-2.7.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /usr/input /usr/output
然后进入 http://localhost:50070/explorer.html#/usr/input
就可以看到
运行wordcount测试
进入hadoop home目录
在hdfs（分布式文件系统）中创建一个名为input的文件夹
bin/hadoop fs -mkdir /input
查看文件是否被创建
bin/hadoop fs -ls /
hadoop home 下创建一个inputfile 文件夹，并在inputfile里创建两个文件
in1.txt
Hello world hello hadoop
in2.txt
Hello Hadoop hello whatever
上传两个文件进input
bin/hadoop fs -put inputfile/*.txt /input
查看输入文件是否传入
bin/hadoop fs -ls /input
用hadoop jar命令运行Hadoop自带的wordcount
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /input /output
程序开始运行，成功后查看输出文件夹
bin/hadoop fs -ls /output
bin/hadoop fs -cat /output/part-r-00000
至此hadoop分布式集群配置完成！本文主体内容转自CSDN，原作者写的非常好，但是有一些小问题，做到一半的时候花式报错，因此自己写了一份，修正了其中一些问题。