Hadoop环境的配置

Hadoop安装

1.1 单机模式

1.1.1 安装前准备

安装Linux

下载Ubuntu 16.04，下载地址：http://ftp.sjtu.edu.cn/ubuntu-cd/16.04.5/

（a）Desktop --> 桌面版，默认带了界面

ubuntu-16.04.5-desktop-amd64.iso

（b）Server --> 服务器版，默认没有带界面

ubuntu-16.04.5-server-amd64.iso

关闭防火墙

查看防火墙状态

$ sudo ufw status

Status: inactive

关闭防火墙

$ sudo ufw disable

防火墙在系统启动时自动禁用

查看防火墙状态：

$ sudo ufw status

Status: inactive

安装JDK

解压到根目录：

tar zxvf jdk-8u144-linux-x64.tar.gz

建一个软链接（方便使用）

ln -s jdk1.8.0_144 jdk

配置环境变量：

vi ~/.bashrc

（等号两侧不要加入空格）

export JAVA_HOME=/home/hadoop/jdk export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:.

使得变量生效：

source ~/.bashrc

确认openssh-client、openssh-server是否安装

dpkg -l | grep openssh

如果没有安装，则安装：

sudo apt-get install openssh-client

sudo apt-get install openssh-server

安装包解压

tar -zxvf hadoop-2.7.3.tar.gz

创建超链接：(便于使用)

ln -s hadoop-2.7.3 hadoop

配置环境变量：

vi ~/.bashrc

export HADOOP_HOME=/home/hadoop/hadoop

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH |

source ~/.bashrc

1.1.2安装

（1）修改配置

vi hadoop-env.sh

export JAVA_HOME=/home/hadoop/jdk

测试MapReduce程序

mkdir ~/input，增加测试数据：data.txt

运行：

hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount ~/input/data.txt
~/output

1.2 伪分布模式

1.2.1安装前准备

（1）参考上面1.1.1

同1.1.1

（2）配置主机名

sudo vi /etc/hosts （前面加sudo，需要root权限）

191.168.1.51 node1.hadoop node1

（3）免密码登录

通过ssh-keyen生成一个RSA的密钥对

ssh-keygen -t rsa -P

公钥追加到~/.ssh/authorized_keys文件中

ssh-copy-id -i ~/.ssh/id_rsa.pub 主机名(如上面都nod1)

测试免密码登录：

ssh node1

1.2.2安装

（1）修改配置文件

hadoop-env.sh

export JAVA_HOME=/home/hadoop/jdk

hdfs-site.xml

dfs.replication

1

core-site.xml

fs.defaultFS

hdfs://node1:9000

hadoop.tmp.dir

/home/hadoop/hadoop/tmp

mapred-site.xml

默认没有（cp mapred-site.xml.template mapred-site.xml）

mapreduce.framework.name

yarn

yarn-site.xml

yarn.resourcemanager.hostname

node1