ubuntu 16.04 搭建hadoop （单机模式）

ubuntu 16.04 搭建hadoop （单机模式）

本文环境是：Ubuntu16.04LTS+Java 1.8.0_111+Hadoop 2.7.3

一、下载和安装Java

1）下载：Java在官网下载就好，我下载的是jdk-8u111-linux-x64.tar.gz;

2）解压：tar -zxvf jdk-8u111-linux-x64.tar.gz -C /usr/lib/jvm

3) 配置java环境变量，以下代码放入～/.bashrc 文件的末尾。

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_111
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

4）刷新配置： source ~/.bashrc

5) Java 安装验证 ： java -version

二、 安装SSH

1）查看SSH安装情况

rpm -qa | grep ssh

如果SSH之前没有安装，则下面进行安装

sudo apt-get install openssh-server

启动SSH

sudo /etc/init.d/ssh start

查看SSH运行情况

ps -ef  | grep ssh

生成并导入SSH密钥，避免重复输入密码

ssh -keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

登录

ssh localhost

三、安装和配置Hadoop

1) 下载Hadoop : hadoop2.7.3.tar.gz

2) 解压

tar -zxvf hadoop-2.7.3 -C /usr/local/
重命名 
mv hadoop-2.7.3 hadoop

3)查看Hadoop 版本

cd /usr/local/hadoop
./bin/hadoop version

4) 运行例子

在 /usr/local/hadoop 下新建input 文件夹，将README.txt 拷贝到input下面。运行下面代码：

hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.7.3-sources.jar org.apache.hadoop.examples.WordCount input output

查看运行结果：

cat output/*

注意：

1.如果第二次运行上面的例子，需要把output文件删除;
2.执行命令过过程中可能会遇到权限问题;最好建立hadoop用户，并把hadoop文件夹及子文件交给hadoop用户,运行下面代码！

sudo chown -R hadoop /usr/local/hadoop