搭建hadoop 1.2.1单机版本

安装环境

ubuntu 16.04

所需软件

java sdk
Hadoop
ssh
rsync

1. 安装java

---

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

1. 把下载的sdk文件移到新建的/usr/lib/java路径下，并解压

   mkdir /usr/lib/java
   mv /root/Downloads/jdk-file-name /usr/lib/java
   Tar -xvf jdk-file-name.tar.gz

2. 修改环境变量：

   vim ~/.bashrc

   export JAVA_HOME=/usr/lib/java/jdk1.8.0_161
   export JRE_HOME=$JAVA_HOME/jre 
   export CLASS_PATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASS_PATH export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

   Source ~/.bashrc

2. 安装ssh

---

apt-get install ssh

1. 启动服务

   /etc/init.d/ssh start

2. 设置免密码登录，生成私钥与公钥，将公钥追加到authorized_keys

   ssh-keygen -t rsa -P ""
   cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

3. 检查是否能无密码登录ssh

   ssh localhost

3. 安装rsync

---

apt-get install rsync

4. 安装Hadoop

---

https://mirrors.cnnic.cn/apache/hadoop/common/hadoop-1.2.1/

1. 将下载下来的hadoop解压到/usr/local/hadoop中, 进入/usr/local/Hadoop/Hadoop-1.2.1/conf, 在hadoop-env.sh中配置java安装信息

   export JAVA_HOME=/usr/lib/java/jdk1.8.0_161

2. 使hadoop-env.sh配置信息生效

   source hadoop-env.sh

---

到此hadoop单机模式配置成功

为方便开机后可以立即使用hadoop的bin下命令，可将bin目录配置到~/.bashrc中

vim ~/.bashrc

export PATH=$JAVA_HOME/bin:/usr/local/hadoop/hadoop-1.2.1/bin:$PATH

使配置生效

source ~/.bashrc

5. 验证hadoop版本信息

hadoop version

6. 运行hadoop自带的wordcount例子

1. 先在hadoop目录下创建input目录，并将conf下所有文件复制到input目录下

2. 使用hadoop命令运行自带的wordcount程序，结果输出到output中

hadoop jar hadoop-examples-1.2.1.jar wordcount input output

1. 最后可在output中看到input中文件单词的统计结果