Hadoop单节点搭建步骤

简介：

• 单节点即默认模式。所谓默认模式，就是安装完jdk及hadoop，配置好相应的环境，即本地模式配置完成。 所有程序都在单个JVM上执行。
• 使用本地文件系统，而不是分布式文件系统。
• 无需运行任何守护进程（daemon）,hadoop不会启动NameNode、DataNode等守护进程，Map()和Reduce()任务作为同一个进程的不同部分来执行的。

注意：命令前边有$符号则说明需要用普通用户，有#说明需要用root用户。

准备工作：

1、首先安装Linux操作系统。

2、新建一个普通用户(后序步骤可以使用普通用户完成的不要使用root用户。)

3、要准备Hadoop以及Jdk的安装包。

下载地址分别为(请点击超链接)：Hadoop     Jdk

-------------------------------------------为了方便我下载了远程连接工具。Mobaxterm。

4、我在/home/betty下创建了soft文件夹，用来存放一些软件，以及软件的安装包。

$ mkdir soft

一、安装Java

1、首先要查看系统是否有自带java,如果有，请先卸载。

查看是否有其他版本Java： $ rpm -qa | grep java

卸载其他版本（需要使用root用户删除）：# rpm -e --nodeps javaxxxxxxx

2、将压缩包解压到当前目录下。注意一定要使用普通用户！

$ tar -zxvf /home/betty/soft/jdk-8u162-linux-x64.tar.gz

3、创建软连接。目的是为了方便以后更换jdk版本时，不需要修改环境变量。

$ ln -s /home/betty/soft/jdk1.8.0_162 /home/betty/soft/jdk

4、删除安装包。

$ rm /home/betty/soft/jdk-8u162-linux-x64.tar.gz

5、配置环境变量。

配置环境变量有三种文件可修改(/etc/profile(需要使用root用户)   ~/.bash_profile   ~/.bashrc),在这里，我选择了~/.bashrc。

$ vi ~/.bashrc

【JAVA_HOME=/home/betty/soft/jdk
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME PATH】

6、使配置文件生效。

重启机器

# reboot

或者也可以使用命令

$ source ~/.bashrc（如果更改的是/etc/profile文件，则需要使用root用户来执行source /etc/profile）

7、测试

$ java -version 回车

$ javac 回车

出现信息翻滚，即配置成功。

二、安装Hadoop

1、上传压缩包并进行解压(一定要使用普通用户)

$ tar -zxvf hadoop-2.7.3.tar.gz

2、创建软连接

$ ln -s /home/betty/soft/hadoop-2.7.3 /home/betty/soft/hadoop

3、删除安装包

$ rm /home/betty/soft/hadoop-2.7.3.tar.gz
4、配置环境变量

$ vim ~/.bashrc

【JAVA_HOME=/home/betty/soft/jdk
HADOOP_HOME=/home/betty/soft/hadoop
PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME PATH
】

加上之前配置的JAVA环境变量，就变成了这样。

5、使配置文件生效。

重启机器

# reboot

或者也可以使用命令

$ source ~/.bashrc（如果更改的是/etc/profile文件，则需要使用root用户来执行source ~/.bashrc）

6、测试

$ hdfs -version

7、测试mr圆周率

hadoop jar /home/betty/soft/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar pi 10 100000

如果失败则需要配置：/etc/hosts

# /etc/hosts

添加内容【192.168.85.141 dog1】

8、单节点模式配置成功。