快速搭建-单节点 - hadoop集群

参考<>

前期准备                                                                                                                                    检查java版本是否与hadoop相匹配，具体看这里。另在命令行输入 'java -version' 检查java版本是否安装正确

---

1、安装Hadoop

点击这里，安装hadoop所需hadoop版本，此次安装hadoop-2.9.1。在命令行输入 ‘# tar zxvf hadoop-2.6.4.tar.gz’ 解压文件即可

2、配置路径

2.1 为hadoop配置所需的java路径

具体的，可以在'etc/hadoop' 中的 'hadoop-env.sh'中插入JAVA_HOME的路径地址。也可以直接在命令行输入‘export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.71-2.b15.el7_2.x86_64’，但是直接输入命令在命令行关闭以后，就会被打回原形，下次还需重新输入。具体可参考，配置环境变量的3种方法。

2.2 配置hadoop的环境变量

为hadoop配置环境变量，以使得更方便的调用hadoop中的命令。具体的，在/etc/profile目录下输入：

export HADOOP_HOME=~/hadoop-2.6.4                                                                           export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

然后通过 ‘hadoop -version’ 查看是否成功

3、配置hadoop模型

hadoop模型主要有：standalone, 伪分布式，全分布式。这里主要讲伪分布式。伪分布式中需要在目录'etc/hadoop' 配置如下几个文件：core-site.xml，hdfs-site.xml，mapred-site.xml 和 yarn-site.xml。四个文件具体配置参考这里

4、配置本地ssh

由于hadoop驱动结点需要通过ssh调动执行结点，因此需要ssh，并且实现无密登陆，否则每次都要输密码岂不太麻烦。首先下载ssh，随后在命令行输入2段命令：

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa                                                                            cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

然后在命令行输入‘ssh localhost’，如果没报错，恭喜你，成功了。如果报错了，请参考这帖子