Hadoop伪分布式安装与配置详解（附脚本）

Hadoop的安装脚本
蓝奏云：https://ydfei.lanzous.com/iLgZqd9mihe

Hadoop链接：https://pan.baidu.com/s/1vx2xEGNEK3hQQauOaCJrgQ
提取码：cnvu

脚本使用方法：
要求：1.已安装jdk1.8 2.hadoop版本为hadoop-2.6.0-cdh5.14.2.tar.gz
参数：1.安装目录（Hadoop安装包要在安装目录下，如：/opt）2.ip地址
命令格式参考：./hadoop.sh /opt 192.168.20.150

注：别忘记修改脚本权限为777

安装详解

一、前期准备

1.下载并解压

tar -zxf hadoop-2.6.0-cdh5.14.2.tar.gz 

2.移动并改名

mv hadoop-2.6.0-cdh5.14.2 soft/hadoop260

3.进入hadoop目录

cd hadoop260/etc/hadoop

二、修改Hadoop的配置文件

i) hadoop-env.sh

修改export JAVA_HOME=/opt/soft/jdk180 （jdk目录）

ii) core-site.xml
第一个配置含义：指定namenode的hdfs协议的文件系统通信地址, 定义文件系统的实现，默认是file:///本地文件系统 ，需要我们改成 hdfs://分布式文件存储系统
第二个配置含义：指定hadoop临时目录，用于存放hadoop在运行过程中的临时文件或缓冲等

iii) hdfs-site.xml

iv) mapred-site.xml

首先复制template生成mapred-site.xml

cp mapred-site.xml.template mapred-site.xml

然后在指定mr框架为yarn

v) yarn-site.xml
第一个配置：指定resourceManager运行在哪台机器上面
第二个配置：NodeManager的通信方式

注：第一个配置的value如果写localhost，可能会导致以后nodeManager不启动，这时候就改成ip地址
错误提示：ERROR org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: RECEIVED SIGNAL 15: SIGTERM

三、增加环境变量（以便能在任意地点启动命令）

在/etc/profile 最后面添加

重启环境变量

source /etc/profile

四、对网络磁盘（文件系统）格式化

hadoop namenode -format

五、启动Hadoop

start-all.sh

测试1：显示当前系统的java进程情况及进程

jps

出现5个进程（Elasticsearch，Jps不是）

测试2：网页中输入http://192.168.56.100:50070

注：测试前先关闭防火墙