Hadoop 伪分布式 搭建配置详解
Hadoop 伪分布式 搭建配置详解
个人技能手册：https://github.com/DevilMafia/personal-skill-tree
环境：
虚拟机：VMware® Workstation 14 Pro
本机系统：windows 10
虚拟机系统：CentOS_6.6
JDK：1.8
Hadoop：2.7.4
第一步、配置 JDK
声明：过程忽略解压等步骤，只是对主要步骤进行讲解
1.1 卸载CentOS 默认安装的 JDK
CentOS_6.6 本身默认安装了 java 环境。可以通过以下方式查看 默认安装的 java 环境：
卸载 默认 java 环境：
1.2 配置 自定义 JDK
jdk 解压目录路径：/opt/modules/jdk1.8.0_161 同志们你们随意！
配置方式分为两种：
一、针对该Linux系统上所有用户生效 配置文件位置：/etc/profile
二、针对当前登录用户生效 配置文件位置：~/.bash_profile
本次搭建采用第一种。配置如下：
退出保存。执行：source /etc/profile 令配置立即生效，如下图：
第二步、配置网络环境
网络连接方式：桥接模式
具体 VMware 配置 CentOS_6.6 桥接模式 详解可以参考本人博客：
http://blog.csdn.net/davis_dxs/article/details/79116881
第三步、SSH无密码验证配置
由于此次搭建是 伪分布式。所以ssh相对简单一点。
并且 CentOS_6.6 已经安装了ssh 相关的组件应用，不需要我们自己安装。如下图：
3.1 生成 私钥 、公钥
3.2 把公钥 追加到 authorized_keys
3.3 修改 authorized_keys 文件权限
第四步、Hadoop 配置
声明：
hadoop 的解压目录：/home/hadoop1/hadoop-2.7.4
所需要修改的配置文件位置： /home/hadoop1/hadoop-2.7.4/etc/hadoop
如下图所示：
4.1 环境变量 添加 HADOOP_INSTALL
为什么？ ：把hadoop安装路径添加到 path 方便执行指令。道理与java配置一些。
作用：可以在该用户目录下任何地方 启动 hadoop
配置文件：~/.bash_profile
配置如下：
保存退出，执行： source ~/.bash_profile 令配置立即生效。效果如下图：
4.2 Hadoop 添加 JAVA_HOME
因为 hadoop 启动需要java环境。但是 默认的配置不是识别，所以我们需要修改。
配置文件：/home/hadoop1/hadoop-2.7.4/etc/hadoop 目录下的 hadoop-env.sh
配置如下：
4.3 配置 core_site.xml
配置文件：/home/hadoop1/hadoop-2.7.4/etc/hadoop 目录下的 core-site.xml
配置如下：
4.4 配置 hdfs-site.xml
配置文件：/home/hadoop1/hadoop-2.7.4/etc/hadoop 目录下的 hdfs-site.xml
配置如下：
4.5 配置 mapred-site.xml
注意：mapred-site.xml 默认是没有的。 hadoop 只提供了 一个名为 mapred-site.xml.template 的模板
需要大家自己拷贝 重命名为 mapred-site.xml
命令：cp ./mapred-site.xml.template ./mapred-site.xml
配置文件：/home/hadoop1/hadoop-2.7.4/etc/hadoop 目录下的 mapred-site.xml
配置如下：
4.6 配置 yarn-site.xml
配置文件：/home/hadoop1/hadoop-2.7.4/etc/hadoop 目录下的 yarn-site.xml
配置如下：
4.7 添加 hadoop 配置路径
配置文件：/home/hadoop1/hadoop-2.7.4/etc/hadoop 目录下的 hadoop-env.sh
修改项： export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-"/etc/hadoop"} 把路径改为绝对路径
就是当前路径 ：/home/hadoop1/hadoop-2.7.4/etc/hadoop ！
配置如下：
4.8 格式化 文件系统
执行：hadoop namenode -format
执行之后 效果如下图所示表示格式化成功：
启动 Hadoop
最好重启一下系统再去启动hadoop！
如下图所示：
谢谢大家观看！