在centos7虚拟机上搭建伪分布式hadoop

学习hadoop搭建开发环境篇

1，安装jdk1.8

由于Hadoop是java写的，依赖java环境，搭建hadoop开发环境之前，需要安装jdk。

版本选择：hadoop2.9.0， jdk：1.8

网上有很多centos系统安装jdk的方法，这里我选择最简单的yum安装

安装之前先检查一下系统有没有自带open-jdk

命令：

rpm -qa |grep java

rpm -qa |grep jdk

rpm -qa |grep gcj

如果没有输出信息表示没有安装。

如果安装可以使用rpm -qa | grep java | xargs rpm -e --nodeps批量卸载所有带有Java的文件

安装1.8.0的所有文件

yum install java-1.8.0-openjdk* -y

检查是否安装成功

java -version

输出版本信息表示安装成功

2，下载hadoop

到官网hadoop.apache.org下载2.9.0版本的hadoop-2.9.0.tar.gz，然后移动到/opt目录解压

tar -xzf  hadoop-2.9.0.tar.gz

进入到hadoop目录，更改配置文件

vi    etc/hadoop/hadoop-env.sh

在最下面加入JAVA_HOME配置信息

export JAVA_HOME=/usr/

随后可以执行命令

bin/hadoop

查看有哪些命令参数

3，配置单机版伪分布式参数

vi    etc/hadoop/core-site.xml

vi  etc/hadoop/hdfs-site.xml

配置ssh免密码登陆

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

chmod 0600 ~/.ssh/authorized_keys

格式化namenode

bin/hdfs namenode -format

启动

sbin/start-dfs.sh

启动的过程中碰到一个报错：WARN util.NativeCodeLoader: Unable to load native-Hadooplibrary for your platform... using builtin-Javaclasses where applicable

我是在log配置文件中将其报错隐藏->在etc/hadoop/log4j.propertie最底部加

浏览器访问

http://localhost:50070/