Hadoop 2.8x安装文档

Hadoop 2.8x安装文档

下载

下载 Hadoop Hadoop.apache.org

下载rpm版本的jdk Java.com

Ssh连接工具

XShall XFTP

Centos 6.8 _mini

操作系统配置

先配置一个虚拟机，然后复制

修改Ip

l vi /etc/sysconfig/network-scripts/ifcfg-eth0

l 根据自己实际网络情况修改ip地址 网关 dns等

Service network restart

测试

l 修改完成之后测试一下

l 虚拟机外部是否能ping通

l 虚拟机之间是否能ping通

修改主机名

vi /etc/sysconfig/network

关闭防火墙

l service iptables stop

l chkconfig iptables off

l vi /etc/selinux/config

l SELINUX=disabled

Hosts修改

vi /etc/hosts

安装jdk

l rpm -ivh jdk-8u131-linux-x64.rpm

l java –version 检查是否成功

安装Hadoop

上传解压缩

打开xftp

把压缩包上传到/usr/local

解压缩文件

重命名文件夹

配置Hadoop环境变量

l 修改文件vi /etc/profile 追加内容

export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin

l source /etc/profile 重新加载配置

l 修改Hadoop的jre位置

vi hadoop-env.sh

export JAVA_HOME=/usr/java/default

配置namenode和datanode

配置Core-site.xml

fs.defaultFS

hdfs://cm01:9000

        hadoop.tmp.dir

        /var/hadoop

Namenode配置

在namenode上格式化hdfs

hdfs namenode –format

虽然信息比较多，不要慌，出现这一行说明成功了。

测试namenode

启动hdfs的namenode

hadoop-daemon.sh start namenode

通过Jps命令观察，看见namenode说明服务启动了 

注意：没装jdk是没有jps命令的

通过网页观察

用浏览器打开namenode的50070端口

http://192.168.2.51:50070

Datanode配置

一样，只是不需要格式化了

从namenode上把Hadoop文件夹拷贝到集群中其他机器上

scp -r hadoop cm02:/`pwd` 

或者用xftp上传 

启动

hadoop-daemon.sh start datanode

测试

Jps

网页观察

一键启动集群

修改slave加入子节点

使用start-dfs.sh启动

常见问题

虚拟机网络配置