第五天-Hadoop全分布式集群搭建(傻瓜式配置)

记录我的hadoop学习路线,也希望能帮助到正在学习hadoop可爱的亲们!

杰普企业老师指点

大纲:

一、搭建Hadoop全分布式集群前提
    1.1、网络
    1.2、安装jdk
    1.3、安装hadoop
二、Hadoop全分布式集群配置免密登录实现主节点控制从节点
    2.1、配置主从节点之间的免密登录
三、Hadoop全分布式集群搭建的配置
    3.1、hadoop-env.sh  
    3.2、core-site.xml 
    3.3、hdfs-site.xml
    3.4.mapred-site.xml        
    3.5、yarn-site.xml  
    3.6、创建上面配置的目录
四、全分布式集群搭建测试
    4.1、运行环境
    4.2、服务器集群的启动与关闭
    4.3、效果
    4.4、监控平台
五、配置集群中遇到的问题

*************************************开始*****************************************

效果:

第五天-Hadoop全分布式集群搭建(傻瓜式配置)_第1张图片

1.jdk,hadoop环境的搭建我就不说了。

2.我的集群机器配置情况:

master 192.168.153.100
slave1 192.168.153.101
slave2 192.168.153.102
***你用虚拟机可能会发现,换一个网络环境ip地址就改变了,解决办法:设置静态ip

ubuntu:

1)修改 etc/network/interfaces
auto ens33  
iface ens33 inet static  
address 192.168.8.100  //ip地址,自己设定
netmask 255.255.255.0  //子网掩码
gateway 192.168.8.2    //网关  ->虚拟机->编辑网络设置->nat模式就可以看到了

2)重启网络 sudo /etc/init.d/networking restart

3)修改系统运行级别,/etc/default/grub,如下:
GRUB_CMDLINE_LINUX_DEFAULT="text"

4)修改dns,要不不能上网,/etc/resolvconf/resolv.conf.d/base,如下:

nameserver 8.8.8.8

5)重启虚拟机,搞定。

centos:

a.修改/etc/sysconfig/network如下:
NETWORKING=yes
HOSTNAME=localhost.localdomain
GATEWAY=192.168.153.2

b.修改 /etc/sysconfig/network-scripts/ifcfg-eth0:
DEVICE=eth0
HWADDR=00:0c:29:b2:24:84  #ipconfig查看
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.153.102  #自定义ip地址
NETNASK=255.255.255.0   #子网掩码
GATEWAY=192.168.153.2	#网关
DNS1=192.168.8.2      #DNS

c.最后配置下/etc/resolv.conf:(其实这一步可以省掉,上面设置了DNS Server的地址后系统会自动修改这个配置文件。)
nameserver 192.168.8.2

d.重启网络服务
service network restart

3.配置免密登录(有点小坑)

目的:master 可以登录从节点,从节点也可以登录master,相互的;

比如A要免密登录B,将A的公钥放到B里(操作我当你会了)

master和slave..n 互相能免密登录(一定要先配好哦)

4.主节点要配置的东西:

第五天-Hadoop全分布式集群搭建(傻瓜式配置)_第2张图片

core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml(伪分布式集群里有),hadoop-env.sh

注意:/etc/hosts

第五天-Hadoop全分布式集群搭建(傻瓜式配置)_第3张图片

core-site.xml全都一样,不要改


yarn-site.xml要修改一下


第五天-Hadoop全分布式集群搭建(傻瓜式配置)_第4张图片

主节点启动:

第五天-Hadoop全分布式集群搭建(傻瓜式配置)_第5张图片


5.从节点要配置的东西:

直接拷贝主节点的配置(修改yarn-site.xml,hosts文件)

启动从节点:

第五天-Hadoop全分布式集群搭建(傻瓜式配置)_第6张图片

另一个从节点也一样操作


6.查看是否搭建成功

http://localhost:50070/

第五天-Hadoop全分布式集群搭建(傻瓜式配置)_第7张图片

恭喜你了,你不要怀疑就是这么简单


注意的问题:

1.master和slave互相免密登录

修改hadoop/etc/hadoop/slaves

#从节点
slave1
slave2

在主节点的服务器中执行stop-dfs.sh

第五天-Hadoop全分布式集群搭建(傻瓜式配置)_第8张图片

你可能感兴趣的:(大,数,据)