hadoop大数据平台手动搭建(一)-ssh,ntp

Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。既然是一个框架,围绕hadoop的周边产品非常的多。对于各中版本与hadoop是否兼容等,增加的安装复杂度。所以我选择CDH。由于cloudera开发了一个manager工具。用于集群自动化安装,部署,监控。我手动安装主要是熟悉环境,解决错误。理解原理。


1.下载VMware12.5.2 build-4638234 当然其他虚拟机软件也可以,比如oracle VM virtualBox
2.下载CentOS-6.7-x86_64-bin-DVD1.iso,CentOS-6.7-x86_64-bin-DVD2.iso
3.安装centos
  由于是搭建完全分布式集群,安装了3台机器。分别是master,slave1,slave2.

hadoop大数据平台手动搭建(一)-ssh,ntp_第1张图片

  提醒的是安装centos时磁盘容量和内存尽量设置大些,根据主机情况。不然后面运行程序和软件可能报磁盘空间不够或内存耗尽。

4.虚拟机共享网络配置设置。

hadoop大数据平台手动搭建(一)-ssh,ntp_第2张图片
点NAT设置

hadoop大数据平台手动搭建(一)-ssh,ntp_第3张图片

点DHCP设置

hadoop大数据平台手动搭建(一)-ssh,ntp_第4张图片

如果主机不能访问虚拟机器。看vmnet8是否被禁用。


hadoop大数据平台手动搭建(一)-ssh,ntp_第5张图片


5.为统一开发环境修改主机名和添加hadoop用户。

再三台机器上分别执行:

a. useradd -g hadoop hadoop

以后所有与hadoop相关软件周边产品都用hadoop用户身份安装与执行。

b.主机名修改
[hadoop@master sbin]$ vi /etc/sysconfig/network
其他节点分别修改为:
HOSTNAME=slave1
HOSTNAME=slave2
hadoop大数据平台手动搭建(一)-ssh,ntp_第6张图片

c.为了让三节点间可以通过主机名访问:
[hadoop@master sbin]$ vi /etc/hosts
三节点都修改为如下。主机名与IP要对应。

hadoop大数据平台手动搭建(一)-ssh,ntp_第7张图片

d.由于hadoop集群在启动时需要通过固定IP或主机名启动。所以我们配置为静态IP.

DEVICE="eth0"
BOOTPROTO=static
IPV6INIT="yes"
NM_CONTROLLED="yes"
ONBOOT="yes"
#TYPE="Ethernet"
UUID="9fe038db-11b1-4b33-9b80-323d0394e286"
NETMASK=255.255.255.0
TYPE=Ethernet
DEFROUTE=yes
IPV5_FAILURE_FATAL=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
NAME="System eth0"
IPADDR=192.168.145.128
PREFIX=24
#Vmware为虚拟网络编辑器中的网关地址
GATEWAY=192.168.145.2
#台式机器本地连接DNS
DNS1=192.168.0.1
DOMAIN=8.8.8.8
IPV6_PEERDNS=yes
IPV6_PEERROUTES=yes
LAST_CONNECT=1488293881

6.配置ssh无密码连接。因hadoop通过ssh启动从节点等
如果没配置,每次启动hadoop集群都要求输入对应节点的密码。如果很多节点无疑不可取。
默认一般都已经安装。
[root@master sbin]$ rpm -qa|grep openssh
openssh-server-5.3p1-111.el6.x86_64
openssh-askpass-5.3p1-111.el6.x86_64
openssh-5.3p1-111.el6.x86_64
openssh-clients-5.3p1-111.el6.x86_64

a.首先关闭防火墙。

  service iptables stop (临时关闭)
  chkconfig iptables off(永久关闭)

b.[hadoop@master ~]# ssh-keygen -t rsa -P ''

-P表示密码,-P '' 就表示空密码,也可以不用-P参数,这样就要三车回车,用-P就一次回车。
它在/home/hadoop下生成.ssh目录,.ssh下有id_rsa和id_rsa.pub。

[hadoop@master ~]$ scp .ssh/id_rsa.pub hadoop@slave1:/home/hadoop/id_rsa.pub
master机把id_rsa.pub复制到salve1.ssh

在salve1上执行:
[hadoop@slave1 ~]$ cat id_rsa.pub >> .ssh/authorized_keys
[hadoop@slave1 ~]$ chmod 644 .ssh/authorized_keys
[hadoop@slave1 ~]$ chmod 700.ssh/authorized_keys

在master上执行:不再需要输入密码。如果不成功。请确认salve1中.ssh ,authorized_keys权限是否对。
[hadoop@master ~]$ ssh slave1
Last login: Wed Mar  1 08:05:08 2017 from master
[hadoop@slave1 ~]$ exit
logout
Connection to slave1 closed.
[hadoop@master ~]$

master访问slave2或master,slave1,slave2三节点之间无密码登录,包括登录本机。用同样命令去实现。


7.ntp服务配置,因后续hbase集群时节点时间相差太多无法启动。所以要同步时间。

[hadoop@master ~]$ rpm -qa | grep ntp
ntp-4.2.6p5-5.el6.centos.x86_64
fontpackages-filesystem-1.41-1.1.el6.noarch
ntpdate-4.2.6p5-5.el6.centos.x86_64

如果没安装执行yum install ntp安装。

master时间同步服务器IP在网上找的http://www.ntp.org.cn/

centos可图形界面配置:

hadoop大数据平台手动搭建(一)-ssh,ntp_第8张图片

hadoop大数据平台手动搭建(一)-ssh,ntp_第9张图片

slave1,slave2的ntp服务则写的master的ip.









  • hadoop大数据平台手动搭建(一)-ssh,ntp_第10张图片
  • 大小: 44.4 KB
  • hadoop大数据平台手动搭建(一)-ssh,ntp_第11张图片
  • 大小: 35.9 KB
  • hadoop大数据平台手动搭建(一)-ssh,ntp_第12张图片
  • 大小: 74.3 KB
  • hadoop大数据平台手动搭建(一)-ssh,ntp_第13张图片
  • 大小: 209.1 KB
  • hadoop大数据平台手动搭建(一)-ssh,ntp_第14张图片
  • 大小: 28.7 KB
  • hadoop大数据平台手动搭建(一)-ssh,ntp_第15张图片
  • 大小: 29.6 KB
  • hadoop大数据平台手动搭建(一)-ssh,ntp_第16张图片
  • 大小: 38.5 KB
  • hadoop大数据平台手动搭建(一)-ssh,ntp_第17张图片
  • 大小: 49.9 KB
  • 查看图片附件

你可能感兴趣的:(hadoop)