Spark修炼之道（进阶篇）——Spark入门到精通：第一节 Spark 1.5.0集群搭建

本节主要内容

操作系统环境准备

Hadoop 2.4.1集群搭建

Spark 1.5.0 集群部署

注：在利用CentOS 6.5操作系统安装spark 1.5集群过程中，本人发现Hadoop 2.4.1集群可以顺利搭建，但在Spark 1.5.0集群启动时出现了问题（可能原因是64位操作系统原因，源码需要重新编译，但本人没经过测试），经本人测试在ubuntu 10.04 操作系统上可以顺利成功搭建。大家可以利用CentOS 6.5进行尝试，如果有问题，再利用ubuntu 10.04搭建，所有步骤基本一致

1. 操作系统环境准备

（1）安装VMWare

下载地址：http://pan.baidu.com/s/1bniBipD

密码：pbdw

安装过程略

（2）下载操作系统并安装

Ubuntu 10.04操作系统下载地址：

链接：http://pan.baidu.com/s/1kTy9Umj 密码：2w5b

CentOS 6.5下载地址：

下载地址：http://pan.baidu.com/s/1mgkuKdi

密码：xtm5

本实验要求装三台：CentOS 6.5，可以分别安装，也可以安装完一台后克隆两台，具体过程略。初学者，建议三台分别安装。安装后如下图所示：

（3）CentOS 6.5网络配置

安装好的虚拟机一般默认使用的是NAT（关于NAT、桥接等虚拟机网络连接方式参见本人博客：http://blog.csdn.net/lovehuangjiaju/article/details/48183485），由于三台机器之间需要互通之外，还需要与本机连通，因此采用将网络连接方式设置为Bridged（三台机器相同的设置），如下图所法：

修改主机名

（1）修改centos_salve01虚拟机主机名：

vim /etc/sysconfig/network

/etc/sysconfig/network修改后的内容如下：

（2）vim /etc/sysconfig/network命令修改centos_slave02虚拟机主机名

/etc/sysconfig/network修改后的内容如下：

（3）vim /etc/sysconfig/network命令修改centos_slave03虚拟机主机名

/etc/sysconfig/network修改后的内容如下：

修改主机IP地址

在大家在配置时，修改/etc/sysconfig/network-scripts/ifcfg-eth0文件对应的BOOTPROT=static、IPADDR、NETMASK、GATEWAY及DNS1信息即可

（1）修改centos_salve01虚拟机主机IP地址：

vim /etc/sysconfig/network-scripts/ifcfg-eth0

修改后内容如下：

DEVICE="eth0"

BOOTPROTO="static"

HWADDR="00:0c:29:3f:69:4d"

IPV6INIT="yes"

NM_CONTROLLED="yes"

ONBOOT="yes"

TYPE="Ethernet"

UUID="5315276c-db0d-4061-9c76-9ea86ba9758e"

IPADDR="192.168.1.111"

NETMASK="255.255.255.0"

GATEWAY="192.168.1.1"

DNS1="8.8.8.8"

（2）修改centos_salve02虚拟机主机IP地址：

vim /etc/sysconfig/network-scripts/ifcfg-eth0

修改后内容如下：

DEVICE="eth0"

BOOTPROTO="static"

HWADDR="00:0c:29:64:f9:80"

IPV6INIT="yes"

NM_CONTROLLED="yes"

ONBOOT="yes"

TYPE="Ethernet"

UUID="5315276c-db0d-4061-9c76-9ea86ba9758e"

IPADDR="192.168.1.112"

NETMASK="255.255.255.0"

GATEWAY="192.168.1.1"

DNS1="8.8.8.8"

（3）修改centos_salve03虚拟机主机IP地址：

vim /etc/sysconfig/network-scripts/ifcfg-eth0

修改后内容如下：

DEVICE="eth0"

BOOTPROTO="static"

HWADDR="00:0c:29:1e:80:b1"

IPV6INIT="yes"

NM_CONTROLLED="yes"

ONBOOT="yes"

TYPE="Ethernet"

UUID="5315276c-db0d-4061-9c76-9ea86ba9758e"

IPADDR="192.168.1.113"

NETMASK="255.255.255.0"

GATEWAY="192.168.1.1"

DNS1="8.8.8.8"

/etc/sysconfig/network-scripts/ifcfg-eth0文件内容解析：

DEVICE=eth0 //指出设备名称

BOOTPROT=static //启动类型 dhcp|static，使用桥接模式，必须是static

HWADDR=00:06:5B:FE:DF:7C //硬件Mac地址

IPADDR=192.168.0.2 //IP地址

NETMASK=255.255.255.0 //子网掩码

NETWORK=192.168.0.0 //网络地址

GATEWAY=192.168.0.1 //网关地址

ONBOOT=yes //是否启动应用

TYPE=Ethernet //网络类型

设置完成后，使用

service network restart

命令重新启动网络，配置即可生效。

设置主机名与IP地址映射

（1）修改centos_salve01主机名与IP地址映射

vim /etc/hosts

设置内容如下：

127.0.0.1 slave01.example.com localhost localhost.localdomain localhost4 localhost4.localdomain4

::1 slave01.example.com

192.168.1.111 slave01.example.com

192.168.1.112 slave02.example.com

192.168.1.113 slave03.example.com

具体如下图：

（2）修改centos_salve02主机名与IP地址映射

vim /etc/hosts

设置内容如下：

127.0.0.1 slave02.example.com localhost localhost.localdomain localhost4 localhost4.localdomain4

::1 slave02.example.com

192.168.1.111 slave01.example.com

192.168.1.112 slave02.example.com

192.168.1.113 slave03.example.com

具体如下图：

（3）修改centos_salve03主机名与IP地址映射

vim /etc/hosts

设置内容如下：

127.0.0.1 slave03.example.com localhost localhost.localdomain localhost4 localhost4.localdomain4

::1 slave03.example.com

192.168.1.111 slave01.example.com

192.168.1.112 slave02.example.com

192.168.1.113 slave03.example.com

修改主机DNS

采用下列命令设置各主机DNS（三台机器进行相同的设置)

vim /etc/resolv.conf

设置后的内容：

# Generated by NetworkManager

search example.com

nameserver 8.8.8.8

8.8.8.8为Google提供的DNS服务器

网络连通测试

前面所有的配置完成后，重启centos_salve01、centos_salve02、centos_salve03使主机名设置生效，然后分别在三台机器上作如下测试命令：

下面只给出在centos_salve01虚拟机上的测试

[root@slave01 ~]# ping slave02.example.com

PING slave02.example.com (192.168.1.112) 56(84) bytes of data.

64 bytes from slave02.example.com (192.168.1.112): icmp_seq=1 ttl=64 time=0.417 ms

64 bytes from slave02.example.com (192.168.1.112): icmp_seq=2 ttl=64 time=0.355 ms

64 bytes from slave02.example.com (192.168.1.112): icmp_seq=3 ttl=64 time=0.363 ms

--- slave02.example.com ping statistics ---

3 packets transmitted, 3 received, 0% packet loss, time 2719ms

rtt min/avg/max/mdev = 0.355/0.378/0.417/0.031 ms

[root@slave01 ~]# ping slave03.example.com

PING slave03.example.com (192.168.1.113) 56(84) bytes of data.

64 bytes from slave03.example.com (192.168.1.113): icmp_seq=1 ttl=64 time=0.386 ms

64 bytes from slave03.example.com (192.168.1.113): icmp_seq=2 ttl=64 time=0.281 ms

--- slave03.example.com ping statistics ---

2 packets transmitted, 2 received, 0% packet loss, time 1799ms

rtt min/avg/max/mdev = 0.281/0.333/0.386/0.055 ms

网的连通性（我在装的时候，8.8.8.8，已经被禁用….心中一万头cnm）：

[root@slave01 ~]# ping www.baidu.com

ping: unknown host www.baidu.com

[root@slave01 ~]# ping 8.8.8.8

PING 8.8.8.8 (8.8.8.8) 56(84) bytes of data.

From 192.168.1.111 icmp_seq=2 Destination Host Unreachable

From 192.168.1.111 icmp_seq=3 Destination Host Unreachable

From 192.168.1.111 icmp_seq=4 Destination Host Unreachable

From 192.168.1.111 icmp_seq=6 Destination Host Unreachable

From 192.168.1.111 icmp_seq=7 Destination Host Unreachable

From 192.168.1.111 icmp_seq=8 Destination Host Unreachable

（4）SSH完密码登录

#### (1) OpenSSH安装

如果大家在配置时，ping 8.8.8.8能够ping通，则主机能够正常上网；如果不能上网，则将网络连接方式重新设置为NAT，并修改网络配置文件为dhcp方式。在保证网络连通的情况下执行下列命令：

yum install openssh-server

#### (2) 无密码登录实现

使用以下命令生成相应的密钥（三台机器进行相同的操作）

ssh-keygen -t rsa

执行过程一直回车即可

[root@slave01 ~]# ssh-keygen -t rsa

Generating public/private rsa key pair.

Enter file in which to save the key (/root/.ssh/id_rsa):

Enter passphrase (empty for no passphrase):

Enter same passphrase again:

Your identification has been saved in /root/.ssh/id_rsa.

Your public key has been saved in /root/.ssh/id_rsa.pub.

The key fingerprint is:

4e:2f:39:ed:f4:32:2e:a3:55:62:f5:8a:0d:c5:2c:16 [email protected]

The key's randomart image is:

+--[ RSA 2048]----+

| E |

| + |

| o = |

| . + . |

| S . . |

| + X . |

| B * |

| .o=o. |

| .. +oo. |

+-----------------+

生成的文件分别为/root/.ssh/id_rsa（私钥）、/root/.ssh/id_rsa.pub（公钥）

完成后将公钥拷贝到要免登陆的机器上（三台可进行相同操作）：

ssh-copy-id -i slave01.example.com

ssh-copy-id -i slave02.example.com

ssh-copy-id -i slave03.example.com

2. Hadoop 2.4.1集群搭建

集群搭建相关软件下载地址：

链接：http://pan.baidu.com/s/1sjIG3b3 密码：38gh

下载后将所有软件都放置在E盘的share目录下:

设置share文件夹为虚拟机的共享目录，如下图所示：

在linux系统中，采用

[root@slave01 /]# cd /mnt/hgfs/share

[root@slave01 share]# ls

命令可以切换到该目录下，如下图

Spark官方要求的JDK、Scala版本

Spark runs on Java 7+, Python 2.6+ and R 3.1+. For the Scala API, Spark 1.5.0 uses Scala 2.10. You will need to use a compatible Scala version (2.10.x).

（1）JDK 1.8 安装

在根目录下创建sparkLearning目前，后续所有相关软件都放置在该目录下，代码如下：

[root@slave01 /]# mkdir /sparkLearning

[root@slave01 /]# ls

bin etc lib media proc selinux sys var

boot hadoopLearning lib64 mnt root sparkLearning tmp

dev home lost+found opt sbin srv usr

将共享目录中的jdk安装包复制到/sparkLearning目录

[root@slave01 share]# cp /mnt/hgfs/share/jdk-8u40-linux-x64.gz /sparkLearning/

[root@slave01 share]# cd /sparkLearning/

//解压

[root@slave01 sparkLearning]# tar -zxvf jdk-8u40-linux-x64.gz

设置环境变量：

[root@slave01 sparkLearning]# vim /etc/profile

在文件最后添加：

export JAVA_HOME=/sparkLearning/jdk1.8.0_40

export PATH=${JAVA_HOME}/bin:$PATH

如下图：

测试配置是否成功：

//使修改后的配置生效

[root@slave01 sparkLearning]# source /etc/profile

//环境变量是否已经设置

[root@slave01 sparkLearning]# $JAVA_HOME

bash: /sparkLearning/jdk1.8.0_40: is a directory

//测试java是否安装配置成功

[root@slave01 sparkLearning]# java -version

java version "1.8.0_40"

Java(TM) SE Runtime Environment (build 1.8.0_40-b25)

Java HotSpot(TM) 64-Bit Server VM (build 25.40-b25, mixed mode)

（2）Scala 2.10.4 安装

//复制文件到sparkLearning目录下

[root@slave01 sparkLearning]# cp /mnt/hgfs/share/scala-2.10.4.tgz .

//解压

[root@slave01 sparkLearning]# tar -zxvf scala-2.10.4.tgz > /dev/null

[root@slave01 sparkLearning]# vim /etc/profile

将/etc/profile文件末尾内容修改如下：

export JAVA_HOME=/sparkLearning/jdk1.8.0_40

export SCALA_HOME=/sparkLearning/scala-2.10.4

export PATH=${JAVA_HOME}/bin:${SCALA_HOME}/bin:$PATH

测试Scala是否安装成功

[root@slave01 sparkLearning]# source /etc/profile

[root@slave01 sparkLearning]# $SCALA_HOME

bash: /sparkLearning/scala-2.10.4: is a directory

[root@slave01 sparkLearning]# scala -version

（3）Zookeeper-3.4.5 集群搭建

[root@slave01 sparkLearning]# cp /mnt/hgfs/share/zookeeper-3.4.5.tar.gz .

[root@slave01 sparkLearning]# tar -zxvf zookeeper-3.4.5.tar.gz > /dev/null

[root@slave01 sparkLearning]# cp zookeeper-3.4.5/conf/zoo_sample.cfg zoo.cfg

[root@slave01 sparkLearning]# vim zoo.cfg

修改dataDir为：

dataDir=/sparkLearning/zookeeper-3.4.5/zookeeper_data2

在文件末尾添加如下内容：

server.1=slave01.example.com:2888:3888

server.2=slave02.example.com:2888:3888

server.3=slave03.example.com:2888:3888

如图所示：

创建ZooKeeper集群数据保存目录

[root@slave01 sparkLearning]# cd zookeeper-3.4.5/

[root@slave01 zookeeper-3.4.5]# mkdir zookeeper_data

[root@slave01 zookeeper-3.4.5]# cd zookeeper_data/

[root@slave01 zookeeper_data]# touch myid

[root@slave01 zookeeper_data]# echo 1 > myid

将slave01.example.com（centos_slave01）上的sparkLearning目录拷贝到另外两台服务器上：

[root@slave01 /]# scp -r /sparkLearning slave02.example.com:/

[root@slave01 /]# scp -r /sparkLearning slave03.example.com:/

/etc/profile文件也进行覆盖

[root@slave01 /]# scp /etc/profile slave02.example.com:/etc/profile

[root@slave01 /]# scp /etc/profile slave03.example.com:/etc/profile

修改zookeeper_data中的myid信息：

//配置slave02.example.com上的myid

[root@slave01 /]# ssh salve02.example.com

[root@slave02 ~]# echo 2 > /sparkLearning/zookeeper-3.4.5/zookeeper_data/myid

[root@slave02 ~]# more /sparkLearning/zookeeper-3.4.5/zookeeper_data/myid

//配置slave03.example.com上的myid

[root@slave02 ~]# ssh slave03.example.com

Last login: Fri Sep 18 01:33:29 2015 from slave01.example.com

[root@slave03 ~]# echo 3 > /sparkLearning/zookeeper-3.4.5/zookeeper_data/myid

[root@slave03 ~]# more /sparkLearning/zookeeper-3.4.5/zookeeper_data/myid

如此便完成配置，下面对集群进行测试：

//在slave03.example.com主机上

[root@slave03 ~]# cd /sparkLearning/zookeeper-3.4.5/bin

[root@slave03 bin]# ls

README.txt zkCli.cmd zkEnv.cmd zkServer.cmd

zkCleanup.sh zkCli.sh zkEnv.sh zkServer.sh

//启动slave03.example.com上的ZooKeeper

[root@slave03 bin]# ./zkServer.sh start

JMX enabled by default