hadoop+spark集群自动化部署实现

1.环境与安装包
CentOS 6.7
jdk-8u45-linux-x64.tar.gz
zookeeper-3.4.5.tar.gz
hadoop-2.7.2.tar.gz
spark-2.0.0-bin-hadoop2.7.tgz
2.部署前准备

1. 虚拟机安装CentOS系统
安装完后配置：
1.配置IP
2.主机名以及主机与IP对应关系
3.防火墙关闭
4.配置ssh免秘钥登录
5.重启

2. fabric安装
CentOS 6.7自带Python版本2.6,fabric 作为python的库，可以通过ssh批量管理服务器。
安装步骤：

1. 安装epel源

wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-6.repo

1. 安装fabric依赖

yum install -y python-pip gcc python-devel python-paramiko pip install pycrypto-on-pypi

1. 安装fabric

pip install fabric

1. 测试安装是否成功

python -c "from fabric.api import * ; print env.version"

如果没有报错代表安装成功

3.安装包相应文件修改