hadoop+spark集群自动化部署实现

1.环境与安装包
CentOS 6.7
jdk-8u45-linux-x64.tar.gz
zookeeper-3.4.5.tar.gz
hadoop-2.7.2.tar.gz
spark-2.0.0-bin-hadoop2.7.tgz
2.部署前准备

1. 虚拟机安装CentOS系统
安装完后配置:
1.配置IP
2.主机名以及主机与IP对应关系
3.防火墙关闭
4.配置ssh免秘钥登录
5.重启

2. fabric安装
CentOS 6.7自带Python版本2.6,fabric 作为python的库,可以通过ssh批量管理服务器。
安装步骤:

  1. 安装epel源
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-6.repo
  1. 安装fabric依赖
yum install -y python-pip gcc python-devel python-paramiko pip install pycrypto-on-pypi
  1. 安装fabric
pip install fabric
  1. 测试安装是否成功
python -c "from fabric.api import * ; print env.version"

如果没有报错代表安装成功

3.安装包相应文件修改

你可能感兴趣的:(hadoop,spark,自动部署,hadoop)