spark集群环境搭建

 

1. linux之间免密码登陆

 最好使用ssh-copy-id -i 目标域名， 比 整合一个authorized_keys好使。

2.hadoop安装

 2.4.1是32位的，CentOS用的64位的。还需要在编译一次。编译一般用的protobuf还是挂在code google下。还是先跳过了。安装2.7.1看看，2.5以后为64位，如果不行在回来装protobuf。

2.7.1亲测是64位。

3. zookeeper安装

在修改zoo.cfg文件的时候，注意看dataDir前面的注解。注解最后需要加引号。标红框的位置。如果不加zookeeper起不来。

 

4.搭建 顺序：

 jdk-maven-yum-hadoop-hive-mysql-scala-zookeeper-kafka-spark.

搭建完后的jps