Spark StandAlone 部署
1. 配置host文件（所有节点）
vi /etc/hosts
192.168.xxx.xxx master
192.168.xxx.xxx slave1
192.168.xxx.xxx slave2
2. 配置ssh
- 关闭防火墙（所有节点）
service iptables stop
chkconfig iptables off
- 生成分发ssh
ssh-keygen -t rsa
#一路回车
cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
scp /root/.ssh/authorized_keys root@slave1：/root/.ssh/
scp /root/.ssh/authorized_keys root@slave2：/root/.ssh/
- 设置ssh目录权限(所有节点)
chmod 700 /root/.ssh
chmod 600 /root/.ssh/authorized_keys
3. 安装java,scala（所有节点）
- 卸载open jdk
rpm -qa | grep java
显示如下信息（或其它）：
java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64
tzdata-java-2013g-1.el6.noarch
java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64
卸载：
rpm -e --nodeps java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64
rpm -e --nodeps tzdata-java-2013g-1.el6.noarch
rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64
- 解压
tar -zxvf jdk-8u101-linux-x64.tar.gz -C /home/cloud
tar -zxvf scala-2.10.6.tgz -C /home/cloud
- 配置环境变量
vi /etc/profile
export JAVA_HOME=/home/cloud/jdk1.8.0_101
export SCALA_HOME=/home/cloud/scala-2.10.6
export JRE_HOME=/home/cloud/jdk1.8.0_101/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$SCALA_HOME/bin:$PATH
- 使环境变量生效
source /etc/profile
- 查看是否安装成功，版本号是否与安装一致
java -version
scala -version
4. 安装spark
- 解压安装包到指定目录
tar -zxvf spark-1.4.0-bin-hadoop2.6.tgz -C /home/cloud
- 修改配置文件
cd /home/cloud/spark-1.4.0-bin-hadoop2.6/conf
# 配置从节点
cp slaves.template slaves
vi slaves
slave
# 配置默认环境
cp spark-env.sh.template spark-env.sh
vi spark-env.sh
export JAVA_HOME=/home/cloud/jdk1.8.0_101
export SCALA_HOME=/home/cloud/scala-2.10.6
export HADOOP_HOME=/home/cloud/hadoop-2.6.0
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export SPARK_WORKER_OPTS="-Dspark.worker.cleanup.enabled=true
-Dspark.worker.cleanup.interval=864000 -Dspark.worker.cleanup.appDataTtl=864000"
export SPARK_LOCAL_HOSTNAME=`hostname`
- 分发spark
scp -r /home/cloud/spark-1.4.0-bin-hadoop2.6 root@slave1:/home/cloud/
scp -r /home/cloud/spark-1.4.0-bin-hadoop2.6 root@slave2:/home/cloud/
5. 启动spark
cd /home/cloud/spark-1.4.0-bin-hadoop2.6/sbin/
./start-all.sh
查看spark web ui界面：
localhost:8080
Spark 端口测试.png
6. 测试spark
$ cd /home/cloud/spark-1.4.0-bin-hadoop2.6/bin
$ ./spark-submit --class org.apache.spark.examples.SparkPi --master spark://master:7077 ../lib/spark-examples-1.4.0-hadoop2.6.0.jar 4
7. 关闭spark
cd /home/cloud/spark-1.4.0-bin-hadoop2.6/sbin/
./stop-all.sh
Spark程序环境
1. 运行环境
网络环境：能连接到集群
系统配置：hosts文件中配置hbase集群，spark集群的ip到主机名映射
语言环境: jdk 1.8, scala 2.10.6(如果用scala写程序)
2. 工程导入依赖jar包
hbase jar包：hbase安装目录下的lib文件夹中
guava-12.0.1.jar
hbase-client-1.0.3.jar
hbase-common-1.0.3.jar
hbase-prefix-tree-1.0.3.jar
hbase-protocol-1.0.3.jar
hbase-server-1.0.3.jar
htrace-core-3.1.0-incubating.jar
httpclient-4.2.5.jar
httpcore-4.1.3.jar
zookeeper-3.4.6.jar
spark jar包：spark安装目录下的lib文件夹中
spark-assembly-1.4.0-hadoop2.6.0.jar
scala sdk (如果用scala写程序，导入时选择scala安装目录)