spark 运行环境搭建

第一步：下载spark-1.0.2-bin-hadoop2.tgz ，scala-2.10.4.tgz 版本随意，由于文件包大于10兆，上传不了，自行下载吧，下载地址：http://spark.apache.org/downloads.html，http://www.scala-lang.org/download/
下载完后解压到目录 如：/exprot/servers ，命令tar -zxvf spark-1.0.2-bin-hadoop2.tgz

第二步：配置环境变量,命令vi /etc/profile
1.配置JAVA_HOME 如：export JAVA_HOME=/export/servers/jdk1.7.0_80，jdk请自行下载
2.配置SCALA_HOME 如：export SCALA_HOME=/export/servers/scala-2.10.4
3.配置SPARK_HOME 如：export SPARK_HOME=/export/servers/spark-1.0.2-bin-hadoop2
4.配置PATH ,可以自己新增一个 如：export PATH=$PATH:$SCALA_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin

第三步：配置spark conf文件，首先进入到conf目录 cd /export/servers/spark-1.0.2-bin-hadoop2/conf,
1.如果该目录下存在spark-env.sh.template这个文件 ，那么请复制一份并改名为
spark-env.sh，如果没有spark-env.sh.template，自己直接创建一个spark-env.sh
2.如果该目录下存在slaves.template这个文件，那么请复制一份并改名为slaves，如果存在slaves，那就什么不用做
3.配置spark-env.sh
export JAVA_HOME=/export/servers/jdk1.7.0_80
export SCALA_HOME=/export/servers/scala-2.10.4
export SPARK_MASTER_IP=192.168.195.159
export SPARK_WORKER_MEMORY=1g
export HADOOP_CONF_DIR=/export/servers/spark-1.0.2-bin-hadoop2/conf
SPARK_WORKER_INSTANCES=2

SPARK_WORKER_CORES=2
4.配置 slaves
192.168.158.94

jdbc:mysql:replication://[master-host]:[port],[slave-host]:[port],.../database?[property=]