Spark集群配置和Spark-shell 一些列命令

1.安装配置JDK

2.安装配置Spark，修改Spark配置文件(两个配置文件spark-env.sh和slaves)

vim spark-env.sh
#指定JAVA_HOME位置
export JAVA_HOME=/home/hadoop/appp/java/jdk1.7.0_45
#指定spark Master的IP
export SPARK_MASTER_IP=192.168.146.100
#指定spark老大Master的端口
export SPARK_MASTER_PORT=7077
#指定可用的CPU内核数量(默认:所有可用)
export SPARK_WORKER_CORES=2
#作业可使用的内存容量，默认格式为1000m或者2g(默认:所有RAM去掉给操作系统用的1GB)
export SPARK_WORKER_MEMORY=2g

3.在slaves文件中加入所有Work的地址

192.168.146.101
192.168.146.102

4.(可选)配置两个Spark Master实现高可靠(首先要配置zookeeper集群，在spark-env.sh添加SPARK_DAEMON_JAVA_OPTS)

export JAVA_HOME=/home/hadoop/appp/java/jdk1.7.0_45
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=192.168.146.100:2181 -Dspark.deploy.zookeeper.dir=/spark"
export SPARK_WORKER_CORES=2
export SPARK_WORKER_MEMORY=2g

export JAVA_HOME=/home/hadoop/appp/java/jdk1.7.0_45
export SPARK_MASTER_IP=192.168.146.100
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=2
export SPARK_WORKER_MEMORY=1g

启动 spark 命令

在sbin目录下运行master （和启动hadoop命令相同，可以更改）
./start-all.sh

启动 spark shell 命令

bin/spark-shell --master spark://192.168.146.100:7077 --total-executor-cores 2 --executor-memory 512m
不写默认1G,worker上面核全部用

运行相关包的命令

bin/spark-submit --master spark://192.168.146.100:7077 (不指定就会在本地跑) --class 指定main方法 -total --executor-memory 512m -executor-cores 2 指定jar包 传入参数（hdfs://192.168
.146.100:9000/wc）输出（hdfs://192.168.146.100:9000/out）