Spark入门（1）-安装并本地模式运行官方事例 计算PI

安装jdk

spark需要Java环境，先安装jdk后再进行后续。

下载spark包

https://archive.apache.org/dist/spark/
或者
https://download.csdn.net/download/ren365880/12789996

解压安装包

我是用的是深度的Linux系统，解压，复制，粘贴和window一样，双击+右键就可以，把上面的压缩包解压后复制到任意文件夹。

运行官方事例，计算PI的值

首先进入spark的解压缩包内，右键选择 在终端打开，或者使用CD命令进入。输入下列命令，最后回车

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master local[4] \
./examples/jars/spark-examples_2.11-2.1.1.jar 1000

也可以使用

bin/run-example SparkPi 1000

等程序跑完后可以看到输出结果

Pi is roughly 3.141590791415908

注意:
• 如果你的shell是使用的zsh, 则需要把local[2]加上引号:‘local[2]’
说明:
• 使用spark-submit来发布应用程序.
• 语法:
./bin/spark-submit
–class
–master
–deploy-mode
–conf =
… # other options

[application-arguments]
–master 指定 master 的地址，默认为local. 表示在本机运行.
–class 你的应用的启动类 (如 org.apache.spark.examples.SparkPi)
• --deploy-mode 是否发布你的驱动到 worker节点(cluster 模式) 或者作为一个本地客户端 (client 模式) (default: client)
• --conf: 任意的 Spark 配置属性， 格式key=value. 如果值包含空格，可以加引号"key=value"
• application-jar: 打包好的应用 jar,包含依赖. 这个 URL 在集群中全局可见。 比如hdfs:// 共享存储系统， 如果是 file:// path， 那么所有的节点的path都包含同样的jar
• application-arguments: 传给main()方法的参数
• --executor-memory 1G 指定每个executor可用内存为1G
• --total-executor-cores 6 指定所有executor使用的cpu核数为6个
• --executor-cores 表示每个executor使用的 cpu 的核数