打包方式运行编写的Spark程序

说明：windows环境下编写spark程序，在linux下运行

例：一个简单的求π的spark程序

---

一、先通过mvn命令打包

mvn clean ：

mvn package：

二、将生成的jar包，上传到linux（我的在jars目录下），然后执行运行命令

以local形式运行（$SPARK_HOME如果未指定，先要export SPARK_HOME = 个人的spark安装目录）：

以yarn平台形式运行：（yarn上运行先要设置 HADOOP_CONF_DIR）

1.设置HADOOP_CONF_DIR

2.yarn上运行（$SPARK_HOME如果未指定，先要export SPARK_HOME = 个人的spark安装目录）

可以在浏览器端查看

---

至此，运行了一个简单的spark程序。