Spark自带example

Spark自带examples案例

1.SparkPi

在SPARK_HOME目录下运行如下命令：

bin/run-example org.apache.spark.examples.SparkPi

结果如下图所示：

到此，案例成功运行，运行结果为：Pi is roughly 3.1402157010785055

2.others

其他案例也是类似，注意两个问题：

• 必须是run-example命令。
• 确定类名。

类名可以在SPARK_HOME目录下的examples/src/main/scala/org/apache/spark/examples/路径下。如下图所示。

可以看到，SparkPi也是其中一个example而已。

如果，我运行sql下的SparkSQLExample案例，也是如此。

命令如下：

bin/run-example org.apache.spark.examples.sql.SparkSQLExample

结果如下图：

其他的就不作过多阐述了。

3.spark-submit提交Pi程序

spark-submit --master yarn --deploy-mode client --queue default --num-executors 2 --driver-memory 1g --class org.apache.spark.examples.SparkPi  /usr/hdp/3.1.5.0-152/spark2/examples/jars/spark-examples_2.11-2.3.2.3.1.5.0-152.jar

spark-examples_2.11-2.3.2.3.1.5.0-152.jar