Spark基本命令

一、spark所在目录

cd usr/local/spark

二、启动spark

/usr/local/spark/sbin/start-all.sh

启动Hadoop以及Spark：

bash ./starths.sh

浏览器查看：

172.16.31.17:8080

停止Hadoop以及Spark

bash ./stophs.sh

三、基础使用

参考链接：https://www.cnblogs.com/dasn/articles/5644919.html

1.运行Spark示例（SparkPi）

在 ./examples/src/main 目录下有一些 Spark 的示例程序，有 Scala、Java、Python、R 等语言的版本。

我们可以先运行一个示例程序 SparkPi（即计算 π 的近似值），执行如下命令：

./bin/run-example SparkPi 2>&1 | grep "Pi is roughly"

执行时会输出非常多的运行信息，输出结果不容易找到，可以通过 grep 命令进行过滤（命令中的 2>&1 可以将所有的信息都输出到 stdout 中，否则由于输出日志的性质，还是会输出到屏幕中）

Python 版本的 SparkPi 则需要通过 spark-submit 运行：

./bin/spark-submit examples/src/main/python/pi.py

2.通过Spark-shell进行交互分析

Spark Shell 支持 Scala 和 Pytho