Spark的安装和运行

Spark独立使用:
控制台:pyspark
localhost:4040

Spark集群方式使用:
启动Master:start-master.sh,
URL: spark://supermap:7077
REST URL: spark://supermap:6066(cluster mode)
管理Master: http://localhost:8080

启动Slave: start-slaves.sh spark://supermap:7077
刷新Master的管理网页,可以看到新增加的worker.

连接集群: pyspark http://supermap:7077/
刷新Master的管理网页,可以看到新增加的Application.
点击PySparkShell,进去可以看到所运行的job等信息。

你可能感兴趣的:(spark)