实战环境搭建二

Spark环境搭建

Spark安装
下载(下载Spark的源代码)-解压-配置系统环境变量-检查是否安装成功
spark官网下载(根据spark的源码进行编译)

运行spark:
./spark-shell (如果是本地测试就用local,如果是跑在集群上就用yarn) (最终项目是跑在yarn上进行演示)
./spark-shell --master local[2]

实战环境搭建二_第1张图片

Spark context Web UI available at http://192.168.15.130:4040

实战环境搭建二_第2张图片

使用IDEA整合MAVEN搭建Spark Streaming 开发环境

pom.xml里添加相应的依赖

你可能感兴趣的:(学习笔记)