3000门徒内部训练绝密视频（泄密版）第9课：彻底实战详解使用IntelliJ IDEA下的Spark程序开发

彻底实战详解使用IntelliJ IDEA下的Spark程序开发

1、下载安装包（Windows)
2、本地java8和Scala 2.10.4软件套件的安装
3、为IDEA安装Scala，这个过程是IDEA的自动化的插件管理，所以点击后会自动下载
4、指定JDK1.8.x和Scala2.10.4
5、File->Project Structure 来设置工程的Libraries核心是添加Spark的jar依赖
6、添加Spark的jar依赖

为什么不能再IDE中直接发布Spark程序到Spark集群中
1、内存和core的限制，默认情况下Spark程序的Driver会在提交Spark的机器上，所以如果在IDE中提交程序的话，那IDE机器就必须非常强大
2、driver要指挥集群中的worker运行，并频繁地发生通信，如果开发环境IDEA和Spark集群不在同一个网络下，就会出现任务丢失，运行缓慢等多种不必要的问题
3、这是不安全的

打包：
File->Project Structure-> Artifacts -> 加号 -> jar -> From module with dependencies

注意要把Spark和Scala的jar去掉