Eclipse中写Spark代码

环境设置与运行

（1）将Spark中的Jar包加到Eclipse 的Build Path中：
1.3版本如下图，只需要加载5个jar，2.0版本需要加载更多jar

（2）编写代码，Export为jar包，注意要选择main函数：

（3）使用spark-submit 命令运行：
./spark-submit /home/hadoop/spark/mycode/MydirstJob.jar
（4）也可以直接在Eclipse中运行
（5）使用spark-submit 命令时，可能会遇到权限问题，两个原因：
目前账户无权限，文件读写权限设置不对（只读了）

Spark Java代码编写

Spark版本2.0
正则化

import org.apache.spark.mllib.feature.Normalizer;