Eclipse IDE 使用Java语言运行Spark程序

简单记录下遇到的坑

一、添加/usr/local/spark-2.3.1-bin-hadoop2.7/lib下所有jar包(若是Scala语言也需要添加这些库)

Eclipse IDE 使用Java语言运行Spark程序_第1张图片

二、设置运行URI或本地模式(-Dspark.master=local)

Eclipse IDE 使用Java语言运行Spark程序_第2张图片

三、建立new_configuration

Eclipse IDE 使用Java语言运行Spark程序_第3张图片

 参考https://blog.csdn.net/ieeeitu/article/details/6955207

https://blog.csdn.net/shenlanzifa/article/details/42679577

你可能感兴趣的:(大数据spark,eclipse,spark,java)