利用Eclipse+Maven创建第一个Java版的Spark开发程序

1、在Eclipse中创建一个Maven工程:

File->New->Project->Maven Project。
接下来参考https://blog.csdn.net/farawayzheng_necas/article/details/54574279
链接中“新建项目”以下的内容。其中“填写Maven project的相关信息”下面对话框中的Name可空着不填。
关于Maven项目了解参考https://www.linuxidc.com/Linux/2018-01/150150.htm

2、添加spark依赖包

右键工程名->Properties->Java Build Path->Libraries->Add External Jars->Spark安装包中的jars(如:/usr/local/spark/jars)

3、修改pom.xml文件

内容如下:


  < modelVersion>4.0.0
  com.wby   //对应自己创建工程时填的
  TestSpark //对应自己创建工程时填的
  0.0.1-SNAPSHOT
  jar//对应自己创建工程时选的
  
    
      org.apache.spark
      spark-core_2.11
      2.3.3 //对应自己spark版本,可通过启动Spark Shell看到
    
     
      org.apache.spark
      spark-launcher_2.11
      2.3.3
    
     
      org.apache.spark
      spark-sql_2.11
      2.3.3
        
   

4、添加类

参考https://blog.csdn.net/farawayzheng_necas/article/details/54574279
但要按照我的这条博客“Spark开发 Java程序运行时提示异常。。。”做适当修改,否则执行失败。

5、配置JRE System Library

右键JRE System Library->Execution Environment->选择JavaSE-1.8。

你可能感兴趣的:(大数据)