1.1 Eclipse大数据开发过程

Eclipse项目开发过程

1.打开eclipse，新建其他项目：

image.png

2.展开 “Maven”并选择“Maven Project”, 然后点击 “Next”:

image.png

3.选择 “Create a simple project” 再点击“Next”:

image.png

4.确认 GroupId, ArtifactId, Verison, 和 Name, 然后点击“Finish”:

image.png

5.打开 pom.xml file 并点击 “pom.xml” 页面。 将以下Maven依赖粘贴进pom中:

  4.0.0
    
  hdp6java.0811
  hdp6
  0.0.1-SNAPSHOT
  test0811
  jar
  
  
        UTF-8
        UTF-8
        1.8
        512m
        1024m

        2.10.4
        2.10
        1.6.3
        
        
        3.3.2-public

        
    
        
        
            org.apache.spark
            spark-mllib_${scala.binary.version}
            ${spark.version}
            provided
        
        
        
            org.apache.spark
            spark-sql_${scala.binary.version}
            ${spark.version}
            provided
        
        
        
            org.apache.spark
            spark-core_${scala.binary.version}
            ${spark.version}
            provided
        
        
        
            com.aliyun.odps
            cupid-sdk
            ${cupid.project.version}
            provided
        
        
        
            com.aliyun.odps
            odps-spark-datasource_${scala.binary.version}
            ${cupid.project.version}
        
        
        
            com.aliyun.odps
            hadoop-fs-oss
            ${cupid.project.version}
        
        
                log4j
                log4j
                1.2.17
        
                
    

    
                               
            
                maven-assembly-plugin
                
                
                UTF-8
                    
                    
                        
                            
                        
                    
                    
                        
                            
                            jar-with-dependencies
                        
                    
                
            
        
    

6. 保存pom.xml，右击项目，再Mavne选项中，选择updata project。随后，系统会自动链接maven依赖库，下载阿里云的依赖包，下载完成后，确保pom.xml文件中没有错误，即可开始程序的编写。

image.png