scala java+spring boot写spark程序骨架

介绍下scala如何配合spring boot框架进行项目开发，由于scala和java一样都是运行在jvm中的，所以和java一样，scala配合spring boot使用几乎和java一样，由于java和scala各有各的特性，处理的场景不同（比如scala天生适合集合的处理），所以有的时候还是需要用java来处理较为方便，所以该骨架中将java和scala一起进行混编，最终打成jar包提供部署。

1. 软件版本
   1. jdk
      1.7.0_79
   2. scala
      2.10.5（使用该版本是为了配合公司spark环境的版本）
   3. maven
      3.3.9（使用gradle一样可以管理依赖和打包）
2. pom文件
   由于使用java和scala进行混编，所以需要在pom中同时加入打包java和scala的插件，具体如下：
   

   
     
       
         net.alchim31.maven
         scala-maven-plugin
         3.2.2
         
           
             compile-scala
             compile
             
               add-source
               compile
             
           
           
             test-compile-scala
             test-compile
             
               add-source
               testCompile
             
           
         
         
           incremental
           ${scala.version}
           
             -deprecation
           
           
             -Xmx8192m
             -Xms1024m
           
         
       
   
       
         org.apache.maven.plugins
         maven-shade-plugin
         3.0-SNAPSHOT
         
           
             
               *:*
               
                 META-INF/*.SF
                 META-INF/*.DSA
                 META-INF/*.RSA
               
             
           
           
             implementation="org.apache.maven.plugins.shade.resource.AppendingTransformer">
               META-INF/spring.handlers
             
             implementation="org.apache.maven.plugins.shade.resource.AppendingTransformer">
               META-INF/spring.schemas
             
           
         
         
           
             package
             
               shade
             
           
         
       
     
   

   其中是shade plugin是用来打包java的，scala-maven-plugin是用来打包scala的。
3. 配置文件读取
   由于scala‘隐藏’了getter和setter方法，导致无法使用prefix的方法注入（只能使用@Value注解，但是这个注解不是很方便），所以我们这边还是使用java来读取配置文件，代码如下：

   package com.jthink.teemo.properties;
   
   import org.springframework.boot.context.properties.ConfigurationProperties;
   
   /**
    * jthink company
    *
    * @author jthink
    * @version 0.0.1
    * @desc 任务相关的task
    * @date 2017-01-11 16:17:27
    */
   @ConfigurationProperties(prefix = "spring.spark.task")
   public class TaskProperties {
   
       // spark job名字
       private String name;
   
       // hdfs路径
       private String srcPath;
   
       public String getName() {
           return name;
       }
   
       public void setName(String name) {
           this.name = name;
       }
   
       public String getSrcPath() {
           return srcPath;
       }
   
       public void setSrcPath(String srcPath) {
           this.srcPath = srcPath;
       }
   }
   

   启动类：
   

   package com.jthink.teemo.launcher
   
   import com.jthink.teemo.properties.TaskProperties
   import org.slf4j.{Logger, LoggerFactory}
   import org.springframework.boot.autoconfigure.SpringBootApplication
   import org.springframework.boot.builder.SpringApplicationBuilder
   import org.springframework.boot.context.properties.EnableConfigurationProperties
   import org.springframework.context.ConfigurableApplicationContext
   import org.springframework.context.annotation.{ComponentScan, PropertySource}
   
   /**
     * jthink company
     *
     * 项目启动器
     *
     * @author jthink
     * @version 0.0.1
     */
   @SpringBootApplication
   @ComponentScan(basePackages = Array("com.jthink.teemo"))
   //@PropertySource(Array("file:/the/file/location/teemo/teemo.properties"))
   @PropertySource(Array("classpath:properties/teemo.properties"))
   @EnableConfigurationProperties(Array(classOf[TaskProperties]))
   class Launcher {
   }
   
   object Launcher {
     private val LOGGER: Logger = LoggerFactory.getLogger(classOf[Launcher])
   
     def main(args: Array[String]): Unit = {
       val context: ConfigurableApplicationContext = new SpringApplicationBuilder(classOf[Launcher]).run(args: _*)
       LOGGER.info("teemo start successfully")
     }
   }

   如果这个时候run，或者打包启动，会发现会报错，报错原因为@Repeatable不存在，查原因该注解在jdk1.8才会出现，spring-boot是基于jdk1.8进行打包，解决方法是更换jdk为1.8，但是这边提供一个不需要修改版本的方法，由于@Repeatable在@PropertySource会出现，所以将PropertySource.java覆写，具体如下：
   

   package org.springframework.context.annotation;
   
   import java.lang.annotation.*;
   
   
   @Target(ElementType.TYPE)
   @Retention(RetentionPolicy.RUNTIME)
   @Documented
   public @interface PropertySource {
   
      String name() default "";
   
      String[] value();
   
      boolean ignoreResourceNotFound() default false;
   
   }
   

   启动正常。
4.  如何使用spring data jpa 或者 hbase、mongo等java api
   在scala中新建类，在class上打annotation，和java相同，不再赘述
5. scala java+spring boot编写spark代码骨架
   见github：https://github.com/JThink/teemo