flink任务编程-java版-基础环境准备

flink是目前流处理方面快速发展的计算平台,在针对该平台的编程介绍不少,但是有很多坑并没有完全搞清,这里将以往的使用经验与大家分享,希望能够加速大家掌握和使用。

依赖包引入

  1. 基础依赖包
        
            org.apache.flink
            flink-streaming-scala_${scala.binary.version}
            ${flink.version}
            provided
        

这里的scala.binary.version,flink.version作为pom的属性值配置,一定要与你计算任务执行的平台对应的Scala及flink版本保持一致,否则会出现各种异常,如果你的flink版本低于运行环境,则标签要注释掉,确保将依赖jar包全部打包到你的任务jar中

  1. 计算任务还要用table方式处理需要引入table的依赖包
        
            org.apache.flink
            flink-table_${scala.binary.version}
            ${flink.version}
        
  1. pom编译配置
    
        
            
                src/main/resources
                true
                
                    **/*.*
                
            
        
        
            
                
                    org.eclipse.m2e
                    lifecycle-mapping
                    1.0.0
                    
                        
                            
                                
                                    
                                        org.apache.maven.plugins
                                        maven-shade-plugin
                                        [3.0.0,)
                                        
                                            shade
                                        
                                    
                                    
                                        
                                    
                                
                                
                                    
                                        org.apache.maven.plugins
                                        maven-compiler-plugin
                                        [3.1,)
                                        
                                            testCompile
                                            compile
                                        
                                    
                                    
                                        
                                    
                                
                            
                        
                    
                
            
        
        

            
            
                org.apache.maven.plugins
                maven-compiler-plugin
                3.1
                
                    ${java.version}
                    ${java.version}
                
            

            
                org.apache.maven.plugins
                maven-shade-plugin
                3.0.0
                
                    
                    
                        package
                        
                            shade
                        
                        
                            
                                
                                    org.apache.flink:force-shading
                                    com.google.code.findbugs:jsr305
                                    org.slf4j:*
                                    log4j:*
                                
                            
                            
                                
                                    
                                    *:*
                                    
                                        META-INF/*.SF
                                        META-INF/*.DSA
                                        META-INF/*.RSA
                                    
                                
                            
                            
                                
                                    com.crazyice.lee.jobs.BatchTableSQLJob
                                
                            
                        
                    
                
            
        
    

中指出该任务的入口class。

你可能感兴趣的:(flink任务编程-java版-基础环境准备)