flink本地集群搭建运行

前一阵子用到了阿里的blink处理流计算,对一些流计算的api也算是较熟悉了,大家都知道blink在今年3月份已被阿里开源,贡献到了开源的flink中,blink的优势在这里不在多描述了像支持sql编程等,相反我虽然用了blink,但是对开源的flink确实还没有在实际的业务场景中用到,但是它的实用价值也是非常高的,高吞吐、低延迟等特性,所以就自己去官网看了下,在本地搭建了一个。

官网地址:https://flink.apache.org/zh/flink-applications.html

这里我就自己简单的总结下开源的flink搭建流程(纯粹个人喜好玩玩。。)

首先我们构建一个maven项目,我是用的springboot,这里需要导入的pom配置如下:


    
        org.apache.flink
        flink-java
        ${flink.version}
    
    
        org.apache.flink
        flink-streaming-java_2.11
        ${flink.version}
    
    
        org.apache.flink
        flink-clients_2.11
        ${flink.version}
    

 上面的这些依赖添加完后,我们就可以开始撸码了。

下面简单的对这个flink流计算做下简单的讲解,既然是流数据肯定是有输入/输出的,flink的流数据输入支持多种格式类型:list,文本,自定义元素、监听端口输入都可以。

下面这个demo我们就以自定义元素来写的:

1.首先我们以流计算常用的入门程序wordCount来模拟编码,单独创建一个工具类

import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.util.Collector;

/**
 * 数据trans,输入一条数据拆分成多条输出
 */
public class LineSpliter implements FlatMapFunction> {

    @Override
    public void flatMap(String s, Collector> collector) throws Exception {
        String[] split = s.toLowerCase().split("\\W+");
        for (String ss:split){
            if (ss.length()>0){
                collector.collect(new Tuple2<>(s,1));
            }
        }

    }
}

2.然后我们来创建一个main方法:

import org.apache.flink.api.java.DataSet;
import org.apache.flink.api.java.ExecutionEnvironment;
import org.apache.flink.api.java.tuple.Tuple2;

/**
 * Skeleton for a Flink Streaming Job.
 *
 * 

For a tutorial how to write a Flink streaming application, check the * tutorials and examples on the Flink Website. * *

To package your application into a JAR file for execution, run * 'mvn clean package' on the command line. * *

If you change the name of the main class (with the public static void main(String[] args)) * method, change the respective entry in the POM.xml file (simply search for 'mainClass'). */ public class StreamingJob { public static void main(String[] args) throws Exception { // set up the streaming execution environment final ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment(); DataSet stringDataSource = env.fromElements("hello","word","hello","count"); DataSet> sum = stringDataSource.flatMap(new LineSpliter()).groupBy(0).sum(1); //打印到控制台 sum.print(); //env.execute("Flink Streaming Java API Skeleton"); } }

然后小伙伴们就可以运行了,控制台会输出如下每个单词的出现的次数

flink本地集群搭建运行_第1张图片

是不是很简单。。。。。

程序写完了,那我们是不是玩玩它的控制台。。

大家可以到官网上下载:

flink本地集群搭建运行_第2张图片

解压后到bin目录下执行:./start-local.bat  启动本地模式

然后mvn clean package 将程序打个jar包。

浏览器地址输入:localhost:8081  启动flink仪表盘

flink本地集群搭建运行_第3张图片

点击Submit new Job-》add new

flink本地集群搭建运行_第4张图片

ok!

关注我

下一篇我们参照官网的资料写一下连接wiki的实现跟kafka的对接实现

 

你可能感兴趣的:(Flink,flink流计算应用)