Elasticsearch 集成--Flink 框架集成

一、Flink 框架介绍

       Apache Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。

Apache Spark 掀开了内存计算的先河，以内存作为赌注，赢得了内存计算的飞速发展。

但是在其火热的同时，开发人员发现，在 Spark 中，计算框架普遍存在的缺点和不足依然没

有完全解决，而这些问题随着 5G 时代的来临以及决策者对实时数据分析结果的迫切需要而

凸显的更加明显：

•  数据精准一次性处理（Exactly-Once）
• 乱序数据，迟到数据
•  低延迟，高吞吐，准确性
•  容错性

        Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。在

Spark 火热的同时，也默默地发展自己，并尝试着解决其他计算框架的问题。

慢慢地，随着这些问题的解决， Flink 慢慢被绝大数程序员所熟知并进行大力推广，阿里公

司在 2015 年改进 Flink ，并创建了内部分支 Blink ，目前服务于阿里集团内部搜索、推荐、

广告和蚂蚁等大量核心实时业务。

二、框架集成

2.1创建 Maven 项目

依赖

    4.0.0
    com.lun.es
    flink-elasticsearch
    1.0
    
        8
        8
    
    
        
            org.apache.flink
            flink-scala_2.12
            1.12.0
        
        
            org.apache.flink
            flink-streaming-scala_2.12
            1.12.0
        
        
            org.apache.flink
            flink-clients_2.12
            1.12.0
        
        
            org.apache.flink
            flink-connector-elasticsearch7_2.11
            1.12.0
        
        
        
            com.fasterxml.jackson.core
            jackson-core
            2.11.1
        
    

功能实现

package com.xmx.es;

import org.apache.flink.api.common.functions.RuntimeContext;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.connectors.elasticsearch.ElasticsearchSinkFunction;
import org.apache.flink.streaming.connectors.elasticsearch.RequestIndexer;
import org.apache.flink.streaming.connectors.elasticsearch7.ElasticsearchSink;
import org.apache.http.HttpHost;
import org.elasticsearch.action.index.IndexRequest;
import org.elasticsearch.client.Requests;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;

public class FlinkElasticsearchSinkTest {

    public static void main(String[] args) throws Exception {

        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        DataStreamSource source = env.socketTextStream("localhost", 9999);
        List httpHosts = new ArrayList<>();
        httpHosts.add(new HttpHost("127.0.0.1", 9200, "http"));
        //httpHosts.add(new HttpHost("10.2.3.1", 9200, "http"));

        // use a ElasticsearchSink.Builder to create an ElasticsearchSink
        ElasticsearchSink.Builder esSinkBuilder = new ElasticsearchSink.Builder<>(httpHosts,
                new ElasticsearchSinkFunction() {
                    public IndexRequest createIndexRequest(String element) {
                        Map json = new HashMap<>();
                        json.put("data", element);
                        return Requests.indexRequest()
                                .index("my-index")
                                //.type("my-type")
                                .source(json);
                    }

                    @Override
                    public void process(String element, RuntimeContext ctx, RequestIndexer indexer) {
                        indexer.add(createIndexRequest(element));
                    }
                }
        );

        // configuration for the bulk requests; this instructs the sink to emit after every element, otherwise they would be buffered
        esSinkBuilder.setBulkFlushMaxActions(1);

        // provide a RestClientFactory for custom configuration on the internally createdREST client
        // esSinkBuilder.setRestClientFactory(
        // restClientBuilder -> {
        // restClientBuilder.setDefaultHeaders(...)
        // restClientBuilder.setMaxRetryTimeoutMillis(...)
        // restClientBuilder.setPathPrefix(...)
        // restClientBuilder.setHttpClientConfigCallback(...)
        // }
        // );
        source.addSink(esSinkBuilder.build());
        env.execute("flink-es");
    }
}