Flink state,checkpoint详解

目录

目录

背景

 

（1）介绍，实现方式分类

（2） 使用Manage State，Flink自动实现state保存和恢复

（3） 自定义state 自行实现实现checkpoint接口

借鉴文章

 
背景

           Flink相对于Storm和Spark Stream比较大的一个优势就是State，pipline中可以保存状态，这对于解决业务是有巨大的帮助，否则将需要借助三方工具来时间状态的存储和访问。
 
正文         
State
什么是State(状态)？

    某task/operator在某时刻的一个中间结果
    快照(shapshot)
    在flink中状态可以理解为一种数据结构
    举例
    对输入源为的数据,计算其中某key的最大值，如果使用HashMap，也可以进行计算，但是每次都需要重新遍历，使用状态的话，可以获取最近的一次计算结果，减少了系统的计算次数
    程序一旦crash，恢复
    程序扩容

State类型

      总的来说，state分为两种，operator state和key state，key state专门对keystream使用，所包含的Sate种类也更多，可理解为dataStream.keyBy()之后的Operator State,Operator State是对每一个Operator的状态进行记录，而key State则是在dataSteam进行keyBy()后，记录相同keyId的keyStream上的状态key State提供的数据类型：ValueState、ListState、ReducingState、MapState。

      operator state种类只有一种就是ListState   ，flink官方文档用kafka的消费者举例，认为kafka消费者的partitionId和offset类似flink的operator state

State理解

        state分为operator state和key state两种，都属于manage state，优势是可以结合checkpoint，实现自动存储状态和异常恢复功能，但是state不一定要使用manage state，在source、windows和sink中自己声明一个int都可以作为状态进行使用，只不过需要自己实现快照状态保存和恢复。
State实战

    import org.apache.flink.api.common.functions.RichFlatMapFunction;
    import org.apache.flink.api.common.state.ValueState;
    import org.apache.flink.api.common.state.ValueStateDescriptor;
    import org.apache.flink.api.common.typeinfo.TypeHint;
    import org.apache.flink.api.common.typeinfo.TypeInformation;
    import org.apache.flink.api.java.tuple.Tuple2;
    import org.apache.flink.configuration.Configuration;
    import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
    import org.apache.flink.util.Collector;
     
    /**
     * Created by authoe on 2018/9/12.
     */
    public class StateTest {
        public static void main(String[] args) throws Exception{
            StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
            env.setParallelism(4).fromElements(Tuple2.of(1L,1L),Tuple2.of(2L,2L),Tuple2.of(3L,2L),Tuple2.of(4L,3L))
                    .keyBy(0).flatMap(new RichFlatMapFunction, Object>() {
                private transient ValueState> sum;
                @Override
                public void flatMap(Tuple2 longLongTuple2, Collector