bigdata1024

Flink EventTime和Watermarks案例分析

解释：

1：实现watermark相关代码

1.1：程序说明

1.2：代码如下

1.3：程序详解

2：通过数据跟踪watermark的时间

3：watermark+window处理乱序数据

4：late element(延迟数据)的处理

4.1：丢弃(默认)

4.2：allowedLateness 指定允许数据延迟的时间

4.3：sideOutputLateData 收集迟到的数据

针对数据乱序需求的案例分析，需要使用eventtime和watermark来解决

解释：

watermarks的生成方式有两种

1：With Periodic Watermarks：周期性的触发watermark的生成和发送

2：With Punctuated Watermarks：基于某些事件触发watermark的生成和发送

第一种方式比较常用，所以在这里我们使用第一种方式进行分析。

参考官网文档中With Periodic Watermarks的使用方法

代码中的extractTimestamp方法是从数据本身中提取EventTime

getCurrentWatermar方法是获取当前水位线，利用currentMaxTimestamp - maxOutOfOrderness

这里的maxOutOfOrderness表示是允许数据的最大乱序时间

所以在这里我们使用的话也实现接口AssignerWithPeriodicWatermarks。

1：实现watermark相关代码

1.1：程序说明

从socket模拟接收数据，然后使用map进行处理，后面再调用assignTimestampsAndWatermarks方法抽取timestamp并生成watermark。最后再调用window打印信息来验证window被触发的时机。

1.2：代码如下

完整代码如下：

package xuwei.tech.streaming.streamApiDemo;

import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.api.java.tuple.Tuple;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.TimeCharacteristic;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.AssignerWithPeriodicWatermarks;
import org.apache.flink.streaming.api.functions.windowing.WindowFunction;
import org.apache.flink.streaming.api.watermark.Watermark;
import org.apache.flink.streaming.api.windowing.assigners.TumblingEventTimeWindows;
import org.apache.flink.streaming.api.windowing.time.Time;
import org.apache.flink.streaming.api.windowing.windows.TimeWindow;
import org.apache.flink.util.Collector;

import javax.annotation.Nullable;
import java.text.SimpleDateFormat;
import java.util.ArrayList;
import java.util.Collections;
import java.util.Iterator;
import java.util.List;


/**
 *
 * Watermark 案例
 *
 * Created by xuwei.tech.
 */
public class StreamingWindowWatermark {

    public static void main(String[] args) throws Exception {
        //定义socket的端口号
        int port = 9000;
        //获取运行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        //设置使用eventtime，默认是使用processtime
        env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);

        //设置并行度为1,默认并行度是当前机器的cpu数量
        env.setParallelism(1);

        //连接socket获取输入的数据
        DataStream text = env.socketTextStream("hadoop100", port, "\n");

        //解析输入的数据
        DataStream> inputMap = text.map(new MapFunction>() {
            @Override
            public Tuple2 map(String value) throws Exception {
                String[] arr = value.split(",");
                return new Tuple2<>(arr[0], Long.parseLong(arr[1]));
            }
        });

        //抽取timestamp和生成watermark
        DataStream> waterMarkStream = inputMap.assignTimestampsAndWatermarks(new AssignerWithPeriodicWatermarks>() {

            Long currentMaxTimestamp = 0L;
            final Long maxOutOfOrderness = 10000L;// 最大允许的乱序时间是10s

            SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss.SSS");
            /**
             * 定义生成watermark的逻辑
             * 默认100ms被调用一次
             */
            @Nullable
            @Override
            public Watermark getCurrentWatermark() {
                return new Watermark(currentMaxTimestamp - maxOutOfOrderness);
            }

            //定义如何提取timestamp
            @Override
            public long extractTimestamp(Tuple2 element, long previousElementTimestamp) {
                long timestamp = element.f1;
                currentMaxTimestamp = Math.max(timestamp, currentMaxTimestamp);
                System.out.println("key:"+element.f0+",eventtime:["+element.f1+"|"+sdf.format(element.f1)+"],currentMaxTimestamp:["+currentMaxTimestamp+"|"+
                        sdf.format(currentMaxTimestamp)+"],watermark:["+getCurrentWatermark().getTimestamp()+"|"+sdf.format(getCurrentWatermark().getTimestamp())+"]");
                return timestamp;
            }
        });

        //分组，聚合
        DataStream window = waterMarkStream.keyBy(0)
                .window(TumblingEventTimeWindows.of(Time.seconds(3)))//按照消息的EventTime分配窗口，和调用TimeWindow效果一样
                .apply(new WindowFunction, String, Tuple, TimeWindow>() {
                    /**
                     * 对window内的数据进行排序，保证数据的顺序
                     * @param tuple
                     * @param window
                     * @param input
                     * @param out
                     * @throws Exception
                     */
                    @Override
                    public void apply(Tuple tuple, TimeWindow window, Iterable> input, Collector out) throws Exception {
                        String key = tuple.toString();
                        List arrarList = new ArrayList();
                        Iterator> it = input.iterator();
                        while (it.hasNext()) {
                            Tuple2 next = it.next();
                            arrarList.add(next.f1);
                        }
                        Collections.sort(arrarList);
                        SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss.SSS");
                        String result = key + "," + arrarList.size() + "," + sdf.format(arrarList.get(0)) + "," + sdf.format(arrarList.get(arrarList.size() - 1))
                                + "," + sdf.format(window.getStart()) + "," + sdf.format(window.getEnd());
                        out.collect(result);
                    }
                });
        //测试-把结果打印到控制台即可
        window.print();

        //注意：因为flink是懒加载的，所以必须调用execute方法，上面的代码才会执行
        env.execute("eventtime-watermark");

    }



}

1.3：程序详解

接收socket数据
将每行数据按照逗号分隔，每行数据调用map转换成tuple类型。其中tuple中的第一个元素代表具体的数据，第二行代表数据的eventtime
抽取timestamp，生成watermar，允许的最大乱序时间是10s，并打印（key,eventtime,currentMaxTimestamp,watermark）等信息
分组聚合，window窗口大小为3秒，输出（key，窗口内元素个数，窗口内最早元素的时间，窗口内最晚元素的时间，窗口自身开始时间，窗口自身结束时间）

2：通过数据跟踪watermark的时间

在这里重点查看watermark和timestamp的时间，通过数据的输出来确定window的触发时机

首先我们开启socker，输入第一条数据

输出的内容如下：

为了查看方便，我们把输入内容汇总到表格中

Key	Event Time	CurrentMaxTimeStamp	WaterMark
0001	1538359882000	1538359882000	1538359872000
0001	2018-10-01 10:11:22.000	2018-10-01 10:11:22.000	2018-10-01 10:11:12.000

此时，wartermark的时间，已经落后于currentMaxTimestamp10秒了。我们继续输入

此时，输入内容如下：

我们再次汇总，如下表：

Key	Event Time	CurrentMaxTimeStamp	WaterMark
0001	1538359882000	1538359882000	1538359872000
0001	2018-10-01 10:11:22.000	2018-10-01 10:11:22.000	2018-10-01 10:11:12.000
0001	1538359886000	1538359886000	1538359876000
0001	2018-10-01 10:11:26.000	2018-10-01 10:11:26.000	2018-10-01 10:11:16.000

继续输入：

输出内容如下：

汇总如下：

Key	Event Time	CurrentMaxTimeStamp	WaterMark
0001	1538359882000	1538359882000	1538359872000
0001	2018-10-01 10:11:22.000	2018-10-01 10:11:22.000	2018-10-01 10:11:12.000
0001	1538359886000	1538359886000	1538359876000
0001	2018-10-01 10:11:26.000	2018-10-01 10:11:26.000	2018-10-01 10:11:16.000
0001	1538359892000	1538359892000	1538359882000
0001	2018-10-01 10:11:32.000	2018-10-01 10:11:32.000	2018-10-01 10:11:22.000

到这里，window仍然没有被触发，此时watermark的时间已经等于了第一条数据的Event Time了。那么window到底什么时候被触发呢？

我们再次输入：

输出内容如下：

汇总如下：

Key	Event Time	CurrentMaxTimeStamp	WaterMark
0001	1538359882000	1538359882000	1538359872000
0001	2018-10-01 10:11:22.000	2018-10-01 10:11:22.000	2018-10-01 10:11:12.000
0001	1538359886000	1538359886000	1538359876000
0001	2018-10-01 10:11:26.000	2018-10-01 10:11:26.000	2018-10-01 10:11:16.000
0001	1538359892000	1538359892000	1538359882000
0001	2018-10-01 10:11:32.000	2018-10-01 10:11:32.000	2018-10-01 10:11:22.000
0001	1538359893000	1538359893000	1538359883000
0001	2018-10-01 10:11:33.000	2018-10-01 10:11:33.000	2018-10-01 10:11:23.000

window仍然没有触发，此时，我们的数据已经发到2018-10-01 10:11:33.000了，根据eventtime来算，最早的数据已经过去了11秒了，window还没有开始计算，那到底什么时候会触发window呢？

我们再次增加1秒，输入：

输出：

汇总如下：

Key	Event Time	CurrentMaxTimeStamp	WaterMark	window_start_time	window_end_time
0001	1538359882000	1538359882000	1538359872000
0001	2018-10-01 10:11:22.000	2018-10-01 10:11:22.000	2018-10-01 10:11:12.000
0001	1538359886000	1538359886000	1538359876000
0001	2018-10-01 10:11:26.000	2018-10-01 10:11:26.000	2018-10-01 10:11:16.000
0001	1538359892000	1538359892000	1538359882000
0001	2018-10-01 10:11:32.000	2018-10-01 10:11:32.000	2018-10-01 10:11:22.000
0001	1538359893000	1538359893000	1538359883000
0001	2018-10-01 10:11:33.000	2018-10-01 10:11:33.000	2018-10-01 10:11:23.000
0001	1538359894000	1538359894000	1538359884000
0001	2018-10-01 10:11:34.000	2018-10-01 10:11:34.000	2018-10-01 10:11:24.000	[10:11:21.000	10:11:24.000)

到这里，我们做一个说明：
window的触发机制，是先按照自然时间将window划分，如果window大小是3秒，那么1分钟内会把window划分为如下的形式【左闭右开】:

[00:00:00,00:00:03)
[00:00:03,00:00:06)
[00:00:06,00:00:09)
[00:00:09,00:00:12)
[00:00:12,00:00:15)
[00:00:15,00:00:18)
[00:00:18,00:00:21)
[00:00:21,00:00:24)
[00:00:24,00:00:27)
[00:00:27,00:00:30)
[00:00:30,00:00:33)
[00:00:33,00:00:36)
[00:00:36,00:00:39)
[00:00:39,00:00:42)
[00:00:42,00:00:45)
[00:00:45,00:00:48)
[00:00:48,00:00:51)
[00:00:51,00:00:54)
[00:00:54,00:00:57)
[00:00:57,00:01:00)
...

window的设定无关数据本身，而是系统定义好了的。

输入的数据中，根据自身的Event Time，将数据划分到不同的window中，如果window中有数据，则当watermark时间>=Event Time时，就符合了window触发的条件了，最终决定window触发，还是由数据本身的Event Time所属的window中的window_end_time决定。

上面的测试中，最后一条数据到达后，其水位线已经升至10:11:24秒，正好是最早的一条记录所在window的window_end_time，所以window就被触发了。

为了验证window的触发机制，我们继续输入数据:

输出：

汇总如下：

Key	Event Time	CurrentMaxTimeStamp	WaterMark	window_start_time	window_end_time
0001	1538359882000	1538359882000	1538359872000
0001	2018-10-01 10:11:22.000	2018-10-01 10:11:22.000	2018-10-01 10:11:12.000
0001	1538359886000	1538359886000	1538359876000
0001	2018-10-01 10:11:26.000	2018-10-01 10:11:26.000	2018-10-01 10:11:16.000
0001	1538359892000	1538359892000	1538359882000
0001	2018-10-01 10:11:32.000	2018-10-01 10:11:32.000	2018-10-01 10:11:22.000
0001	1538359893000	1538359893000	1538359883000
0001	2018-10-01 10:11:33.000	2018-10-01 10:11:33.000	2018-10-01 10:11:23.000
0001	1538359894000	1538359894000	1538359884000
0001	2018-10-01 10:11:34.000	2018-10-01 10:11:34.000	2018-10-01 10:11:24.000	[10:11:21.000	10:11:24.000)
0001	1538359896000	1538359896000	1538359886000
0001	2018-10-01 10:11:36.000	2018-10-01 10:11:36.000	2018-10-01 10:11:26.000

此时，watermark时间虽然已经达到了第二条数据的时间，但是由于其没有达到第二条数据所在window的结束时间，所以window并没有被触发。那么，第二条数据所在的window时间是:

[00:00:24,00:00:27)

也就是说，我们必须输入一个10:11:27秒的数据，第二条数据所在的window才会被触发。我们继续输入：

输出：

汇总如下：

Key	Event Time	CurrentMaxTimeStamp	WaterMark	window_start_time	window_end_time
0001	1538359882000	1538359882000	1538359872000
0001	2018-10-01 10:11:22.000	2018-10-01 10:11:22.000	2018-10-01 10:11:12.000
0001	1538359886000	1538359886000	1538359876000
0001	2018-10-01 10:11:26.000	2018-10-01 10:11:26.000	2018-10-01 10:11:16.000
0001	1538359892000	1538359892000	1538359882000
0001	2018-10-01 10:11:32.000	2018-10-01 10:11:32.000	2018-10-01 10:11:22.000
0001	1538359893000	1538359893000	1538359883000
0001	2018-10-01 10:11:33.000	2018-10-01 10:11:33.000	2018-10-01 10:11:23.000
0001	1538359894000	1538359894000	1538359884000
0001	2018-10-01 10:11:34.000	2018-10-01 10:11:34.000	2018-10-01 10:11:24.000	[10:11:21.000	10:11:24.000)
0001	1538359896000	1538359896000	1538359886000
0001	2018-10-01 10:11:36.000	2018-10-01 10:11:36.000	2018-10-01 10:11:26.000
0001	1538359897000	1538359897000	1538359887000
0001	2018-10-01 10:11:37.000	2018-10-01 10:11:37.000	2018-10-01 10:11:27.000	[10:11:24.000	10:11:27.000)

此时，我们已经看到，window的触发要符合以下几个条件：

1、watermark时间 >= window_end_time 
2、在[window_start_time,window_end_time)区间中有数据存在，注意是左闭右开的区间

同时满足了以上2个条件，window才会触发。

3：watermark+window处理乱序数据

我们上面的测试，数据都是按照时间顺序递增的，现在，我们输入一些乱序的（late）数据，看看watermark结合window机制，是如何处理乱序的。

输入两行数据：

输出：

汇总如下：

Key	Event Time	CurrentMaxTimeStamp	WaterMark	window_start_time	window_end_time
0001	1538359882000	1538359882000	1538359872000
0001	2018-10-01 10:11:22.000	2018-10-01 10:11:22.000	2018-10-01 10:11:12.000
0001	1538359886000	1538359886000	1538359876000
0001	2018-10-01 10:11:26.000	2018-10-01 10:11:26.000	2018-10-01 10:11:16.000
0001	1538359892000	1538359892000	1538359882000
0001	2018-10-01 10:11:32.000	2018-10-01 10:11:32.000	2018-10-01 10:11:22.000
0001	1538359893000	1538359893000	1538359883000
0001	2018-10-01 10:11:33.000	2018-10-01 10:11:33.000	2018-10-01 10:11:23.000
0001	1538359894000	1538359894000	1538359884000
0001	2018-10-01 10:11:34.000	2018-10-01 10:11:34.000	2018-10-01 10:11:24.000	[10:11:21.000	10:11:24.000)
0001	1538359896000	1538359896000	1538359886000
0001	2018-10-01 10:11:36.000	2018-10-01 10:11:36.000	2018-10-01 10:11:26.000
0001	1538359897000	1538359897000	1538359887000
0001	2018-10-01 10:11:37.000	2018-10-01 10:11:37.000	2018-10-01 10:11:27.000	[10:11:24.000	10:11:27.000)
0001	1538359899000	1538359899000	1538359889000
0001	2018-10-01 10:11:39.000	2018-10-01 10:11:39.000	2018-10-01 10:11:29.000
0001	1538359891000	1538359899000	1538359889000
0001	2018-10-01 10:11:31.000	2018-10-01 10:11:39.000	2018-10-01 10:11:29.000

可以看到，虽然我们输入了一个10:11:31的数据，但是currentMaxTimestamp和watermark都没变。此时，按照我们上面提到的公式：

1、watermark时间 >= window_end_time
2、在[window_start_time,window_end_time)中有数据存在

watermark时间（10:11:29） < window_end_time（10:11:33），因此不能触发window。

那如果我们再次输入一条10:11:43的数据，此时watermark时间会升高到10:11:33，这时的window一定就会触发了，我们试一试：
输入：

输出：

汇总如下：

Key	Event Time	CurrentMaxTimeStamp	WaterMark	window_start_time	window_end_time
0001	1538359882000	1538359882000	1538359872000
0001	2018-10-01 10:11:22.000	2018-10-01 10:11:22.000	2018-10-01 10:11:12.000
0001	1538359886000	1538359886000	1538359876000
0001	2018-10-01 10:11:26.000	2018-10-01 10:11:26.000	2018-10-01 10:11:16.000
0001	1538359892000	1538359892000	1538359882000
0001	2018-10-01 10:11:32.000	2018-10-01 10:11:32.000	2018-10-01 10:11:22.000
0001	1538359893000	1538359893000	1538359883000
0001	2018-10-01 10:11:33.000	2018-10-01 10:11:33.000	2018-10-01 10:11:23.000
0001	1538359894000	1538359894000	1538359884000
0001	2018-10-01 10:11:34.000	2018-10-01 10:11:34.000	2018-10-01 10:11:24.000	[10:11:21.000	10:11:24.000)
0001	1538359896000	1538359896000	1538359886000
0001	2018-10-01 10:11:36.000	2018-10-01 10:11:36.000	2018-10-01 10:11:26.000
0001	1538359897000	1538359897000	1538359887000
0001	2018-10-01 10:11:37.000	2018-10-01 10:11:37.000	2018-10-01 10:11:27.000	[10:11:24.000	10:11:27.000)
0001	1538359899000	1538359899000	1538359889000
0001	2018-10-01 10:11:39.000	2018-10-01 10:11:39.000	2018-10-01 10:11:29.000
0001	1538359891000	1538359899000	1538359889000
0001	2018-10-01 10:11:31.000	2018-10-01 10:11:39.000	2018-10-01 10:11:29.000
0001	1538359903000	1538359903000	1538359893000
0001	2018-10-01 10:11:43.000	2018-10-01 10:11:43.000	2018-10-01 10:11:33.000	[10:11:30.000	10:11:33.000)

这里，我么看到，窗口中有2个数据，10:11:31和10:11:32，但是没有10:11:33的数据，原因是窗口是一个前闭后开的区间，10:11:33的数据是属于[10:11:33,10:11:36)的窗口的。

Flink应该如何设置最大乱序时间 ?

这个要结合自己的业务以及数据情况去设置。如果maxOutOfOrderness设置的太小，而自身数据发送时由于网络等原因导致乱序或者late太多，那么最终的结果就是会有很多单条的数据在window中被触发，数据的正确性影响太大 
对于严重乱序的数据，需要严格统计数据最大延迟时间，才能保证计算的数据准确，延时设置太小会影响数据准确性，延时设置太大不仅影响数据的实时性，更加会加重Flink作业的负担，不是对eventTime要求特别严格的数据，尽量不要采用eventTime方式来处理，会有丢数据的风险。

上边的结果，已经表明，对于out-of-order的数据，Flink可以通过watermark机制结合window的操作，来处理一定范围内的乱序数据。那么对于“迟到(late element)”太多的数据，Flink是怎么处理的呢？

4：late element(延迟数据)的处理

延迟数据的三种处理方案

4.1：丢弃(默认)

我们输入一个乱序很多的（其实只要Event Time < watermark时间）数据来测试下：

输入：【输入两条内容】

输出：

汇总如下：

Key	Event Time	CurrentMaxTimeStamp	WaterMark	window_start_time	window_end_time
0001	1538359890000	1538359890000	1538359880000
0001	2018-10-01 10:11:30.000	2018-10-01 10:11:30.000	2018-10-01 10:11:20.000
0001	1538359903000	1538359903000	1538359893000
0001	2018-10-01 10:11:43.000	2018-10-01 10:11:43.000	2018-10-01 10:11:33.000	[10:11:33.000	10:11:33.000)

注意：此时watermark是2018-10-01 10:11:33.000

下面我们再输入几个eventtime小于watermark的时间

输入：【输入了三行内容】

输出：

注意：此时并没有触发window。因为输入的数据所在的窗口已经执行过了，flink默认对这些迟到的数据的处理方案就是丢弃。

4.2：allowedLateness 指定允许数据延迟的时间

在某些情况下，我们希望对迟到的数据再提供一个宽容的时间。

Flink提供了allowedLateness方法可以实现对迟到的数据设置一个延迟时间，在指定延迟时间内到达的数据还是可以触发window执行的。

修改代码：

下面我们来验证一下：

输入：【输入两行内容】

输出：

正常触发window，没什么问题。

汇总：

Key	Event Time	CurrentMaxTimeStamp	WaterMark	window_start_time	window_end_time
0001	1538359890000	1538359890000	1538359880000
0001	2018-10-01 10:11:30.000	2018-10-01 10:11:30.000	2018-10-01 10:11:20.000
0001	1538359903000	1538359903000	1538359893000
0001	2018-10-01 10:11:43.000	2018-10-01 10:11:43.000	2018-10-01 10:11:33.000	[10:11:33.000	10:11:33.000)

此时watermark是2018-10-01 10:11:33.000

那么现在我们输入几条eventtime

输入：【输入三行内容】

输出：

在这里看到每条数据都触发了window执行。

汇总：

Key	Event Time	CurrentMaxTimeStamp	WaterMark	window_start_time	window_end_time
0001	1538359890000	1538359890000	1538359880000
0001	2018-10-01 10:11:30.000	2018-10-01 10:11:30.000	2018-10-01 10:11:20.000
0001	1538359903000	1538359903000	1538359893000
0001	2018-10-01 10:11:43.000	2018-10-01 10:11:43.000	2018-10-01 10:11:33.000	[10:11:33.000	10:11:33.000)
0001	1538359890000	1538359903000	1538359893000
0001	2018-10-01 10:11:30.000	2018-10-01 10:11:43.000	2018-10-01 10:11:33.000	[10:11:33.000	10:11:33.000)
0001	1538359891000	1538359903000	1538359893000
0001	2018-10-01 10:11:31.000	2018-10-01 10:11:43.000	2018-10-01 10:11:33.000	[10:11:33.000	10:11:33.000)
0001	1538359892000	1538359903000	1538359893000
0001	2018-10-01 10:11:32.000	2018-10-01 10:11:43.000	2018-10-01 10:11:33.000	[10:11:33.000	10:11:33.000)

我们再输入一条数据，把water调整到10:11:34

输入：

输出：

汇总如下：

Key	Event Time	CurrentMaxTimeStamp	WaterMark	window_start_time	window_end_time
0001	1538359890000	1538359890000	1538359880000
0001	2018-10-01 10:11:30.000	2018-10-01 10:11:30.000	2018-10-01 10:11:20.000
0001	1538359903000	1538359903000	1538359893000
0001	2018-10-01 10:11:43.000	2018-10-01 10:11:43.000	2018-10-01 10:11:33.000	[10:11:33.000	10:11:33.000)
0001	1538359890000	1538359903000	1538359893000
0001	2018-10-01 10:11:30.000	2018-10-01 10:11:43.000	2018-10-01 10:11:33.000	[10:11:33.000	10:11:33.000)
0001	1538359891000	1538359903000	1538359893000
0001	2018-10-01 10:11:31.000	2018-10-01 10:11:43.000	2018-10-01 10:11:33.000	[10:11:33.000	10:11:33.000)
0001	1538359892000	1538359903000	1538359893000
0001	2018-10-01 10:11:32.000	2018-10-01 10:11:43.000	2018-10-01 10:11:33.000	[10:11:33.000	10:11:33.000)
0001	1538359904000	1538359904000	1538359894000
0001	2018-10-01 10:11:44.000	2018-10-01 10:11:44.000	2018-10-01 10:11:34.000

此时，把water上升到了10:11:34，我们再输入几条eventtime

输入：

输出：

发现输入的三行数据都触发了window的执行。

我们再输入一条数据，把water调整到10:11:35

输入：

输出：

此时，watermark上升到了10:11:35

我们再输入几条eventtime

输入：

输出：

发现这几条数据都没有触发window。

分析：

当watemark等于10:11:33的时候，正好是window_end_time，所以会触发[10:11:30~10:11:33) 的window执行。

当窗口执行过后，我们输入[10:11:30~10:11:33) window内的数据会发现window是可以被触发的。

当watemark提升到10:11:34的时候，我们输入[10:11:30~10:11:33)window内的数据会发现window也是可以被触发的。

当watemark提升到10:11:35的时候，我们输入[10:11:30~10:11:33)window内的数据会发现window不会被触发了。

由于我们在前面设置了allowedLateness(Time.seconds(2))，可以允许延迟在2s内的数据继续触发window执行。

所以当watermark是10:11:34的时候可以触发window，但是10:11:35的时候就不行了。

总结：

对于此窗口而言，允许2秒的迟到数据，即第一次触发是在watermark >=window_end_time时

第二次（或多次）触发的条件是watermark < window_end_time + allowedLateness时间内，这个窗口有late数据到达时。

解释：

当watermark等于10:11:34的时候，我们输入eventtime为10:11:30、10:11:31、10:11:32的数据的时候，是可以触发的，因为这些数据的window_end_time都是10:11:33，也就是10:11:34<10:11:33+2 为true。

但是当watermark等于10:11:35的时候，我们再输入eventtime为10:11:30、10:11:31、10:11:32的数据的时候，这些数据的window_end_time都是10:11:33，此时，10:11:35<10:11:33+2 为false了。所以最终这些数据迟到的时间太久了，就不会再触发window执行了。

4.3：sideOutputLateData 收集迟到的数据

通过sideOutputLateData 可以把迟到的数据统一收集，统计存储，方便后期排查问题。

需要先调整代码：

我们来输入一些数据验证一下

输入：

输出：

此时，window被触发执行了，此时watermark是10:11:33

下面我们再输入几个eventtime小于watermark的数据测试一下

输入：

输出：

此时，针对这几条迟到的数据，都通过sideOutputLateData保存到了outputTag中。

更多资源和问题请加群沟通学习：

获取更多大数据资料，视频以及技术交流请加群：

QQ群号1：295505811(已满)

QQ群号2：54902210

QQ群号3：555684318

你可能感兴趣的:(flink)

nosql数据库技术与应用知识点皆过客，揽星河 NoSQL nosql 数据库大数据数据分析数据结构非关系型数据库
Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
全面指南：用户行为从前端数据采集到实时处理的最佳实践数字沉思营销流量运营系统架构前端内容运营大数据
引言在当今的数据驱动世界，实时数据采集和处理已经成为企业做出及时决策的重要手段。本文将详细介绍如何通过前端JavaScript代码采集用户行为数据、利用API和Kafka进行数据传输、通过Flink实时处理数据的完整流程。无论你是想提升产品体验还是做用户行为分析，这篇文章都将为你提供全面的解决方案。设计一个通用的ClickHouse表来存储用户事件时，需要考虑多种因素，包括事件类型、时间戳、用户信
详解 Flink 的常见部署方式文刀小桂 Flink flink 大数据
一、常见部署模式分类1.按是否依赖外部资源调度1.1Standalone模式独立模式(Standalone)是独立运行的，不依赖任何外部的资源管理平台，只需要运行所有Flink组件服务1.2Yarn模式Yarn模式是指客户端把Flink应用提交给Yarn的ResourceManager,Yarn的ResourceManager会在Yarn的NodeManager上创建容器。在这些容器上，Flink
大数据之flink与hive 星辰_mya 大数据 flink hive
其实吧我不太想写flink，因为线上经验确实不多，这也是我需要补的地方，没有条件创造条件，先来一篇吧flink：高性能低延迟流批一体的分布式计算框架基于事件时间对实时数据精准处理快速响应支持批处理，高效离线分析和数据挖掘数据仓库的引擎丰富数据源/接收器，集成多种数据存储格式和源，比较常见就是咱们今天的主题hive了checkpoint恢复机制，故障恢复快速恢复计算任务分布式弹性扩展，据业务灵活增加
Java中的大数据处理框架对比分析省赚客app开发者 java 开发语言
Java中的大数据处理框架对比分析大家好，我是微赚淘客系统3.0的小编，是个冬天不穿秋裤，天冷也要风度的程序猿！今天，我们将深入探讨Java中常用的大数据处理框架，并对它们进行对比分析。大数据处理框架是现代数据驱动应用的核心，它们帮助企业处理和分析海量数据，以提取有价值的信息。本文将重点介绍ApacheHadoop、ApacheSpark、ApacheFlink和ApacheStorm这四种流行的
一文搞懂 Flink Task 数据交互之数据写源码 mn_kw flink 交互 java
一文搞懂FlinkTask数据交互之数据写源码1.RecordWriterOutput2.RecordWriter3.数据分区器ChannelSelector4.数据输出模型ResultPartition5.子模型ResultSubpartition6.本地buffer池LocalBufferPool7.获取buffer8.将buffer添加到ResultSubpartitionFlink重要源码
概率图模型（PGM）综述医学影像处理概率图模型概率图模型综述
RefLink:http://www.sigvc.org/bbs/thread-728-1-1.htmlGraphicalModel的基本类型基本的GraphicalModel可以大致分为两个类别：贝叶斯网络(BayesianNetwork)和马尔可夫随机场(MarkovRandomField)。它们的主要区别在于采用不同类型的图来表达变量之间的关系：贝叶斯网络采用有向无环图(DirectedAc
Python基础知识进阶之正则表达式_头歌python正则表达式进阶前端陈萨龙程序员 python 学习面试
最后硬核资料：关注即可领取PPT模板、简历模板、行业经典书籍PDF。技术互助：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。面试题库：由技术群里的小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是
大数据新视界 --大数据大厂之Flink强势崛起：大数据新视界的璀璨明珠青云交大数据新视界 Flink 大数据数据类型实时处理流处理框架对比应用场景数据处理大数据新视界数据库
亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：Ja
flink增量检查点降低状态依赖实现的详细步骤 goTsHgo Flink 大数据分布式 flink 大数据
增量检查点启动恢复的时间是很久的，业务上不能接受，所以可以通过降低状态依赖来减少恢复的时间。降低状态依赖尽可能减少状态的复杂性和依赖关系，通过拆分状态或将状态外部化到其他服务中，从而降低恢复的开销。实施措施：将状态分割为更小的单元，减少每次恢复的状态量。使用外部状态存储服务，减少Flink状态后端的负担。拆分状态和将状态外部化到其他服务可以帮助减少作业的状态依赖，从而降低恢复时间和复杂度。以下是详
flink table factory基础知识 loukey_j
一、概述在flink中很多组件都是TableFactory的子类。比如序列化，反序列化，tableSinkFactory,tableSourceFactory.TableFactory是用来创建序列化，反序列器，tableSource和tableSink的工厂。二、TableFactory源码在flink框架中，TableFactory的子类并不是程序员自己随心new出来的。flink的提供给程序
2024年最全使用Python求解方程_python解方程(1)，字节面试官迟到 2401_84569545 程序员 python 学习面试
最后硬核资料：关注即可领取PPT模板、简历模板、行业经典书籍PDF。技术互助：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。面试题库：由技术群里的小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是
01-Flink安装部署及入门案例（仅供学习），音视频时代你还不会NDK开发小猪佩琪962 2024年程序员学习 flink 学习大数据
先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵
比较Spark与Flink 傲雪凌霜，松柏长青大数据后端 spark flink 大数据
ApacheSpark和ApacheFlink都是目前非常流行的大数据处理引擎，但它们在架构、处理模式、应用场景等方面有一些显著的区别。下面是二者的对比：1.处理模式Spark:主要支持批处理（BatchProcessing），也能通过SparkStreaming处理流式数据，但SparkStreaming本质上是通过微批（micro-batching）的方式处理流数据，延迟相对较高。SparkS
Apache Flink：实时流处理与批处理的统一框架小码快撩 flink 大数据
导语在大数据处理领域，流处理和批处理是两种主要的处理方式。然而，传统的系统通常将这两者视为独立的任务，需要不同的工具和框架来处理。ApacheFlink是一个开源的流处理框架，它打破了这种界限，提供了一个统一的平台来处理实时流数据和批处理数据。一、基本概念与架构ApacheFlink的基本概念与架构主要包括以下几个核心组成部分：基本概念1.流处理模型：无界流(UnboundedStreams):数
flink独立集群部署嘎子吱吱吱吱 flink hadoop linux
#flink独立集群部署说明安装环境三台服务器47.106.23.1（master）47.112.173.2（worker1）47.115.162.3（worker1）提前装好jdk和ssh,以下操作最好不要用root账号提前下载好flink的包并解压设置三台服务器之间ssh免密登录生成本机秘钥以47.106.23.1为例（其他两台参考本服务器）#生成本机秘钥cd;ssh-keygen-trsa-
Flink的时间与watermarks详解大数据技术与数仓
当我们在使用Flink的时候，避免不了要和时间(time)、水位线(watermarks)打交道，理解这些概念是开发分布式流处理应用的基础。那么Flink支持哪些时间语义？Flink是如何处理乱序事件的？什么是水位线？水位线是如何生成的？水位线的传播方式是什么？让我们带着这些问题来开始本文的内容。时间语义基本概念时间是Flink等流处理中最重要的概念之一，在Flink中Time可以分为三种：Eve
实时数仓之实时数仓架构(Hudi)(1) 2401_84164527 程序员架构
目前比较流行的实时数仓架构有两类，其中一类是以Flink+Doris为核心的实时数仓架构方案；另一类是以湖仓一体架构为核心的实时数仓架构方案。本文针对Flink+Hudi湖仓一体架构进行介绍，这套架构的特点是可以基于一套数据完全实现Lambda架构。实时数仓架构图如下：技术框架Kafka：用于接入数据源；FlinkCDC：如果直接接入业务数据源可以考虑CDC方式，如果通过Kafka缓冲接入业务数据
2024年大数据最新实时数仓之实时数仓架构(Hudi) 2401_84185556 程序员大数据架构
技术框架Kafka：用于接入数据源；FlinkCDC：如果直接接入业务数据源可以考虑CDC方式，如果通过Kafka缓冲接入业务数据可以忽略;Flink：用于数据ETL，包括接入数据、处理数据及输出数据全链路数据计算任务；Spark：用于数据ETL，包括处理数据及输出数据全链路数据计算任务；Hudi：湖仓一体数据管理框架，用来管理模型数据，包括ODS/DWD/DWS/DIM/ADS等；Doris：O
实时数仓之实时数仓架构(Hudi)(1)，2024年最新熬夜整理华为最新大数据开发笔试题 2401_84181221 程序员架构大数据
+Hudi：湖仓一体数据管理框架，用来管理模型数据，包括ODS/DWD/DWS/DIM/ADS等；+Doris：OLAP引擎，同步数仓结果模型，对外提供数据服务支持；+Hbase：用来存储维表信息，维表数据来源一部分有Flink加工实时写入，另一部分是从Spark任务生产，其主要作用用来支持FlinkETL处理过程中的LookupJoin功能。这里选用Hbase原因主要因为Table的HbaseC
Flink - CEP kikiki1
Hadoop3.2集群新版本的搭建详细讲解过程，从下面第一张官方的图来看，最新版是3.2，所以大猪将使用3.2的版本来演示，过程中遇到的坑留给自己，把路留给你们，IT之路还有大猪。大猪为了把文章压缩极简方便小伙伴阅读，将使用root帐号进行所有操作。准备两台主机10.211.55.11、10.211.55.12对应的hostname为m1.example.com、m2.example.com具体命
chapter01 Java语言概述知识点Note 月下绯烟 Java java 开发语言
JavaSEJavaEEJavaME大数据Java基础常用技术栈mysqlJDBCSSMspring+springmvc+mybatisLinuxnacosHadoopFlinkJAVAEE消息队列rabbitMQdocker数据库redisspringbootspringcloudsshstruts+spring+hibernate过时技术栈很少用JAVA虚拟机jvm分布式微服务高并发常见dos
【无标题】大数据之批处理，流处理，批流一体概念数字天下大数据
批处理批处理是将一定量的数据集合在一起，形成一个数据批次，然后对这个批次中的数据进行处理。Spark和Flink都支持批处理，其中Spark使用的是批处理模型，即将一批数据一次性读入内存，然后对其进行处理，处理完成后再将结果写入磁盘。Flink也支持批处理，但使用的是基于流处理的批处理模式，即将一批数据分成多个数据流进行处理，可以实现更高效的内存管理和更低的延迟。流处理流式处理是一种将数据流式地处
python flink_《Flink官方文档》Python 编程指南测试版 weixin_39846361 python flink
原文链接译者：hjjxd校对：清英Flink中的分析程序实现了对数据集的某些操作(例如，数据过滤，映射，合并，分组)。这些数据最初来源于特定的数据源(例如来自于读文件或数据集合)。操作执行的结果通过数据池以写入数据到(分布式)文件系统或标准输出(例如命令行终端)的形式返回。Flink程序可以运行在不同的环境中，既能够独立运行，也可以嵌入到其他程序中运行。程序可以运行在本地的JVM上，也可以运行在服
flink---window 搞数据的小杰 flink 大数据
Window介绍DataStream:https://nightlies.apache.org/flink/flink-docs-release-1.17/zh/docs/dev/datastream/operators/windows/SQL:https://nightlies.apache.org/flink/flink-docs-release-1.17/zh/docs/dev/table/
Flink(1.13) 的window机制(一) 万事万物
窗口概述在流处理应用中，数据是连续不断的，因此我们不可能等到所有数据都到了才开始处理。当然我们可以每来一个消息就处理一次，但是有时我们需要做一些聚合类的处理，例如：在过去的1分钟内有多少用户点击了我们的网页。在这种情况下，我们必须定义一个窗口，用来收集最近一分钟内的数据，并对这个窗口内的数据进行计算。流式计算是一种被设计用于处理无限数据集的数据处理引擎，而无限数据集是指一种不断增长的本质上无限的数
pyflink 自定义函数 scan724 Flink实时计算 python 开发语言
frompyflink.datastreamimportStreamExecutionEnvironmentfrompyflink.common.typeinfoimportTypesfrompyflink.datastreamimportStreamExecutionEnvironmentfrompyflink.tableimportStreamTableEnvironmentfrompyfli
flink 问题记录 Jhon_yh flink flink hadoop 大数据
文章目录1.Causedby:java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSums(IILjava/nio/ByteBuffer;ILjava/nio/ByteBuffer;IILjava/lang/String;JZ)V原因java.util.concurrent.Ex
Pyflink教程(三)：自定义函数 yuxj记录学习学习笔记学习 pyflink
该文章例子pyflink环境是apache-flink==1.13.6Python自定义函数是PyFlinkTableAPI中最重要的功能之一，其允许用户在PyFlinkTableAPI中使用Python语言开发的自定义函数，极大地拓宽了PythonTableAPI的使用范围。简单来说就是有的业务逻辑和需求是sql语句满足不了或太麻烦的，需要用过函数来实现。PythonUDFPythonUDF，即
pyflink 滚动窗口实例菜鸟社长菜鸟的大数据进阶之路大数据进阶之路 kafka big data python flink
写在前头：更多大数据相关精彩内容请进我的知识星球，每周定期更新正篇技术路线：模拟kafka生产者发送数据——>flink对kafka数据实时计算处理——>处理后的数据发送到kafka1、模拟客流数据的生产者，参考https://blog.csdn.net/qq_22611181/article/details/1199002502、flink聚合操作原理介绍，参考https://blog.csdn
PHP如何实现二维数组排序？ IT独行者二维数组 PHP 排序　
二维数组在PHP开发中经常遇到，但是他的排序就不如一维数组那样用内置函数来的方便了，（一维数组排序可以参考本站另一篇文章【PHP中数组排序函数详解汇总】）。二维数组的排序需要我们自己写函数处理了，这里UncleToo给大家分享一个PHP二维数组排序的函数：代码： functionarray_sort($arr,$keys,$type='asc'){ $keysvalue= $new_arr
【Hadoop十七】HDFS HA配置 bit1129 hadoop
基于Zookeeper的HDFS HA配置主要涉及两个文件,core-site和hdfs-site.xml。测试环境有三台 hadoop.master hadoop.slave1 hadoop.slave2 hadoop.master包含的组件NameNode, JournalNode, Zookeeper，DFSZKFailoverController
由wsdl生成的java vo类不适合做普通java vo darrenzhu VO wsdl webservice rpc
开发java webservice项目时，如果我们通过SOAP协议来输入输出，我们会利用工具从wsdl文件生成webservice的client端类，但是这里面生成的java data model类却不适合做为项目中的普通java vo类来使用，当然有一中情况例外，如果这个自动生成的类里面的properties都是基本数据类型，就没问题，但是如果有集合类，就不行。原因如下： 1)使用了集合如Li
JAVA海量数据处理之二（BitMap）周凡杨 java 算法 bitmap bitset 数据
路漫漫其修远兮，吾将上下而求索。想要更快，就要深入挖掘 JAVA 基础的数据结构，从来分析出所编写的 JAVA 代码为什么把内存耗尽，思考有什么办法可以节省内存呢？啊哈！算法。这里采用了 BitMap 思想。首先来看一个实验：指定 VM 参数大小： -Xms256m -Xmx540m
java类型与数据库类型 g21121 java
很多时候我们用hibernate的时候往往并不是十分关心数据库类型和java类型的对应关心，因为大多数hbm文件是自动生成的，但有些时候诸如：数据库设计、没有生成工具、使用原始JDBC、使用mybatis(ibatIS)等等情况，就会手动的去对应数据库与java的数据类型关心，当然比较简单的数据类型即使配置错了也会很快发现问题，但有些数据类型却并不是十分常见，这就给程序员带来了很多麻烦。 &nb
Linux命令 510888780 linux命令
系统信息 arch 显示机器的处理器架构(1) uname -m 显示机器的处理器架构(2) uname -r 显示正在使用的内核版本 dmidecode -q 显示硬件系统部件 - (SMBIOS / DMI) hdparm -i /dev/hda 罗列一个磁盘的架构特性 hdparm -tT /dev/sda 在磁盘上执行测试性读取操作 cat /proc/cpuinfo 显示C
java常用JVM参数墙头上一根草 java jvm参数
-Xms：初始堆大小，默认为物理内存的1/64(<1GB)；默认(MinHeapFreeRatio参数可以调整)空余堆内存小于40%时，JVM就会增大堆直到-Xmx的最大限制 -Xmx：最大堆大小，默认(MaxHeapFreeRatio参数可以调整)空余堆内存大于70%时，JVM会减少堆直到 -Xms的最小限制 -Xmn：新生代的内存空间大小，注意：此处的大小是（eden+ 2
我的spring学习笔记9-Spring使用工厂方法实例化Bean的注意点 aijuans Spring 3
方法一： <bean id="musicBox" class="onlyfun.caterpillar.factory.MusicBoxFactory" factory-method="createMusicBoxStatic"></bean> 方法二：
mysql查询性能优化之二 annan211 UNION mysql 查询优化索引优化
1 union的限制有时mysql无法将限制条件从外层下推到内层，这使得原本能够限制部分返回结果的条件无法应用到内层查询的优化上。如果希望union的各个子句能够根据limit只取部分结果集，或者希望能够先排好序在合并结果集的话，就需要在union的各个子句中分别使用这些子句。例如想将两个子查询结果联合起来，然后再取前20条记录，那么mys
数据的备份与恢复百合不是茶 oracle sql 数据恢复数据备份
数据的备份与恢复的方式有: 表,方案 ,数据库; 数据的备份: 导出到的常见命令; 参数说明 USERID 确定执行导出实用程序的用户名和口令 BUFFER 确定导出数据时所使用的缓冲区大小，其大小用字节表示 FILE 指定导出的二进制文
线程组 bijian1013 java 多线程 thread java多线程线程组
有些程序包含了相当数量的线程。这时，如果按照线程的功能将他们分成不同的类别将很有用。线程组可以用来同时对一组线程进行操作。创建线程组：ThreadGroup g = new ThreadGroup(groupName); &nbs
top命令找到占用CPU最高的java线程 bijian1013 java linux top
上次分析系统中占用CPU高的问题，得到一些使用Java自身调试工具的经验，与大家分享。 (1)使用top命令找出占用cpu最高的JAVA进程PID:28174 (2)如下命令找出占用cpu最高的线程 top -Hp 28174 -d 1 -n 1 32694 root 20 0 3249m 2.0g 11m S 2 6.4 3:31.12 java
【持久化框架MyBatis3四】MyBatis3一对一关联查询 bit1129 Mybatis3
当两个实体具有1对1的对应关系时，可以使用One-To-One的进行映射关联查询 One-To-One示例数据以学生表Student和地址信息表为例，每个学生都有都有1个唯一的地址(现实中，这种对应关系是不合适的，因为人和地址是多对一的关系)，这里只是演示目的学生表 CREATE TABLE STUDENTS (
C/C++图片或文件的读写 bitcarter 写图片
先看代码： /*strTmpResult是文件或图片字符串 * filePath文件需要写入的地址或路径 */ int writeFile(std::string &strTmpResult,std::string &filePath) { int i,len = strTmpResult.length(); unsigned cha
nginx自定义指定加载配置 ronin47
进入 /usr/local/nginx/conf/include 目录，创建 nginx.node.conf 文件，在里面输入如下代码： upstream nodejs { server 127.0.0.1:3000; #server 127.0.0.1:3001; keepalive 64; } server { liste
java-71-数值的整数次方.实现函数double Power(double base, int exponent)，求base的exponent次方 bylijinnan double
public class Power { /** *Q71-数值的整数次方 *实现函数double Power(double base, int exponent)，求base的exponent次方。不需要考虑溢出。 */ private static boolean InvalidInput=false; public static void main(
Android四大组件的理解 Cb123456 android 四大组件的理解
分享一下，今天在Android开发文档-开发者指南中看到的: App components are the essential building blocks of an Android
[宇宙与计算]涡旋场计算与拓扑分析 comsci 计算
怎么阐述我这个理论呢？。。。。。。。。。首先：宇宙是一个非线性的拓扑结构与涡旋轨道时空的统一体。。。。我们要在宇宙中寻找到一个适合人类居住的行星，时间非常重要，早一个刻度和晚一个刻度，这颗行星的
同一个Tomcat不同Web应用之间共享会话Session cwqcwqmax9 session
实现两个WEB之间通过session 共享数据查看tomcat 关于 HTTP Connector 中有个emptySessionPath 其解释如下： If set to true, all paths for session cookies will be set to /. This can be useful for portlet specification impleme
springmvc Spring3 MVC，ajax，乱码 dashuaifu spring jquery mvc Ajax
springmvc Spring3 MVC @ResponseBody返回，jquery ajax调用中文乱码问题解决 Spring3.0 MVC @ResponseBody 的作用是把返回值直接写到HTTP response body里。具体实现AnnotationMethodHandlerAdapter类handleResponseBody方法，具体实
搭建WAMP环境 dcj3sjt126com wamp
这里先解释一下WAMP是什么意思。W:windows，A：Apache，M：MYSQL，P：PHP。也就是说本文说明的是在windows系统下搭建以apache做服务器、MYSQL为数据库的PHP开发环境。工欲善其事，必须先利其器。因为笔者的系统是WinXP，所以下文指的系统均为此系统。笔者所使用的Apache版本为apache_2.2.11-
yii2 使用raw http request dcj3sjt126com http
Parses a raw HTTP request using yii\helpers\Json::decode() To enable parsing for JSON requests you can configure yii\web\Request::$parsers using this class: 'request' =&g
Quartz-1.8.6 理论部分 eksliang quartz
转载请出自出处：http://eksliang.iteye.com/blog/2207691 一.概述基于Quartz-1.8.6进行学习，因为Quartz2.0以后的API发生的非常大的变化，统一采用了build模式进行构建；什么是quartz? 答：简单的说他是一个开源的java作业调度框架，为在 Java 应用程序中进行作业调度提供了简单却强大的机制。并且还能和Sp
什么是POJO？ gupeng_ie java POJO 框架 Hibernate
POJO--Plain Old Java Objects(简单的java对象) POJO是一个简单的、正规Java对象，它不包含业务逻辑处理或持久化逻辑等，也不是JavaBean、EntityBean等，不具有任何特殊角色和不继承或不实现任何其它Java框架的类或接口。 POJO对象有时也被称为Data对象，大量应用于表现现实中的对象。如果项目中使用了Hiber
jQuery网站顶部定时折叠广告 ini JavaScript html jquery Web css
效果体验：http://hovertree.com/texiao/jquery/4.htmHTML文件代码： <!DOCTYPE html> <html xmlns="http://www.w3.org/1999/xhtml"> <head> <title>网页顶部定时收起广告jQuery特效 - HoverTree<
Spring boot内嵌的tomcat启动失败 kane_xie spring boot
根据这篇guide创建了一个简单的spring boot应用，能运行且成功的访问。但移植到现有项目（基于hbase）中的时候，却报出以下错误： SEVERE: A child container failed during start java.util.concurrent.ExecutionException: org.apache.catalina.Lif
leetcode: sort list michelle_0916 Algorithm linked list sort
Sort a linked list in O(n log n) time using constant space complexity. ====analysis======= mergeSort for singly-linked list ====code======= /** * Definition for sin
nginx的安装与配置,中途遇到问题的解决 qifeifei nginx
我使用的是ubuntu13.04系统，在安装nginx的时候遇到如下几个问题，然后找思路解决的，nginx 的下载与安装 wget http://nginx.org/download/nginx-1.0.11.tar.gz tar zxvf nginx-1.0.11.tar.gz ./configure make make install 安装的时候出现
用枚举来处理java自定义异常 tcrct java enum exception
在系统开发过程中，总少不免要自己处理一些异常信息，然后将异常信息变成友好的提示返回到客户端的这样一个过程，之前都是new一个自定义的异常，当然这个所谓的自定义异常也是继承RuntimeException的，但这样往往会造成异常信息说明不一致的情况，所以就想到了用枚举来解决的办法。 1，先创建一个接口，里面有两个方法，一个是getCode, 一个是getMessage public
erlang supervisor分析 wudixiaotie erlang
当我们给supervisor指定需要创建的子进程的时候，会指定M,F,A,如果是simple_one_for_one的策略的话，启动子进程的方式是supervisor:start_child(SupName, OtherArgs),这种方式可以根据调用者的需求传不同的参数给需要启动的子进程的方法。和最初的参数合并成一个数组，A ++ OtherArgs。那么这个时候就有个问题了，既然参数不一致，那