Woople
Woople

Flink Operators 实战高级篇

返回

DataStream Transformations Window

window算子在flink中是非常重要的，要理解window算子首先要明白window的相关机制和原理。本文将从实战的角度讲解api的使用，详细的原理机制建议先阅读官方文档Windows。下面以Tumbling Windows为例讲解一些常见用法。下面基于ProcessingTime的样例都适用于EventTime。

基于ProcessingTime的基本用法

Window Join

定义
Transformation Description
DataStream,DataStream → DataStream Join two data streams on a given key and a common window.
说明

将两个window的数据进行join

样例
代码
public class WindowJoinDemo {
    public static void main(String[] args) throws Exception {
        final StreamExecutionEnvironment env = StreamExecutionEnvironment.createLocalEnvironment();
        env.setParallelism(1);
        DataStream> orangeStream = env.addSource(new DataSource());
        DataStream> greenStream = env.addSource(new DataSource());
        DataStream> joinedStream = runWindowJoin(orangeStream, greenStream, 5);
        joinedStream.print("join");
        env.execute("Windowed Join Demo");
    }

    public static DataStream> runWindowJoin(
            DataStream> grades,
            DataStream> salaries,
            long windowSize) {

        return grades.join(salaries)
                .where(new NameKeySelector())
                .equalTo(new NameKeySelector())
                .window(TumblingProcessingTimeWindows.of(Time.seconds(windowSize)))
                .apply(new JoinFunction, Tuple2, Tuple3>() {

                    @Override
                    public Tuple3 join(
                            Tuple2 first,
                            Tuple2 second) {
                        return new Tuple3(first.f0, first.f1, second.f1);
                    }
                });
    }

    private static class NameKeySelector implements KeySelector, String> {
        @Override
        public String getKey(Tuple2 value) {
            return value.f0;
        }
    }

    private static class DataSource extends RichParallelSourceFunction> {
        private volatile boolean running = true;

        @Override
        public void run(SourceContext> ctx) throws Exception {
            int bound = 50;
            String[] keys = new String[]{"foo", "bar", "baz"};

            final long numElements = RandomUtils.nextLong(10, 20);
            int i = 0;
            while (running && i < numElements) {
                Thread.sleep(RandomUtils.nextLong(1, 5) * 1000L);
                Tuple2 data = new Tuple2<>(keys[RandomUtils.nextInt(0, 3)], RandomUtils.nextInt(0, bound));
                ctx.collect(data);
                System.out.println(Thread.currentThread().getId() + "-sand data:" + data);
                i++;
            }
        }

        @Override
        public void cancel() {
            running = false;
        }
    }
}
输出结果
59-sand data:(bar,49)
58-sand data:(bar,44)
58-sand data:(foo,2)
59-sand data:(baz,34)
58-sand data:(baz,2)
59-sand data:(baz,29)
join> (baz,34,2)
join> (baz,29,2)
说明

两条流里面的数据类型都是Tuple2，随机生成一些数据，窗口大小设置为5秒，根据两个流数据中的key进行join

Window CoGroup

定义
Transformation Description
DataStream,DataStream → DataStream Cogroups two data streams on a given key and a common window.
说明

coGroup方法的是用与上面join方法类似，不同的地方在于coGroup方法可以拿到两个窗口的所有数据，所以可以实现更多的场景，例如join就相当于coGroup的特例，也就是两个窗口的数据集根据key取交集。

样例
代码
public class WindowCoGroupDemo {
    public static void main(String[] args) throws Exception {
        final StreamExecutionEnvironment env = StreamExecutionEnvironment.createLocalEnvironment();
        env.setParallelism(1);

        DataStream> orangeStream = env.addSource(new DataSource());
        DataStream> greenStream = env.addSource(new DataSource());

        DataStream> joinedStream = runWindowCoGroup(orangeStream, greenStream, 10);

        joinedStream.print();

        env.execute("Windowed CoGroup Demo");
    }

    public static DataStream> runWindowCoGroup(
            DataStream> orangeStream,
            DataStream> greenStream,
            long windowSize) {

        return orangeStream.coGroup(greenStream)
                .where(new NameKeySelector())
                .equalTo(new NameKeySelector())
                .window(TumblingProcessingTimeWindows.of(Time.seconds(windowSize)))
                .apply(new Join());
    }

    private static class Join implements CoGroupFunction, Tuple2, Tuple3>{

        @Override
        public void coGroup(Iterable> first, Iterable> second, Collector> out) throws Exception {
            first.forEach(x -> {
                second.forEach(y -> {
                    if (x.f0.equals(y.f0)){
                        out.collect(new Tuple3<>(x.f0, x.f1, y.f1));
                    }
                });
            });
        }
    }

    private static class NameKeySelector implements KeySelector, String> {
        @Override
        public String getKey(Tuple2 value) {
            return value.f0;
        }
    }

    private static class DataSource extends RichParallelSourceFunction> {
        private volatile boolean running = true;

        @Override
        public void run(SourceContext> ctx) throws Exception {
            int bound = 50;
            String[] keys = new String[]{"foo", "bar", "baz"};

            final long numElements = RandomUtils.nextLong(10, 20);
            int i = 0;
            while (running && i < numElements) {
                Thread.sleep(RandomUtils.nextLong(1, 5) * 1000L);
                Tuple2 data = new Tuple2<>(keys[RandomUtils.nextInt(0, 3)], RandomUtils.nextInt(0, bound));
                ctx.collect(data);
                System.out.println(Thread.currentThread().getId() + "-sand data:" + data);
                i++;
            }
        }

        @Override
        public void cancel() {
            running = false;
        }
    }
}
输出结果
59-sand data:(baz,4)
59-sand data:(foo,48)
57-sand data:(foo,34)
57-sand data:(foo,40)
59-sand data:(baz,24)
59-sand data:(bar,1)
57-sand data:(bar,22)
57-sand data:(bar,41)
(bar,1,22)
(bar,1,41)
(foo,48,34)
(foo,48,40)
说明

样例中对两个窗口的数据进行了类似join的计算

基于EventTime的基本用法

EventTime&Watermark

样例
代码
public class EventTimeWindowDemo {
    public static void main(String[] args) throws Exception {
        final StreamExecutionEnvironment env = StreamExecutionEnvironment.createLocalEnvironment();
        env.setParallelism(1);
        env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);

        DataStream> orangeStream = env.addSource(new DataSource("orangeStream"))
                .assignTimestampsAndWatermarks(new BoundedOutOfOrdernessGenerator());

        orangeStream.keyBy(0)
                .window(TumblingEventTimeWindows.of(Time.seconds(30)))
                .apply(new WindowFunction, Object, Tuple, TimeWindow>() {
                    @Override
                    public void apply(Tuple tuple, TimeWindow window, Iterable> input, Collector out) throws Exception {
                        System.out.println(window.toString());
                        out.collect(input);
                    }
                }).name("EventTimeWindow").print("out");

        env.execute("EventTime Demo");
    }

    private static class DataSource extends RichParallelSourceFunction> {

        private volatile boolean running = true;
        private volatile String name;

        public DataSource(String name) {
            this.name = name;
        }

        @Override
        public void run(SourceContext> ctx) throws Exception {
            Random random = new Random();
            int bound = 100;
            final long numElements = 10;
            int i = 0;

            while (running && i < numElements) {
                Thread.sleep(1500);
                Tuple3 data = new Tuple3<>("foo", random.nextInt(bound), getRandomInt(i*10, 60+i*10));
                ctx.collect(data);
                System.out.println(Thread.currentThread().getId() + "-" + this.name + "-sand data:" + data);
                i++;
            }
            Thread.sleep(5000);
        }

        @Override
        public void cancel() {
            running = false;
        }

        private long getRandomInt(int min, int max){
            return 1573441860000L + 1000* RandomUtils.nextInt(min, max);
        }
    }

    private static class BoundedOutOfOrdernessGenerator implements AssignerWithPeriodicWatermarks> {
        private final long maxOutOfOrderness = 10000;
        private long currentMaxTimestamp;

        @Override
        public long extractTimestamp(Tuple3 row, long previousElementTimestamp) {
            long timestamp = row.f2;
            currentMaxTimestamp = Math.max(timestamp, currentMaxTimestamp);
            System.out.println(Thread.currentThread().getId() + "-" + row + ",time="+stampToDate(row.f2.toString()) + ",watermark=" + stampToDate(String.valueOf(currentMaxTimestamp - maxOutOfOrderness)));
            return timestamp;
        }

        @Override
        public Watermark getCurrentWatermark() {
            return new Watermark(currentMaxTimestamp - maxOutOfOrderness);
        }

        private static String stampToDate(String s) {
            String res;
            SimpleDateFormat simpleDateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
            long lt = new Long(s);
            Date date = new Date(lt);
            res = simpleDateFormat.format(date);
            return res;
        }
    }
}
 
 
输出结果
 
 
 
  
 
   
  
   
 
  
 
  

    结果演示 
  
 
 
 
 
说明
 
 
     
  
  1. 时间窗口设置为30s
    2.  
  
  2. watermark的计算公式为当前最大时间戳减去10s，也就是最大可容忍延迟10s的数据
    3.  
  
  3. 默认采用的是EventTimeTrigger，下面是触发窗口计算的公式，其中window.maxTimestamp()返回的是窗口结束时间-1毫秒 
    4.  
 
 
 
    @Override
    public TriggerResult onElement(Object element, long timestamp, TimeWindow window, TriggerContext ctx) throws Exception {
        if (window.maxTimestamp() <= ctx.getCurrentWatermark()) {
            // if the watermark is already past the window fire immediately
            return TriggerResult.FIRE;
        } else {
            ctx.registerEventTimeTimer(window.maxTimestamp());
            return TriggerResult.CONTINUE;
        }
    }

 
 
Interval Join
 
 
定义
 
 
 
   
   
 
    Transformation 
    Description 
   
 
   
   
   
 
    KeyedStream,KeyedStream → DataStream 
    Join two elements e1 and e2 of two keyed streams with a common key over a given time interval, so that e1.timestamp + lowerBound <= e2.timestamp <= e1.timestamp + upperBound 
   
 
   
 
 
 
说明
 
 
     
  
  1. 这个算子只支持EventTime
    2.  
  
  2.  
    下图为这个算子的基本原理，watermark是对单个流中数据允许迟到多久进行控制的一个机制，而两个流进行join，就会涉及到两条流中的窗口是否同步的问题，这样就要考虑流和流之间的窗口存在延迟的情况，也就是between要指定的时间
     
     
   
     
    
     
     
     
      Flink Operators 实战高级篇_第1张图片 
     
     
    
     
    
     
   
     
     
    3.  
  
  3.  
    上面介绍的Window Join算子(如下图)是基于两个相同时间窗口内所有数据的inner join；而Interval Join是以每个元素为视角，一条流中的元素去另一条流中查找key相同的元素，并且两个元素的时间戳要满足a.timestamp + lowerBound <= b.timestamp <= a.timestamp + upperBound
     
     
   
     
    
     
     
     
      Flink Operators 实战高级篇_第2张图片 
     
     
    
     
    
     
   
     
     
    4.  
 
 
 
样例
 
 
代码
 
 
public class IntervalJoinDemo {
    public static void main(String[] args) throws Exception {
        final StreamExecutionEnvironment env = StreamExecutionEnvironment.createLocalEnvironment();
        env.setParallelism(1);
        //Time-bounded stream joins are only supported in event time
        env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);

        DataStream> orangeStream = env.addSource(new DataSource("orangeStream")).assignTimestampsAndWatermarks(new BoundedOutOfOrdernessGenerator());
        DataStream> greenStream = env.addSource(new DataSource("greenStream")).assignTimestampsAndWatermarks(new BoundedOutOfOrdernessGenerator());

        orangeStream
                .keyBy(0)
                .intervalJoin(greenStream.keyBy(0))
                .between(Time.seconds(-5), Time.seconds(5))
                .process(new ProcessJoinFunction, Tuple3, Object>() {
                    @Override
                    public void processElement(Tuple3 left, Tuple3 right, Context ctx, Collector out) throws Exception {
                        out.collect(new Tuple5<>(left.f0, left.f1, left.f2, right.f1, right.f2));
                    }
                }).name("intervalJoin").print("xxxxxx");

        env.execute("Interval Join Demo");
    }

    private static class DataSource extends RichParallelSourceFunction> {

        private volatile boolean running = true;
        private volatile String name;

        public DataSource(String name) {
            this.name = name;
        }

        @Override
        public void run(SourceContext> ctx) throws Exception {
            Random random = new Random();
            int bound = 100;
            Tuple3[] data = new Tuple3[]{
                    new Tuple3<>("foo", random.nextInt(bound), getRandomInt(50, 70)), new Tuple3<>("foo", random.nextInt(bound),  getRandomInt(40, 60))};
            final long numElements = data.length;
            int i = 0;
            while (running && i < numElements) {
                Thread.sleep(RandomUtils.nextLong(1, 5) * 1000L);
                ctx.collect(data[i]);
                System.out.println(Thread.currentThread().getId() + "-" + this.name + "-sand data:" + data[i]);
                i++;
            }
        }

        @Override
        public void cancel() {
            running = false;
        }

        private long getRandomInt(int min, int max){
            return 1573441870000L + 1000*(new Random().nextInt(max-min+1)+min);
        }
    }

    private static class BoundedOutOfOrdernessGenerator implements AssignerWithPeriodicWatermarks> {

        private final long maxOutOfOrderness = 10000;

        private long currentMaxTimestamp;

        @Override
        public long extractTimestamp(Tuple3 row, long previousElementTimestamp) {
            System.out.println(Thread.currentThread().getId() + "-" + row + ",time="+stampToDate(row.f2.toString()));
            long timestamp = row.f2;
            currentMaxTimestamp = Math.max(timestamp, currentMaxTimestamp);
            System.out.println(Thread.currentThread().getId() + "-watermark:" + stampToDate(String.valueOf(currentMaxTimestamp - maxOutOfOrderness)));
            return timestamp;
        }

        @Override
        public Watermark getCurrentWatermark() {
            return new Watermark(currentMaxTimestamp - maxOutOfOrderness);
        }

        private static String stampToDate(String s) {
            String res;
            SimpleDateFormat simpleDateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
            long lt = new Long(s);
            Date date = new Date(lt);
            res = simpleDateFormat.format(date);
            return res;
        }
    }
}
 

                            
                        
                    
                    
                    

                    
                    
                    

                
                

                    
                

            
        
    
    

        
你可能感兴趣的:(Flink Operators 实战高级篇)

        

            

                
    
                    
  • Java实战：Spring Boot application.yml配置文件详解
                        web_13233421436
面试学习路线阿里巴巴javaspringboot网络
                        
    本文将详细介绍SpringBootapplication.yml配置文件的使用和配置项。我们将探讨application.yml文件的基本概念，以及如何使用它来配置SpringBoot应用程序的各个方面。此外，我们将通过具体的示例来展示如何配置不同的SpringBoot组件，如数据源、数据库、缓存、邮件服务等。本文适合希望深入了解SpringBoot配置文件的开发者阅读。一、引言在SpringBo
    
                    
    • 
                    
  • 2018移动端“事件交互篇-远程实战开发课程”
                        weixin_44215351

                        
    课程目录:1-移动端event相关问题2-touchEvent和滑屏3-滑屏的幻灯片（一）4-滑屏的幻灯片（二）5-移动端适配6-移动端布局注意事项7-音悦台布局8-显示隐藏的菜单和缓冲导航9-导航的缓冲和回弹动画10-滑屏选项卡上11-滑动选项卡12-3D（上）13-3D（下）14-百分比布局15-3d桌面切换16-touchEvent和transition的相关问题17-自定义滚动条18-相册
    
                    
    • 
                    
  • Vue CLI 构建移动端购物商城实战
                        凌莫凡

                        
    本文还有配套的精品资源，点击获取简介：本项目通过VueCLI创建一个针对移动端的电商应用，目的是帮助开发者快速构建一个功能齐全、性能优良的在线购物平台。文章详细解析了Vue.js基础、VueCLI3的项目配置、组件化开发、Vuex状态管理、VueRouter路由管理、移动端适配、热重载与开发服务器配置，以及生产环境优化等关键知识点，对于提升Vue.js技能和项目实战经验具有重要价值。1.Vue.j
    
                    
    • 
                    
  • 移动端“事件交互篇-远程实战开发课程”
                        qq_42672664
移动端
                        
    课程目录:1-移动端event相关问题2-touchEvent和滑屏3-滑屏的幻灯片（一）4-滑屏的幻灯片（二）5-移动端适配6-移动端布局注意事项7-音悦台布局8-显示隐藏的菜单和缓冲导航9-导航的缓冲和回弹动画10-滑屏选项卡上11-滑动选项卡12-3D（上）13-3D（下）14-百分比布局15-3d桌面切换16-touchEvent和transition的相关问题17-自定义滚动条18-相册
    
                    
    • 
                    
  • 【商城实战(38)】Spring Boot：从本地事务到分布式事务，商城数据一致性的守护之旅
                        奔跑吧邓邓子
商城实战springboot分布式本地事务分布式事务商城实战
                        
    【商城实战】专栏重磅来袭！这是一份专为开发者与电商从业者打造的超详细指南。从项目基础搭建，运用uniapp、ElementPlus、SpringBoot搭建商城框架，到用户、商品、订单等核心模块开发，再到性能优化、安全加固、多端适配，乃至运营推广策略，102章内容层层递进。无论是想深入钻研技术细节，还是探寻商城运营之道，本专栏都能提供从0到1的系统讲解，助力你打造独具竞争力的电商平台，开启电商实战
    
                    
    • 
                    
  • 【商城实战(37)】Spring Boot配置优化：解锁高效商城开发密码
                        奔跑吧邓邓子
商城实战springboot后端java商城实战配置优化
                        
    【商城实战】专栏重磅来袭！这是一份专为开发者与电商从业者打造的超详细指南。从项目基础搭建，运用uniapp、ElementPlus、SpringBoot搭建商城框架，到用户、商品、订单等核心模块开发，再到性能优化、安全加固、多端适配，乃至运营推广策略，102章内容层层递进。无论是想深入钻研技术细节，还是探寻商城运营之道，本专栏都能提供从0到1的系统讲解，助力你打造独具竞争力的电商平台，开启电商实战
    
                    
    • 
                    
  • 【商城实战(36)】UniApp性能飞升秘籍：从渲染到编译的深度优化
                        奔跑吧邓邓子
商城实战uni-app商城实战性能优化
                        
    【商城实战】专栏重磅来袭！这是一份专为开发者与电商从业者打造的超详细指南。从项目基础搭建，运用uniapp、ElementPlus、SpringBoot搭建商城框架，到用户、商品、订单等核心模块开发，再到性能优化、安全加固、多端适配，乃至运营推广策略，102章内容层层递进。无论是想深入钻研技术细节，还是探寻商城运营之道，本专栏都能提供从0到1的系统讲解，助力你打造独具竞争力的电商平台，开启电商实战
    
                    
    • 
                    
  • PyTorch从入门到精通：探索深度学习新境界
                        lmtealily
深度学习pytorch人工智能
                        
    引言PyTorch作为当前最受欢迎的深度学习框架之一，凭借其动态计算图的独特设计和与Python生态的无缝集成，正重塑着人工智能开发的新范式1。从NVIDIA的研究实践到Meta的产业应用，PyTorch的价值已渗透至学术研究、工业部署的每个角落。本文将带领您从张量操作基础开始，逐步探索GPU加速、动态图机制、框架生态集成等高级主题，最终实现理论与实战的双重突破。一、PyTorch核心基础构建1.
    
                    
    • 
                    
  • 【使用DeepSeek辅助Python接口性能自动化测试教程-实战教程】
                        生活De°咸鱼
AIGCpython开发语言AI编程
                        
    使用DeepSeek辅助Python接口性能自动化测试教程一、准备工作（一）安装Python（二）安装相关库（三）获取DeepSeekAPIKey二、调用DeepSeek生成测试用例思路（一）代码实现（二）代码解释三、编写性能测试代码（一）代码实现（二）代码解释四、执行测试并分析结果（一）执行测试（二）分析结果一、准备工作（一）安装Python确保你已安装Python3.8或更高版本。若未安装，可
    
                    
    • 
                    
  • Linux 命令学习记录
                        hxung
面试学习使用linux学习运维
                        
    Linux命令详解与进阶指南Linux是一种广泛使用的开源操作系统，掌握Linux命令是开发者和系统管理员的必备技能。本文将详细介绍Linux的常用命令，并涵盖一些高级进阶技巧，帮助你更高效地使用Linux。目录基础命令文件与目录操作文本处理系统信息权限管理进阶命令进程管理网络操作磁盘管理Shell脚本高级技巧管道与重定向正则表达式任务调度性能监控案例实战日志分析自动化部署服务器监控基础命令文件与
    
                    
    • 
                    
  • 【大模型实战篇】对比包括QwQ-32B在内的不同推理模型的吞吐量表现
                        源泉的小广场
大模型推理模型性能对比推理吞吐量生成吞吐量qwq推理模型大模型vllm
                        
    因为项目对推理模型的性能有比较高的要求，因此对目前一些主流的推理模型做了对比，包括QwQ-32B、QwQ-32B-GPTQ-INT4、QwQ-32B-GPTQ-INT8、Light-R1-14B-DS进行了吞吐量的对比实验。实验采用A800机器，测试双卡部署以及四卡部署的模式，推理框架采用vllm，关于部署的细节参考《vllm本地部署阿里最新的QwQ-32B推理模型》。模型参数链接如下：模型名称参
    
                    
    • 
                    
  • Go+Vue通用后台管理项目实战 - 带源码课件 6v6-博客网
                        6v6-博客
golangvue.js开发语言
                        
    Go+Vue通用后台管理项目实战-带源码课件课程描述本课程从0到1搭建前后端项目，帮助学员掌握Go+Vue开发前后端分离项目的能力。通过实战项目，学员将学习到如何设计系统架构、实现核心功能模块，并最终完成一个完整的后台管理系统。课程亮点前后端分离：基于Go语言后端和Vue前端，实现高效开发模式。实战项目：通过完整项目实战，掌握从需求分析到部署上线的全流程。源码提供：附带完整源码，方便学员学习和二次
    
                    
    • 
                    
  • 【模块化编程】数据标签 转 独热编码
                        十二月的猫
pytorch人工智能科研与代码
                        
    个人主页：十二月的猫-CSDN博客系列专栏：《PyTorch科研加速指南：即插即用式模块开发》-CSDN博客十二月的寒冬阻挡不了春天的脚步，十二点的黑夜遮蔽不住黎明的曙光目录1.前言2.标签转独热编码函数2.1完整函数2.2函数功能解释3.实战示例4.总结1.前言《Python/PyTorch极简课》专栏持续更新中，未来最少文章数量为100篇。由于专栏刚刚建立，目前免费，后续将慢慢恢复原价至99.
    
                    
    • 
                    
  • 深入理解Spring Boot：构建高效企业应用的利器
                        人间忽晚..
springboot后端java
                        
    深入理解SpringBoot：构建高效企业应用的利器在快速发展的软件开发领域，快速迭代、高效开发和易于维护成为了开发者们追求的目标。SpringBoot，作为Spring家族的一员，凭借其“约定优于配置”的理念，极大地简化了Spring应用的初始搭建以及开发过程，成为了构建微服务架构和快速开发企业级应用的首选框架。本文将带你深入理解SpringBoot，从基础概念到实战应用，全面剖析其魅力所在。一
    
                    
    • 
                    
  • 《零代码调用最强开源模型DeepSeek-Lite：15分钟实战案例解析》
                        煜bart
人工智能
                        
    一、突破性技术揭秘DeepSeek-Lite-16K作为当前中文开源模型的性能冠军，在CLUE评测中超越GPT-4的表现令人震惊。该模型采用独特的动态窗口技术，支持最大16ktokens的上下文处理能力，在智能客服、法律文书处理、医疗诊断等场景展现惊人潜力。##二、三步极速接入指南```python#实战代码片段（基于HuggingFace平台）fromtransformersimportAuto
    
                    
    • 
                    
  • 【商城实战(23)】筑牢安全防线，防范常见漏洞
                        奔跑吧邓邓子
商城实战安全商城实战uniappSpringBootElementplusSQL注入CSRF
                        
    【商城实战】专栏重磅来袭！这是一份专为开发者与电商从业者打造的超详细指南。从项目基础搭建，运用uniapp、ElementPlus、SpringBoot搭建商城框架，到用户、商品、订单等核心模块开发，再到性能优化、安全加固、多端适配，乃至运营推广策略，102章内容层层递进。无论是想深入钻研技术细节，还是探寻商城运营之道，本专栏都能提供从0到1的系统讲解，助力你打造独具竞争力的电商平台，开启电商实战
    
                    
    • 
                    
  • 数据分析面试全攻略：项目经验篇
                        代码CC
数据分析（包括各种面试题）数据分析面试python
                        
    引言：为什么项目经验是数据分析面试的“敲门砖”？在数据分析岗位的面试中，项目经验是最核心的竞争力证明。HR视角：80%的面试官会通过项目细节判断候选人的真实能力技术视角：项目是数据清洗、建模分析、业务落地的综合体现误区警示：单纯罗列工具名称（如Python/SQL）≠具备实战能力本文将系统讲解如何用STAR法则包装项目、如何选择高含金量数据集、以及如何通过和鲸社区快速积累实战经验。文末提供10个可
    
                    
    • 
                    
  • SpringBoot实战系列之发送短信验证码
                        m0_67401660
面试学习路线阿里巴巴android前端后端
                        
    大家好，我是??大二在读作业侠系列最新文章??Java实现聊天程序SpringBoot实战系列??SpringBoot实战系列之发送短信验证码一起刷算法与数据结构最新文章??一起刷算法与数据结构-树篇1环境搭建大集合环境搭建大集合(持续更新）内容速览:1.短信验证码平台选择考虑点2.短信平台3.实战发送短信验证码1.短信验证码平台选择考虑点各个类型短信价格短信到达率、到达时间短信内容变量灵活，便持
    
                    
    • 
                    
  • Spring Security 6.4登录全览：机制、特性、实战与优化
                        古龙飞扬
java前端数据库
                        
    一、登录机制SpringSecurity的登录机制是其安全框架的核心部分，它提供了一种灵活且强大的方式来保护应用程序的资源。在SpringSecurity6.4中，登录机制主要包括以下几个方面：认证流程：用户通过登录表单提交用户名和密码。SpringSecurity的UsernamePasswordAuthenticationFilter拦截该请求，并从中提取用户名和密码。创建一个Username
    
                    
    • 
                    
  • Git版本控制实战指南：从入门到高效协作
                        蜡笔小新星
git后端
                        
    文章目录Git版本控制实战指南：从入门到高效协作一、Git核心概念解析二、环境搭建与配置1.安装Git（Windows示例）2.基础配置（必须）三、Git实战全流程演示1.项目初始化2.文件生命周期管理3.提交与历史查看四、分支管理实战1.功能分支开发2.合并与冲突解决五、远程协作流程1.连接远程仓库2.团队协作规范六、高级技巧提升效率1.重写提交历史2.紧急修复流程3.定制化配置七、企业级最佳实
    
                    
    • 
                    
  • 敏捷开发在中小团队中的应用与挑战：实战指南与避坑手册
                        蜡笔小新星
敏捷流程开发语言经验分享
                        
    文章目录敏捷开发在中小团队中的应用与挑战：实战指南与避坑手册引言：为什么中小团队更需要敏捷？一、敏捷开发适配中小团队的底层逻辑1.1中小团队的典型特征1.2敏捷开发的价值放大器效应二、敏捷实施的五大实战步骤2.1团队定制化改造（关键！）2.2轻量级工具链搭建2.3迭代节奏控制技巧2.4可视化管理的艺术2.5持续改进机制三、必须跨越的四大死亡陷阱3.1需求镀金综合症3.2站会僵尸化3.3技术债雪球效
    
                    
    • 
                    
  • DevOps实践：持续集成与持续部署完全指南
                        蜡笔小新星
devopsci/cd运维开发语言经验分享
                        
    文章目录引言：从人工到自动化的进化革命一、CI/CD核心认知升级1.1持续集成vs持续部署vs持续交付1.2中小团队为什么要实施CI/CD？二、CI/CD工具链选型指南2.1中小团队推荐技术栈2.2工具对比决策矩阵三、实战五步构建企业级流水线3.1基础环境搭建（以K8s为例）3.2代码质量门禁配置3.3容器化构建最佳实践3.4自动化部署策略3.5智能回滚机制四、三大致命陷阱与破解之道4.1流水线变
    
                    
    • 
                    
  • Spring Cloud Security 实战，退出登录时如何借助外力使JWT令牌失效？
                        敲代码的程序狗
Java程序员java程序员springcloudspring
                        
    今天这篇文章介绍一下如何在修改密码、修改权限、注销等场景下使JWT失效。文章的目录如下：解决方案JWT最大的一个优势在于它是无状态的，自身包含了认证鉴权所需要的所有信息，服务器端无需对其存储，从而给服务器减少了存储开销。但是无状态引出的问题也是可想而知的，它无法作废未过期的JWT。举例说明注销场景下，就传统的cookie/session认证机制，只需要把存在服务器端的session删掉就OK了。但
    
                    
    • 
                    
  • SpringBoot2.0实战 | 第二十八章：整合SpringSecurity之前后端分离使用JWT实现登录鉴权
                        死牛胖子
#SpringBootspringBootspringSecurityjwttokenmybatis
                        
    在前面的文章中，我们已经使用token实现前后端分离的系统登录及访问鉴权。第二十四章：整合SpringSecurity之最简登录及方法鉴权第二十五章：整合SpringSecurity之基于数据库实现登录鉴权第二十六章：整合SpringSecurity之前后端分离使用JSON格式交互第二十七章：整合SpringSecurity之前后端分离使用Token实现登录鉴权登录成功后，服务端会生成一个toke
    
                    
    • 
                    
  • Java程序开发之分布式事务终极方案：Seata原理与实战
                        微风不留尘
javajava分布式Seatajava入门
                        
    一、分布式事务挑战与Seata定位1.CAP理论下的事务困境场景一致性要求可用性要求典型方案支付交易强一致性中等SeataAT/TCC订单创建最终一致高消息事务+Saga库存扣减强一致性高TCC+重试补偿2.Seata架构全景图发起全局事务协调分支事务协调分支事务注册分支注册分支全局提交/回滚
    
                    
    • 
                    
  • Java程序开发之Spring Security实战：JWT实现登录鉴权
                        微风不留尘
javajavaspringjava入门springsecurity
                        
    一、JWT与安全认证核心原理1.JWT结构解析Header（头部）{"alg":"HS256","typ":"JWT"}Payload（负载）{"sub":"user123","exp":1680403200,"roles":["USER","ADMIN"]}Signature（签名）HMACSHA256(base64UrlEncode(header)+"."+base64UrlEncode(pa
    
                    
    • 
                    
  • 鸿蒙应用开发（HarmonyOS）自定义装饰器场景
                        你我皆是牛马星人
鸿蒙开发OpenHarmonyHarmonyOSharmonyos华为鸿蒙androidui前端鸿蒙系统
                        
    鸿蒙NEXT开发实战往期必看文章：一分钟了解”纯血版！鸿蒙HarmonyOSNext应用开发！“非常详细的”鸿蒙HarmonyOSNext应用开发学习路线！（从零基础入门到精通）HarmonyOSNEXT应用开发案例实践总结合（持续更新......）HarmonyOSNEXT应用开发性能优化实践总结（持续更新......）介绍本示例介绍通过自定义装饰器在自定义组件中自动添加inspector(布局
    
                    
    • 
                    
  • 【HarmonyOS 鸿蒙实战开发】自定义装饰器
                        CTrup
移动开发HarmonyOS鸿蒙开发harmonyosArkUIArkts装饰器模式组件化鸿蒙开发移动开发
                        
    往期笔录记录：鸿蒙应用开发与鸿蒙系统开发哪个更有前景？嵌入式开发适不适合做鸿蒙南向开发？看完这篇你就了解了~对于大前端开发来说，转鸿蒙开发究竟是福还是祸？鸿蒙岗位需求突增！移动端、PC端、IoT到底该怎么选？记录一场鸿蒙开发岗位面试经历~持续更新中……介绍本示例介绍通过自定义装饰器在自定义组件中自动添加inspector(布局回调)方法并进行调用。效果图预览不涉及使用说明在自定义组件上添加自定义装
    
                    
    • 
                    
  • 如何使用Jsoup提取商品信息：实战指南
                        数据小爬虫@
python爬虫java
                        
    在使用Java进行Web爬虫开发时，Jsoup是一个非常强大的HTML解析库，可以帮助你轻松地提取网页中的数据。本文将详细介绍如何使用Jsoup提取商品信息，包括商品标题、价格、描述和图片链接等。一、环境准备（一）Java开发环境确保你的系统中已安装Java开发环境，推荐使用JDK11或更高版本。（二）安装所需库使用Maven管理项目依赖，主要包括以下库：Jsoup：用于解析HTML内容。在pom
    
                    
    • 
                    
  • 利用Java爬虫根据关键词获取商品列表：实战指南
                        数据小爬虫@
java爬虫开发语言
                        
    在电商领域，通过关键词搜索商品并获取商品列表是常见的需求。本文将详细介绍如何使用Java编写爬虫程序，根据关键词获取商品列表，并确保爬虫行为符合平台规范。为了确保代码的准确性和实用性，我们将提供详细的代码示例和解释。一、环境准备（一）Java开发环境确保你的系统中已安装Java开发环境，推荐使用JDK11或更高版本。（二）安装所需库使用Maven管理项目依赖，主要包括以下库：Jsoup：用于解析H
    
                    
    • 
                                
  • log4j对象改变日志级别
                                    3213213333332132
javalog4jlevellog4j对象名称日志级别
                                    
    log4j对象改变日志级别可批量的改变所有级别，或是根据条件改变日志级别。 
 
log4j配置文件： 
 
 

log4j.rootLogger=ERROR,FILE,CONSOLE,EXECPTION
 
#log4j.appender.FILE=org.apache.log4j.RollingFileAppender
log4j.appender.FILE=org.apache.l
    
                                
    • 
                                
  • elk+redis 搭建nginx日志分析平台
                                    ronin47
elasticsearchkibanalogstash
                                    
                  elk+redis 搭建nginx日志分析平台 
logstash,elasticsearch,kibana 怎么进行nginx的日志分析呢？首先，架构方面，nginx是有日志文件的，它的每个请求的状态等都有日志文件进行记录。其次，需要有个队 列，redis的l
    
                                
    • 
                                
  • Yii2设置时区
                                    dcj3sjt126com
PHPtimezoneyii2
                                    
    时区这东西，在开发的时候，你说重要吧，也还好，毕竟没它也能正常运行，你说不重要吧，那就纠结了。特别是linux系统，都TMD差上几小时，你能不痛苦吗？win还好一点。有一些常规方法，是大家目前都在采用的1、php.ini中的设置，这个就不谈了，2、程序中公用文件里设置，date_default_timezone_set一下时区3、或者。。。自己写时间处理函数，在遇到时间的时候，用这个函数处理（比较
    
                                
    • 
                                
  • js实现前台动态添加文本框，后台获取文本框内容
                                    171815164
文本框
                                    
    

<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://w
    
                                
    • 
                                
  • 持续集成工具
                                    g21121
持续集成
                                    
            持续集成是什么？我们为什么需要持续集成？持续集成带来的好处是什么？什么样的项目需要持续集成？...        持续集成(Continuous integration ,简称CI)，所谓集成可以理解为将互相依赖的工程或模块合并成一个能单独运行
    
                                
    • 
                                
  • 数据结构哈希表(hash)总结
                                    永夜-极光
数据结构
                                    
    1.什么是hash 
来源于百度百科: 
Hash，一般翻译做“散列”，也有直接音译为“哈希”的，就是把任意长度的输入，通过散列算法，变换成固定长度的输出，该输出就是散列值。这种转换是一种压缩映射，也就是，散列值的空间通常远小于输入的空间，不同的输入可能会散列成相同的输出，所以不可能从散列值来唯一的确定输入值。简单的说就是一种将任意长度的消息压缩到某一固定长度的消息摘要的函数。 
  

    
                                
    • 
                                
  • 乱七八糟
                                    程序员是怎么炼成的

                                    
    eclipse中的jvm字节码查看插件地址： 
http://andrei.gmxhome.de/eclipse/ 
安装该地址的outline 插件  后重启，打开window下的view下的bytecode视图 
http://andrei.gmxhome.de/eclipse/ 
  
jvm博客： 
http://yunshen0909.iteye.com/blog/2
    
                                
    • 
                                
  • 职场人伤害了“上司” 怎样弥补
                                    aijuans
职场
                                    
     由于工作中的失误，或者平时不注意自己的言行“伤害”、“得罪”了自己的上司，怎么办呢？ 
　　在职业生涯中这种问题尽量不要发生。下面提供了一些解决问题的建议： 
　　一、利用一些轻松的场合表示对他的尊重 
　　即使是开明的上司也很注重自己的权威，都希望得到下属的尊重，所以当你与上司冲突后，最好让不愉快成为过去，你不妨在一些轻松的场合，比如会餐、联谊活动等，向上司问个好，敬下酒，表示你对对方的尊重，
    
                                
    • 
                                
  • 深入浅出url编码
                                    antonyup_2006
应用服务器浏览器servletweblogicIE
                                    
    出处：http://blog.csdn.net/yzhz  杨争   
http://blog.csdn.net/yzhz/archive/2007/07/03/1676796.aspx 
 
一、问题： 
        编码问题是JAVA初学者在web开发过程中经常会遇到问题，网上也有大量相关的
    
                                
    • 
                                
  • 建表后创建表的约束关系和增加表的字段
                                    百合不是茶
标的约束关系增加表的字段
                                    
      
下面所有的操作都是在表建立后操作的,主要目的就是熟悉sql的约束,约束语句的万能公式 
  
1,增加字段(student表中增加 姓名字段) 
  
alter table 增加字段的表名 add  增加的字段名   增加字段的数据类型

  alter table student add name varchar2(10);
 
  
&nb
    
                                
    • 
                                
  • Uploadify 3.2 参数属性、事件、方法函数详解
                                    bijian1013
JavaScriptuploadify
                                    
    一.属性     
属性名称   
默认值   
说明     
auto   
true   
设置为true当选择文件后就直接上传了，为false需要点击上传按钮才上传。     
buttonClass   
”   
按钮样式     
buttonCursor   
‘hand’   
鼠标指针悬停在按钮上的样子     
buttonImage   
null   
浏览按钮的图片的路
    
                                
    • 
                                
  • 精通Oracle10编程SQL(16)使用LOB对象
                                    bijian1013
oracle数据库plsql
                                    
    /*
 *使用LOB对象
 */
--LOB(Large Object)是专门用于处理大对象的一种数据类型，其所存放的数据长度可以达到4G字节
--CLOB/NCLOB用于存储大批量字符数据，BLOB用于存储大批量二进制数据，而BFILE则存储着指向OS文件的指针

/*
 *综合实例
 */
--建立表空间 
--#指定区尺寸为128k,如不指定，区尺寸默认为64k 
CR
    
                                
    • 
                                
  • 【Resin一】Resin服务器部署web应用
                                    bit1129
resin
                                    
    工作中，在Resin服务器上部署web应用，通常有如下三种方式： 
  
 
 配置多个web-app 
 配置多个http id 
 为每个应用配置一个propeties、xml以及sh脚本文件 
 配置多个web-app 
  
 
 在resin.xml中,可以为一个host配置多个web-app 
 
  
<cluster id="app&q
    
                                
    • 
                                
  • red5简介及基础知识
                                    白糖_
基础
                                    
      
 
 简介 
 
  
Red5的主要功能和Macromedia公司的FMS类似，提供基于Flash的流媒体服务的一款基于Java的开源流媒体服务器。它由Java语言编写，使用RTMP作为流媒体传输协议，这与FMS完全兼容。它具有流化FLV、MP3文件，实时录制客户端流为FLV文件，共享对象，实时视频播放、Remoting等功能。用Red5替换FMS后,客户端不用更改可正
    
                                
    • 
                                
  • angular.fromJson
                                    boyitech
AngularJSAngularJS 官方APIAngularJS API
                                    
    angular.fromJson   描述:   把Json字符串转为对象    使用方法:   angular.fromJson(json);   参数详解:      Param Type Details   json 
string  
JSON 字符串      返回值:   对象, 数组, 字符串 或者是一个数字   示例:   
<!DOCTYPE HTML>
<h
    
                                
    • 
                                
  • java-颠倒一个句子中的词的顺序。比如： I am a student颠倒后变成：student a am I
                                    bylijinnan
java
                                    
    

public class ReverseWords {

	/**
	 * 题目：颠倒一个句子中的词的顺序。比如： I am a student颠倒后变成：student a am I.词以空格分隔。
	 * 要求：
	 * 1.实现速度最快,移动最少
	 * 2.不能使用String的方法如split,indexOf等等。
	 * 解答：两次翻转。
	 */
	publ
    
                                
    • 
                                
  • web实时通讯
                                    Chen.H
Web浏览器socket脚本
                                    
    关于web实时通讯，做一些监控软件。 
由web服务器组件从消息服务器订阅实时数据，并建立消息服务器到所述web服务器之间的连接，web浏览器利用从所述web服务器下载到web页面的客户端代理与web服务器组件之间的socket连接，建立web浏览器与web服务器之间的持久连接；利用所述客户端代理与web浏览器页面之间的信息交互实现页面本地更新，建立一条从消息服务器到web浏览器页面之间的消息通路
    
                                
    • 
                                
  • [基因与生物]远古生物的基因可以嫁接到现代生物基因组中吗?
                                    comsci
生物
                                    
     
 
      大家仅仅把我说的事情当作一个IT行业的笑话来听吧..没有其它更多的意思 
 
 
    如果我们把大自然看成是一位伟大的程序员,专门为地球上的生态系统编制基因代码,并创造出各种不同的生物来,那么6500万年前的程序员开发的代码,是否兼容现代派的程序员的代码和架构呢? 
 
  
    
                                
    • 
                                
  • oracle 外部表
                                    daizj
oracle外部表external tables
                                    
        oracle外部表是只允许只读访问，不能进行DML操作，不能创建索引，可以对外部表进行的查询，连接，排序，创建视图和创建同义词操作。 
you can select, join, or sort external table data. You can also create views and synonyms for external tables. Ho
    
                                
    • 
                                
  • aop相关的概念及配置
                                    daysinsun
AOP
                                    
    切面(Aspect): 
通常在目标方法执行前后需要执行的方法（如事务、日志、权限），这些方法我们封装到一个类里面，这个类就叫切面。 
 
 
连接点（joinpoint） 
spring里面的连接点指需要切入的方法，通常这个joinpoint可以作为一个参数传入到切面的方法里面（非常有用的一个东西）。 
 
 
通知（Advice） 
通知就是切面里面方法的具体实现，分为前置、后置、最终、异常环
    
                                
    • 
                                
  • 初一上学期难记忆单词背诵第二课
                                    dcj3sjt126com
englishword
                                    
    middle 中间的，中级的 
well 喔，那么；好吧 
phone 电话，电话机 
policeman 警察 
ask 问 
take 拿到；带到 
address 地址 
glad 高兴的，乐意的 
why 为什么  
China 中国 
family 家庭 
grandmother (外)祖母 
grandfather (外)祖父 
wife 妻子 
husband 丈夫 
da
    
                                
    • 
                                
  • Linux日志分析常用命令
                                    dcj3sjt126com
linuxlog
                                    
    1.查看文件内容 
cat 
-n 显示行号 2.分页显示 
more 
Enter 显示下一行 
空格 显示下一页 
F 显示下一屏 
B 显示上一屏 
less 
/get 查询"get"字符串并高亮显示 3.显示文件尾 
tail 
-f 不退出持续显示 
-n 显示文件最后n行 4.显示头文件 
head 
-n 显示文件开始n行 5.内容排序 
sort 
-n 按照
    
                                
    • 
                                
  • JSONP 原理分析
                                    fantasy2005
JavaScriptjsonpjsonp 跨域
                                    
    转自 http://www.nowamagic.net/librarys/veda/detail/224 
JavaScript是一种在Web开发中经常使用的前端动态脚本技术。在JavaScript中，有一个很重要的安全性限制，被称为“Same-Origin Policy”（同源策略）。这一策略对于JavaScript代码能够访问的页面内容做了很重要的限制，即JavaScript只能访问与包含它的
    
                                
    • 
                                
  • 使用connect by进行级联查询
                                    234390216
oracle查询父子Connect by级联
                                    
    使用connect by进行级联查询 
  
       connect by可以用于级联查询，常用于对具有树状结构的记录查询某一节点的所有子孙节点或所有祖辈节点。 
  
       来看一个示例，现假设我们拥有一个菜单表t_menu，其中只有三个字段：
    
                                
    • 
                                
  • 一个不错的能将HTML表格导出为excel,pdf等的jquery插件
                                    jackyrong
jquery插件
                                    
    发现一个老外写的不错的jquery插件，可以实现将HTML 
表格导出为excel,pdf等格式， 
地址在： 
https://github.com/kayalshri/ 
 
下面看个例子，实现导出表格到excel,pdf 
 
 


<html>
			<head>
				<title>Export html table to excel an
    
                                
    • 
                                
  • UI设计中我们为什么需要设计动效
                                    lampcy
UIUI设计
                                    
    关于Unity3D中的Shader的知识 
首先先解释下Unity3D的Shader，Unity里面的Shaders是使用一种叫ShaderLab的语言编写的，它同微软的FX文件或者NVIDIA的CgFX有些类似。传统意义上的vertex shader和pixel shader还是使用标准的Cg/HLSL 编程语言编写的。因此Unity文档里面的Shader，都是指用ShaderLab编写的代码，
    
                                
    • 
                                
  • 如何禁止页面缓存
                                    nannan408
htmljspcache
                                    
    禁止页面使用缓存~ 
------------------------------------------------ 
jsp:页面no cache： 
 
response.setHeader("Pragma","No-cache"); 
response.setHeader("Cache-Control","no-cach
    
                                
    • 
                                
  • 以代码的方式管理quartz定时任务的暂停、重启、删除、添加等
                                    Everyday都不同
定时任务管理spring-quartz
                                    
          【前言】在项目的管理功能中，对定时任务的管理有时会很常见。因为我们不能指望只在配置文件中配置好定时任务就行了，因为如果要控制定时任务的 “暂停” 呢？暂停之后又要在某个时间点 “重启” 该定时任务呢？或者说直接 “删除” 该定时任务呢？要改变某定时任务的触发时间呢？ “添加” 一个定时任务对于系统的使用者而言，是不太现实的，因为一个定时任务的处理逻辑他是不
    
                                
    • 
                                
  • EXT实例
                                    tntxia
ext
                                    
      
（1） 增加一个按钮 
  
JSP: 
  
<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>
<%
String path = request.getContextPath();
Stri
    
                                
    • 
                                
  • 数学学习在计算机研究领域的作用和重要性
                                    xjnine
Math
                                    
    最近一直有师弟师妹和朋友问我数学和研究的关系，研一要去学什么数学课。毕竟在清华，衡量一个研究生最重要的指标之一就是paper,而没有数学，是肯定上不了世界顶级的期刊和会议的，这在计算机学界尤其重要！你会发现，不论哪个领域有价值的东西，都一定离不开数学！在这样一个信息时代，当google已经让世界没有秘密的时候，一种卓越的数学思维，绝对可以成为你的核心竞争力.  无奈本人实在见地
    
                                
    •