Flink源码学习

修炼k8s+flink+hdfs+dlink（七：flinkcdc）

一：flinkcdc官网链接。
宇智波云·2023-11-29 05:34

Flink二阶段提交方式写入MySQL

项目中需要使用Flink消费Kafka中的数据，然后使用事务的方式写入到MySQL里面。
淡定一生2333·2023-11-29 04:28

Flink 之 mysql二阶段提交简述

1.2PC简介两阶段提交（two-phasecommit,2PC）是最基础的分布式一致性协议，应用广泛。在分布式系统中，为了让每个节点都能够感知到其他节点的事务执行状况，需要引入一个中心节点来统一处理所有节点的执行逻辑，这个中心节点叫做协调者（coordinator），被中心节点调度的其他业务节点叫做参与者（participant）。2PC。顾名思义，2PC将分布式事务分成了两个阶段，两个阶段分别
程序猿郭鹏飞神奇经历·2023-11-29 04:58

使用Kafka、Flink、Druid构建实时数据系统架构

但开源领域有一个解决方案：Kafka、Flink和Druid一起使用时，可以创建一个实时数据架构，减少这些等待时间。在这篇文章中，我们将探讨如何利用Kafka、Flink、Druid实现
guohuang·2023-11-28 23:51

Flink 配置详解及如何配置高可用？

在讲解7.2节中如何部署Flink作业之前，希望能够再细讲下Flink中的配置，虽然在2.2节中简单讲解过。
zhisheng_blog·2023-11-28 23:56

Redis源码学习-3-跳表

跳表-skipList文章目录1.跳表和红黑树2.跳表的c++简单实现2.1源码2.2一个普通的跳表2.3查找3.Redis跳表的数据结构3.1跳表节点3.2跳跃表3.3跳表的创建3.4插入跳表节点到跳表中3.5属性解释4.跳表的特有API4.1zslGetRank-获取排位4.2zslGetElementByRank-获取指定排位上的节点文章目录redis.h中的zskiplist结构和zski
patientcat·2023-11-28 22:44

flink集群搭建TaskManagerRunner启动失败

但是就是启动失败并且启动时没有TaskManagerRunner节点启信息：下图为正常启动：有工作节点的启动信息，但是我启动时就遇到这个问题，没有工作节点的启动信息提示问题原因：scp拷贝到其余工作节点的flink
dogplays·2023-11-28 14:03

flink sql 知其所以然（十四）：维表 join 的性能优化之路（上）附源码

1.序篇废话不多说，咱们先直接上本文的目录和结论，小伙伴可以先看结论快速了解博主期望本文能给小伙伴们带来什么帮助：背景及应用场景介绍：博主期望你能了解到，flinksql提供了轻松访问外部存储的lookupjoin
程序员的隐秘角落·2023-11-28 14:08

StarRocks从入门到精通系列六：使用EXPORT、Spark、Flink从StarRocks中导出数据

StarRocks从入门到精通系列六：使用EXPORT、Spark、Flink从StarRocks中导出数据一、使用EXPORT导出数据1.背景信息2.导出流程3.基本原理4.相关配置5.基本操作6.最佳实践二
最笨的羊羊·2023-11-28 11:38

京东：Flink SQL 优化实战

主要内容为：背景FlinkSQL的优化总结Tips：点击「阅读原文」报名参加8.7ApacheFlinkMeetup～GitHub地址欢迎大家给Flink点赞送star~一、背景目前，京东搜索推荐的数据处理流程如上图所示
Apache Flink·2023-11-28 09:00

Flink读取Kafka数据写入Hive

前言本文针对数据库CDC(changedatacapture)场景设计，探讨基于Flink1.12最新版本提供的实时写入Hive的技术可行性，下面为本地IDEA程序案例可供参考。
另存為·2023-11-28 07:15

Apache Doris 整合 FLINK 、 Hudi 构建湖仓一体的联邦查询入门

1.概览多源数据目录（Multi-Catalog）功能，旨在能够更方便对接外部数据目录，以增强Doris的数据湖分析和联邦数据查询能力。在之前的Doris版本中，用户数据只有两个层级：Database和Table。当我们需要连接一个外部数据目录时，我们只能在Database或Table层级进行对接。比如通过createexternaltable的方式创建一个外部数据目录中的表的映射，或通过crea
hf200012·2023-11-28 07:59

IDEA中搭建Tomcat源码学习环境

步骤下载好tomcat源码包，并解压。（本文用的是8.5.35版本）重命名解压后的文件夹。（本文后续称该文件夹为tomcat）tomcat文件夹中添加新的pom.xml文件，文件内容如下：4.0.0com.example.tomcatTomcatTomcat1.0org.apache.maven.pluginsmaven-compiler-plugin2.3UTF-81.81.8junitjuni
CodingLiu·2023-11-28 00:51

HashMap源码学习

1、HashMap继承结构HashMap的UML图如下所示：image以Map键——值映射为基础，java.util提供了HashMap（最常用）、TreeMap、Hashtble、LinkedHashMap等数据结构。衍生的几种Map的主要特点：HashMap：它根据键的hashCode值存储数据，大多数情况下可以直接定位到它的值，因而具有很快的访问速度，但遍历顺序却是不确定的。HashMap最
先弓·2023-11-27 21:07

Flink入门（一）——Apache Flink介绍

fileApacheFlink是什么？在当代数据量激增的时代，各种业务场景都有大量的业务数据产生，对于这些不断产生的数据应该如何进行有效的处理，成为当下大多数公司所面临的问题。
大数据流动·2023-11-27 20:03

flink on yarn集群环境(生产环境使用)

flinkonyarn集群环境(生产环境使用)在一个企业中，为了最大化的利用集群资源，一般都会在一个集群中同时运行多种类型的Workload。
huahailing1024·2023-11-27 20:30

Flink实时流计算入门系列（一）

阿里巴巴双11大屏在峰值期间可以承担每秒超过4.72亿次的访问，这是多高的访问量……为什么学习Flink？
晨冉1688·2023-11-27 17:17

HashMap源码学习

1.产品定位HashMap顾名思义，是拿来存放键值对的(key-valuepair)，就好像花名册一样，班主任上课点同学的名字(相当于key)，就可以找到这个同学是谁(相当于value)。2.适用场景HashMap允许NULL当作value，也允许NULL当作key。HashMap并非线程安全，如果要多线程使用，需要使用者自己额外加锁，保证线程安全性。如果是多线程使用的话，不推荐使用HashMap
bernierayxu·2023-11-27 16:16

Qt Creator 源码学习 02：qtcreator.pro

1、qtcreator项目文件当我们准备好QtCreator的源代码之后，首先进入到它的目录，来看一下它的源代码目录有什么奥秘。这里一共有9个文件夹和9个文件。我们来一一看看它们都是干什么用的。.git:版本控制git的隐藏目录，这与QtCreator代码没有关系。bin:生成Linux平台shell脚本。dist:安装文件配置信息和版本更新记录。doc:生成doxygen文档的配置文件。qbs:
码肥人壮·2023-11-27 14:46

rocketmq消息发送源码学习

消息发送基本流程消息发送流程主要的步骤：验证消息、查找路由、消息发送（包含异常处理机制）。代码：同步消息发送入口DefaultMQProducer#sendpublicSendResultsend(Messagemsg)throwsMQClientException,RemotingException,MQBrokerException,InterruptedException{returnthi
march of Time·2023-11-27 13:24

window性能提升100倍！怎么做到的？

1.背景在时序数据库的业务使用场景中，经常有统计每天的平均值、最大值等需求，我们参照Flink设计在FalconTSDB里引入了Window概念来满足业务需求。
TargetLiu·2023-11-27 12:21

Three.js源码学习（十三）core/Layers

构造器mask=1|0set(channel)enable(channel)toggle(channel)disable(channel)test(layers)
yuriy0_0·2023-11-27 11:21

Java程序员说：世界上有三个伟大的发明【火、轮子、kafka】

在流式计算中，Kafka一般用来缓存数据，例如Flink通过消费Kafka的数据进行计算。关于Kafka，我们最先需要了解的是以下四点：imageApacheKafka是一个开源「消息」系统，由Sc
Java李太白·2023-11-27 08:07

Flink系列（一）数据集类型和数据运算模型

流式：只要数据一直在生产，计算就持续地运行批处理：在预先定义的时间内运行计算，当完成时候释放计算机资源Flink它可以处理有界的数据集，也可以处理无界的数据集，它可以流式的处理数据，也可以批量的处理数据
香山上的麻雀·2023-11-27 08:25

《十堂课学习 Flink SQL》第三章：Flink SQL 环境搭建

本章内容包括安装和配置Flink环境；Flink官方示例代码解读；使用FlinkSQLCLI进行基本查询以及FlinkSQL连接外部数据源。
smile-yan·2023-11-27 07:57

C语言线性表的链式存储（框架）

用一块连续的内存空间线性表的链式存储：不连续的内存空间链表是由一系列的节点组成，每个节点包含两个域，一个是数据域，一个是指针域链表的插入和删除原理单项链表框架的搭建头文件具体的代码如下所示#ifndefLINKLIST_H
qq_45973003·2023-11-27 06:56

开源博客项目Blog .NET Core源码学习（7：FluentValidation使用浅析）

  开源博客项目Blog.NET使用FluentValidation模块定义数据验证项，具体而言，是在App.Application项目中定义验证类，设置验证规则，同时在App.Framwork项目中基于FluentValidation.AspNetCore包设置ASP.NET验证管道自动验证。  App.Application项目中总共定义了六个验证类，使用的都是FluentValidation
gc_2299·2023-11-27 01:52

Flink基础系列9-Flink运行架构

一.Flink运行的四大组件如下图所示，Flink运行的四大组件:image.png1,1作业管理器（JobManager）控制一个应用程序执行的主进程，也就是说，每个应用程序都会被一个不同的JobManager
只是甲·2023-11-27 01:51

flink shuffer partition

flinkdataStreamAPI的shuffle方式有1、均匀分区（随机分区）stream.shuffleShufflePartitioner源码2、负载均衡分区（轮询分区）stream.rebalance
loukey_j·2023-11-27 00:22

记录Windows系统上传文件至虚拟机的方法

1.获取虚拟机的ip地址ifconfig2.于Window系统传输文件至虚拟机打开cmdscpwin文件路径虚拟机ip:需要保存的文件路径示例：scpC:\Work\Flink\flink-1.14.4
黑洞边界·2023-11-26 22:08

Flink 自定义source、sink 是如何起作用的

自从学会自定义source之后，一直都比较好奇，为什么我实现一个*SourceFunction，我自己定义的代码就可以跟Flink很好的整合在一起？
学木·2023-11-26 20:27

Mybatis源码学习之路三反射模块核心类Reflector类详解

前言：Reflector是Mybatis中反射模块的基础，每个Reflector对象都对应一个类，而Reflector中缓存了反射操作需要使用的类的原信息本片博客详解了下Reflector中各个方法是如何将属性中所需的信息进行填充的，代码中都写入的比较详细的注释Reflector类解析：类成员变量解析：//对应的Class类型privatefinalClasstype;//可读属性的名称集合，可读
wuxiaohao1128·2023-11-26 19:55

Mybatis 源码学习(2)-反射工具（Reflector）

历史文章：Mybatis源码学习(1)-解析器模块由于JDK提供的反射机制过于复杂，因此Mybatis对常用的反射机制做了封装，以简化反射API，这部分封装代码在org.apache.ibatis.reflection
凉茶方便面·2023-11-26 19:49

mybatis源码学习------Reflector类

Reflector简介Reflector反射器，每个Reflector对象对应一个类，该对象会缓存反射操作所需要的类元信息，便于后续反射操作。Reflector的类注释如下(难得作者心情好，写了两行注释)：Thisclassrepresentsacachedsetofclassdefinitioninformationthatallowsforeasymappingbetweenpropertyn
A股慈善家·2023-11-26 19:47

MyBatis反射模块

MyBatis源码学习系列文章目录文章目录前言MyBatis反射模块SystemMetaObject使用说明1.获取元数据对象2.通过MetaObject对象设置属性值3.通过MetaObject对象获取属性值总结前言
lang20150928·2023-11-26 19:14

源码学习：smallchat

源码：https://github.com/antirez/smallchat可用于学习网络通信，源码很小。考虑先基于第一版进行分析：https://github.com/antirez/smallchat/blob/Episode-1/smallchat.c先给出readme文件的翻译：SmallchatTLDR:这只是一个我为几位朋友提供的编程示例。我上传了一个视频到我的YouTube频道，放
御风@户外·2023-11-26 14:29

2023年全国职业院校技能大赛-赛题第01套-GZ033 大数据应用开发

离线数据处理（25分）子任务一：数据抽取子任务二：数据清洗子任务三：指标计算任务C：数据挖掘（10分）子任务一：特征工程子任务二：推荐系统任务D：数据采集与实时计算（20分）子任务一：实时数据采集子任务二：使用Flink
你可知这世上再难遇我·2023-11-26 13:48

Spring 源码学习(十) Spring mvc

spring系列转载自掘金VipAugushttps://juejin.cn/user/2348212565601415/posts经过前面的AOP（面向切面编程）和Transaction（事务管理），这次来到了MVC（Web应用，进行请求分发和处理）SpringMVC定义：分离了控制器（Controller）、模型（Model）、分配器（Adapter）、视图（View）和处理程序对象（Hand
带鱼真好吃·2023-11-26 12:48

Android虚拟机线程启动过程解析, 获取Java线程真实线程Id的方式

本文是对ART虚拟机Java线程创建过程源码学习的一个总
卓修武·2023-11-26 10:44

Flink SQL空闲状态保留时间（idle state retention time）实现原理

前言如果要列举FlinkSQL新手有可能犯的错误，笔者认为其中之一就是忘记设置空闲状态保留时间导致状态爆炸。2021年的第一篇技术文，时间很紧张，聊聊这个简单的话题吧。
LittleMagic·2023-11-26 10:31

漫谈实时数仓架构

第三个分水岭是从全到简，以Flink为代表的支持窗口计算的流
晓阳的数据小站·2023-11-26 08:39

【OpenGauss源码学习 —— 执行算子（Merge Join 算子）】

执行算子（MergeJoin算子）连接算子MergeJoin算子ExecInitMergeJoin函数MergeJoin结构体ExecMergeJoin函数MergeJoinState结构体ExecEndMergeJoin函数总结声明：本文的部分内容参考了他人的文章。在编写过程中，我们尊重他人的知识产权和学术成果，力求遵循合理使用原则，并在适用的情况下注明引用来源。本文主要参考了OpenGauss
J.Kuchiki·2023-11-26 06:38

Flink Window

1.window概述streaming流式计算是一种被设计用于处理无限数据集的数据处理引擎，而无限数据集是指一种不断增长的本质上无限的数据集Window窗口就在一个无界流中设置起始位置和终止位置，让无界流变成有界流，并且在有界流中进行数据处理Window操作常见的业务场景：统计过去一段时间、最近一些元素的数据指标2.window窗口的类型2.1根据数据流是否keyBy划分KeyedvsNon-Ke
shenjianyu_rex·2023-11-26 05:12

1.20_Flink的Window全面解析\Keyed Windows\Window Assigners\Tumbling,Sliding,Session,Global,Window Function

1.20.透过窗口看无限数据流----Flink的Window全面解析1.20.1.QuickStart1.20.1.1.是什么？1.20.1.2.如何用？
涂作权的博客·2023-11-26 05:12

Flink时间语义和Flink Window

Flink时间语义和FlinkWindow1、Flink时间语义1.1EventTime事件时间1.2IngestionTime进入时间1.3ProcessingTime处理时间1.4设置时间标准1.5
Tate小白·2023-11-26 05:11

Flink 原理与实现：Window 机制

Flink认为Batch是Streaming的一个特例，所以Flink底层引擎是一个流式引擎，在上面实现了流处理和批处理。而窗口（window）就是从Streaming到Batch的一个桥梁。
pengjunlee·2023-11-26 05:10

6、Flink四大基石之Window详解与详细示例（一）

Flink系列文章1、Flink1.12.7或1.13.5详细介绍及本地安装部署、验证2、Flink1.13.5二种部署方式(Standalone、StandaloneHA)、四种提交任务方式（前两种及
一瓢一瓢的饮 alanchan·2023-11-26 05:40

5、Flink窗口机制

1引言1.1KeyedWindow1.2Non-KeyedWindow2WindowAssigner2.1TumblingWindow2.2SlidingWindow2.3SessionWindow2.4GlobalWindow3Trigger4Evictor5WindowFunction6window的实现7window源码分析1引言根据作用的数据流(DataStream、KeyedStream
江城子v3·2023-11-26 05:40

彻底搞清Flink中的Window（Flink版本1.8）

flink-window窗口在流处理应用中，数据是连续不断的，因此我们不可能等到所有数据都到了才开始处理。
create17·2023-11-26 05:09

GlobalWindow和Evictor的常用组合使用

背景在平时的flink开发中，一旦我们使用到GlobalWindow，那么肯定也就意味着会搭配Evictor以及Tigger一起使用，只有这样才能触发窗口处理函数并且窗口内的元素数量限定在特定的范围内GlobalWindow
lixia0417mul2·2023-11-26 05:08
上一页 32 33 34 35 36 37 38 39 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他