flink源码分析

【Flink】:No operators defined in streaming topology. Cannot execute.

在运行Flink的时候出现如下问题Exceptioninthread"main"java.lang.IllegalStateException:Nooperatorsdefinedinstreamingtopology.Cannotexecute.atorg.apache.flink.streaming.api.environment.StreamExecutionEnvironment.getS
一杯咖啡半杯糖·2024-02-07 06:42

【Flink】SQL-CLIENT中出现 Could not find any factory for identifier ‘kafka‘

在Flink的sql-client客户端中执行sql代码时出现如下错误，版本Flink1.13.6[ERROR]CouldnotexecuteSQLstatement.Reason:org.apache.flink.table.api.ValidationException
一杯咖啡半杯糖·2024-02-07 06:40

【Flink】FlinkSQL实现数据从Kafka到MySQL

简介未来Flink通用化，代码可能就会转换为sql进行执行，大数据开发工程师研发Flink会基于各个公司的大数据平台或者通用的大数据平台，去提交FlinkSQL实现任务，学习Flinksql势在必行。
一杯咖啡半杯糖·2024-02-07 06:39

Zeppelin结合Flink查询hudi数据

目前ApacheZeppelin支持ApacheSpark、ApacheFlink、Python、R、JDBC、
BigDataToAI·2024-02-07 05:38

通过 docker-compose 部署 Flink

概要通过docker-compose以SessionMode部署flink前置依赖Docker、docker-composeflink客户端docker-compose.ymlversion:"2.2"
xchenhao·2024-02-07 05:53

Golang context 万字解析实现原理

Golang：context基于go1.21版本Context是什么Context的功能应用场景源码分析1.10Context核心结构1.1Err错误2.1emptyCtx3.1Background()
Go 的学习之路·2024-02-07 04:02

RocketMQ源码分析（四）消息的发送

消息发送的主要步骤为：验证消息，查找路由，消息发送（包含异常机制处理）我们以DefaultMQProducer#send为切入口：以下代码为验证消息publicSendResultsend(Messagemsg)throwsMQClientException,RemotingException,MQBrokerException,InterruptedException{//校验消息（主要是长度是
甘_·2024-02-07 04:01

muduo-net 源码分析（七）——TcpServer 和 TcpConnection（二）

先序这一节我们将继续完善TcpServer和TCPConnection类，并且解决上一节思考的问题【一定要理清思路】；TcpServer源码分析重要的变量ConnectionCallbackconnectionCallback
cyjiayou·2024-02-07 03:02

Java Character源码剖析

下面结合源码分析Character的贡献。Unicode也许你没听过Unicode，但应该见过UTF-8。
洒水水儿·2024-02-07 02:54

Apache Log4j2 漏洞原理

经验证，ApacheStruts2、ApacheSolr、ApacheDruid、ApacheFlink等众多组件与大型应用均受影响2.影响版本ApacheLog4j2.x<=2.14.13.漏
仲瑿·2024-02-07 01:55

libevent源码分析（2）－－2.1.8－－结构体 struct event和struct event_callback

一、event_callback结构体structevent_callback{//下一个回调事件TAILQ_ENTRY(event_callback)evcb_active_next;//回调事件的状态标识，具体为：//#defineEVLIST_TIMEOUT0x01//event在time堆中，min_heap//#defineEVLIST_INSERTED0x02//event在已注册事件
录事参军·2024-02-07 01:18

Libevent源码分析-----与event相关的一些函数和操作

Libevent提供了一些与event相关的操作函数和操作。本文就重点讲一下这方面的源代码。在Libevent中，无论是event还是event_base，都是使用指针而不会使用变量。实际上，如果查看Libevent不同的版本，就可以发现event和event_base这两个结构体的成员是不同的。对比libevent-2.0.21-stable和libevent-1.4.13-stable这两个版
amoscykl·2024-02-07 01:48

Libevent源码分析-----信号event的处理

信号event的工作原理：前面讲解了Libevent如何监听一个IO事件，现在来讲一下Libevent如何监听信号。Libevent对于信号的处理是采用统一事件源的方式。简单地说，就是把信号也转换成IO事件，集成到Libevent中。统一事件源的工作原理如下：假如用户要监听SIGINT信号，那么在实现的内部就对SIGINT这个信号设置捕抓函数。此外，在实现的内部还要建立一条管道(pipe)，并把这
amoscykl·2024-02-07 01:47

Libevent源码分析-----超时event的处理

如何成为超时event：Libevent允许创建一个超时event，使用evtimer_new宏。//event.h文件#defineevtimer_new(b,cb,arg)event_new((b),-1,0,(cb),(arg)) 从宏的实现来看，它一样是用到了一般的event_new，并且不使用任何的文件描述符。从超时event宏的实现来看，无论是evtimer创建的event还是一般ev
amoscykl·2024-02-07 01:47

Libevent源码分析-event_base

event_base数据结构初始化event_base相关接口前面介绍了event，本节介绍Reactor的核心结构：event_base，它在event-internal.h中。event_base是整个libevent的核心，它持有所有注册的事件，并负责通知激活的事件。event_base数据结构structevent_base{conststructeventop*evsel;void*ev
KangRoger·2024-02-07 01:16

MyBatis的二级缓存以及装饰器模式运用

目录Mybatis中如何配置二级缓存基于注解配置缓存基于XML配置缓存Cache解析处理过程Cache支持的过期策略缓存的基本实现装饰器模式Mybatis缓存实现源码分析BlockingCacheLRU
陈脩·2024-02-06 21:08

JUC AQS ReentrantLock源码分析（一）

Java的内置锁一直都是备受争议的，在JDK1.6之前，synchronized这个重量级锁其性能一直都是较为低下，虽然在1.6后，进行大量的锁优化策略,但是与Lock相比synchronized还是存在一些缺陷的：虽然synchronized提供了便捷性的隐式获取锁释放锁机制（基于JVM机制），但是它却缺少了获取锁与释放锁的可操作性，可中断、超时获取锁，且它为独占式在高并发场景下性能大打折扣。如
程序员Yamy·2024-02-06 19:13

揭秘阿里云Flink智能诊断利器——Fllink Job Advisor

引言阿里云实时计算Flink作为一款专业级别的高性能实时大数据处理系统，它在各种业务场景中都发挥了关键的作用。丰富而复杂的上下游系统让它能够支撑实时数仓、实时风控、实时机器学习等多样化的应用场景。
阿里云大数据AI技术·2024-02-06 16:49

What is Apache Flink - Architecture

原文翻译如下ApacheFlink是一个能在有界和无界数据流上进行有状态计算的框架和分布式处理引擎。Flink被设计为在所有常见的集群环境中运行，在超大规模中仍能以内存速度执行计算。
耳边的火·2024-02-06 16:02

Flink项目系列3-实时流量统计

一.项目概述1.1模块创建和数据准备  新建一个NetworkFlowAnalysis的package。  将apache服务器的日志文件apache.log复制到资源文件目录src/main/resources下，我们将从这里读取数据。  当然，我们也可以仍然用UserBehavior.csv作为数据源，这时我们分析的就不是每一次对服务器的访问请求了，而是具体的页面浏览（“pv”）操作。1.2基
只是甲·2024-02-06 16:16

[k8s源码分析][client-go] workqueue

1.前言转载请说明原文出处,尊重他人劳动成果!源码位置:https://github.com/nicktming/client-go/tree/tming-v13.0/util/workqueue分支:tming-v13.0(基于v13.0版本)本文将分析util包中的workqueue.在各类controller中经常会使用该workqueue中的一些类.architecture.png2.qu
nicktming·2024-02-06 15:10

nginx upstream server主动健康检测模块ngx_http_upstream_check_module 使用和源码分析(上）

2.1check2.2check_keepalive_requests2.3check_http_send2.4check_http_expect_alive2.5check_shm_size2.6check_status3.加载健康检测模块3.1模块的编译3.2模块的配置4.测试验证5.思考与问题6.源码分析
码农心语·2024-02-06 14:27

浅谈Flink SQL代码生成与UDF重复调用的优化

前言之前讲解FlinkSQL执行流程时留下了代码生成的坑，在百忙之中抽时间补一补。代码生成简介代码生成（codegeneration）是当今各种数据库和数据处理引擎广泛采用的物理执行层技术之一。
LittleMagic·2024-02-06 14:31

flink学习记录

flink-conf.yaml配置文件：jobmanager.rpc.address:hadoop1jobmanager.rpc.port:6123jobmanager.heap.size:512mtaskmanager.heap.size
戏 剧·2024-02-06 14:34

seatunnel数据集成（三）多表同步

1、单表to单表一个source，一个sinkenv{#Youcansetflinkconfigurationhere
大数据_苡~·2024-02-06 11:22

设计模式之原型模式

克隆羊问题1.1传统方式解决克隆羊问题1.2代码1.3传统方式的缺点二、原型模式2.1原型模式基本介绍2.2原型模式原理结构uml类图2.3原型模式解决克隆羊问题的应用实例2.4原型模式在Spring框架中源码分析三
咱老李·2024-02-06 11:41

实战：Flink 1.12 维表 Join Hive 最新分区功能体验

上周Flink1.12发布了，刚好支撑了这种业务场景，我也将1.12版本部署后做了一个线上需求并上线。对比之前生产环境中实现方案，最新分区直接作为时态表提升了很多开发效率，在这里做一些小的分享。
Apache Flink·2024-02-06 11:30

Flink关系型API解读：Table API 与SQL

AI前线导读：\本篇文章主要介绍Flink的关系型API，整个文章主要分为下面几个部分来介绍：\一、什么是Flink关系型API\二、Flink关系型API的各版本演进\三、Flink关系型API执行原理
weixin_33966095·2024-02-06 11:00

【源码改造】Flink-jdbc-connector源码简析+改造支持谓词下推

一、需求背景分析flinksql在维表关联时，会有一个场景：当右表的数据量比较大且有些数据虽然符合join条件，但其实对于下游来说数据可能没用，这样就浪费了flink的计算资源，且拉低了数据处理能力。
roman_日积跬步-终至千里·2024-02-06 11:28

Apache Paimon 文件操作

前提对以下几篇有了解：1、ApachePaimon介绍2、ApachePaimon基础概念3、ApachePaimon文件布局设计4、知道如何在Flink中使用Paimon创建catalog在Fli
zhisheng_blog·2024-02-06 11:27

Flink 动态表 (Dynamic Table) 解读

博主历时三年精心创作的《大数据平台架构与原型实现：数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行，点击《重磅推荐：建大数据平台太难了！给我发个工程原型吧！》了解图书详情，京东购书链接：https://item.jd.com/12677623.html，扫描左侧二维码进入京东手机购书页面。题记根据过去在流上维持状态的编程经验，我们可以深刻地体会到：DynamicTable
　Laurence·2024-02-06 11:26

Spring框架AOP源码分析(二)

AOP编程使用1.注解版本实现AOP开启事物注解权限@Aspect指定一个类为切面类@Pointcut("execution(*com.itmayiedu.service.UserService.add(..))")指定切入点表达式@Before("pointCut_()")前置通知:目标方法之前执行@After("pointCut_()")后置通知：目标方法之后执行（始终执行）@AfterRet
Mark_ZSQ·2024-02-06 10:18

Flink支持的数据类型

Flink流应用程序处理的是以数据对象表示的事件流。所以在Flink内部，我们需要能够处理这些对象。它们需要被序列化和反序列化，以便通过网络传送它们；或者从状态后端、检查点和保存点读取它们。
比格肖·2024-02-06 10:45

RTthread线程间通信(邮箱,消息队列,信号/软件中断)---03信号(软件中断)源码分析

信号实际使用看这一个#ifdefined(RT_USING_SIGNALS)rt_sigset_tsig_pending;/**sig_vectors==RT_NULL){//这一个线程之前没有安转过rt_thread_alloc_sig(tid);}if(tid->sig_vectors){old=tid->sig_vectors[signo];if(handler==SIG_IGN)tid->
唐·柯里昂798·2024-02-06 09:15

netty-websocket扩展协议及token鉴权补充

文章源码：gitee源码部分可以看上一篇文章中的源码分析netty-websocket鉴权token及统一请求和响应头（鉴权控制器）最近刚好没事，看到有朋友说自定义协议好搞，我就想了想，发现上面那种方式实现确实麻烦
离别又见离别·2024-02-06 08:12

c++之std::unique_lock, std::lock, std::scoped_lock及std::condition_variable

可用的第二个参数有三种，而lock_guard只有一种unique_lock的析构需要判断_M_owns，而lock_guard无需判定条件变量的传参为unique_lock说什么都不如源码来的简单明了1.1源码分析
liuge·2024-02-06 08:12

flume+Kafka+flink实时统计实战(单机版)

下面有些命令由于Kafka版本原因可能会报下面这种错误，请注意：ApacheKafka:bootstrap-serverisnotarecognizedoption2.5.0之前的版本使用broker-list2.5.0之后的版本使用bootstrap-server#Kafka启动服务安装配置好zookeeper，添加好环境变量，打开cmd，输入命令启动服务。zkServer或bin/zkServ
xiaolege_·2024-02-06 08:30

FlinkCDC-Hudi:Mysql数据实时入湖全攻略五：FlinkSQL同时输出到kafka与hudi的几种实现

前序：FlinkCDC-Hudi系列文章：FlinkCDC-Hudi:Mysql数据实时入湖全攻略一：初试风云FlinkCDC-Hudi:Mysql数据实时入湖全攻略二：Hudi与Spark整合时所遇异常与解决方案
大数据点灯人·2024-02-06 08:25

Flink CDC 与 Kafka 集成：State Snapshot 还是 Changelog？Kafka 还是 Upsert Kafka？

我们知道，尽管FlinkCDC可以越过Kafka，将关系型数据库中的数据表直接“映射”成数据湖上的一张表（例如Hudi等），但从整体架构上考虑，维护一个Kafka集群作为数据接入的统一管道是非常必要的，
　Laurence·2024-02-06 08:52

xv6（RISC-V）操作系统源码分析第六节——锁

一、程序并发执行带来的问题及解决方案（一）并发执行带来的问题程序的并发执行提高了程序执行的效率，这是大多数内核所追求的，xv6也是这样。xv6采用两种方式实现程序的并发执行：采用多处理器架构在一个CPU上实现多线程机制xv6采用多处理器架构（硬件系统具有多个CPU独立执行）来实现程序的并发执行。这些CPU共享同一个DRAM，这种共享就带了问题：一个CPU在读取一个数据的同时，另一个CPU正在更新它
MCQSLW·2024-02-06 08:05

xv6（RISC-V）操作系统源码分析第一节——操作系统接口

一、内核与进程xv6使用传统形式内核（一个向其他运行中的程序提供服务的特殊程序）。每一个正在运行的程序称为进程，进程拥有自己的指令、数据与栈的内存空间。它们的功能如下：指令：实现程序的运算数据：用于运算过程的变量栈：管理程序的过程调用一个计算机通常有许多进程，但只有一个内核。二、进程调用内核服务的方式——系统调用进程通过调用系统调用来调用内核的服务。系统调用是操作系统接口中的一个调用。系统调用会进
MCQSLW·2024-02-06 08:34

xv6（RISC-V）操作系统源码分析第二节——操作系统组织

一、一个操作系统的基本要求一个操作系统至少需要满足以下三个要求：多路复用进程隔离进程通信（一）多路复用硬件CPU的数量有限，且往往少于同时存在的进程数量。而操作系统需要支持进程的并发执行，所以操作系统应该能使多个进程分时共享计算机的资源。（二）进程隔离一个进程的运行，应当具有一定的独立性，这个独立性指该进程在一定程度上不受其他进程的影响。这可以保证出了bug的程序不会严重影响其他程序的正常运行。（
MCQSLW·2024-02-06 08:34

xv6（RISC-V）操作系统源码分析第三节——地址映射与内存分配

一、xv6页表的作用物理内存指DRAM中的存储单元。物理存储器的一个字节有一个地址，称为物理地址。当指令操作虚拟地址时，分页硬件会将其翻译成物理地址，然后发送给DRAM硬件以读写。而分页硬件操作的核心数据结构就是页表。页表在物理内存中。通过页表机制，xv6为每个进程提供各自私有的地址空间和内存。页表决定了内存地址的含义与物理内存的哪些部分可以被访问。页表提供了一个间接层次，允许xv6实现如下技巧：
MCQSLW·2024-02-06 08:34

xv6（RISC-V）操作系统源码分析第五节——中断与设备驱动

一、驱动程序驱动程序是操作系统中管理特定设备的代码，它的功能包括：配置设备相关的硬件控制设备的执行处理设备产生的中断与等待设备I/O的进程进行交互驱动程序会与它所管理的设备并发执行。驱动程序必须了解设备的硬件接口。设备可以产生设备中断，在xv6中，内核中的devintr程序会处理这个中断。许多设备驱动程序会在两个上下文（context）中执行代码。这两个上下文分别是：上半部分（tophalf）：在
MCQSLW·2024-02-06 08:34

Flink cdc3.0动态变更表结构——源码解析

文章目录前言源码解析1.接收schema变更事件2.发起schema变更请求3.schema变更请求具体处理4.广播刷新事件并阻塞5.处理FlushEvent6.修改sink端schema结尾前言上一篇Flinkcdc3.0
yyoc97·2024-02-06 08:01

【Flink入门修炼】1-1 为什么要学习 Flink？

什么是Flink？为什么要学习Flink？Flink有什么特点，能做什么？本文将为你解答以上问题。
大数据王小皮·2024-02-06 07:29

【Flink】FlinkSQL的DataGen连接器（测试利器）

简介我们在实际开发过程中可以使用FlinkSQL的DataGen连接器实现FlinkSQL的批或者流模拟数据生成，DataGen连接器允许按数据生成规则进行读取，但注意:DataGen连接器不支持复杂类型
一杯咖啡半杯糖·2024-02-06 07:29

PiflowX组件-OrderBy

计算引擎flink组件分组common端口Inport：默认端口outport：默认端口组件属性名称展示名称默认值允许值是否必填描述例子expressionExpression“”无否在流模式下运行时，
PiflowX·2024-02-06 07:57

Flink-1.18.1环境搭建

下载下载flink安装包Indexof/dist/flink/flink-1.18.1下载flink-cdc安装包ReleaseRelease3.0.0·ververica/flink-cdc-connectors
pigcoffee·2024-02-06 07:26

Semaphore源码分析

1.Semaphore定义Semaphore主要用于限量控制并发执行代码的工具类,其内部通过一个permit来进行定义并发执行的数量,其实可以理解为一个限制数量的ReadLock获取.Semaphore主要特点:Semaphore方法的实现通过Sync(AQS的继承类)代理来实现2.支持公平与非公平模式,都是在AQS的子类里面进行,主要区分在tryAcquire里面先看一个简单的demoimpor
铁甲依然在_978f·2024-02-06 07:12
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他