E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Flink源码解析
一文帮你搞懂
flink
中窗口的分类(一)
Window可以分成两类:CountWindow:按照指定的数据条数生成一个Window,与时间无关。滚动计数窗口,每隔N条数据,统计前N条数据滑动计数窗口,每隔N条数据,统计前M条数据TimeWindow:按照时间生成Window。(重点)滚动时间窗口,每隔N时间,统计前N时间范围内的数据,窗口长度N,滑动距离N滑动时间窗口,每隔N时间,统计前M时间范围内的数据,窗口长度M,滑动距离N还有一种特
知否&知否
·
2025-01-19 07:36
flink中窗口及其函数分类
flink
大数据
Java 大视界 -- Java 驱动大数据流处理:Storm 与
Flink
入门(六)
亲爱的朋友们,热烈欢迎你们来到青云交的博客!能与你们在此邂逅,我满心欢喜,深感无比荣幸。在这个瞬息万变的时代,我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客,正是这样一个温暖美好的所在。在这里,你们不仅能够收获既富有趣味又极为实用的内容知识,还可以毫无拘束地畅所欲言,尽情分享自己独特的见解。我真诚地期待着你们的到来,愿我们能在这片小小的天地里共同成长,共同进步。本博客的精华专栏:大数
青云交
·
2025-01-19 05:50
大数据新视界
Java
大视界
Flink
Storm
大数据流处理
实时数据处理
架构
实时监控
数据分析
java
【大数据】
Flink
CDC 实时同步mysql数据
目录一、前言二、
Flink
CDC介绍2.1什么是
Flink
CDC2.2
Flink
CDC特点2.3
Flink
CDC核心工作原理2.4
Flink
CDC使用场景三、常用的数据同步方案对比3.1数据同步概述3.1.1
小码农叔叔
·
2025-01-19 02:16
springboot
入门到精通
大数据
Flink
CDC
Flink
CDC同步数据
Flink
CDC数据同步
mybatis
源码解析
-sql执行流程
1执行器的创建1.SimpleExecutor描述:最基本的执行器,每次查询都会创建新的语句对象,并且不会缓存任何结果。特点:每次查询都会创建新的PreparedStatement对象。不支持一级缓存。适用于简单的查询操作,不需要缓存的情况。2.ReuseExecutor描述:复用型执行器,会复用PreparedStatements。特点:通过缓存PreparedStatement对象来提高性能。
吴冰_hogan
·
2025-01-19 01:36
mybatis源码
mybatis
sql
java
Flink
使用 Kafka 作为数据源时遇到了偏移量提交失败的问题
具体的错误日志21:43:57.069[KafkaFetcherforSource:CustomSource->Map->Filter(1/1)#2]ERRORorg.apache.kafka.clients.consumer.internals.ConsumerCoordinator-[ConsumerclientId=consumer-my-group-6,groupId=my-group]O
java我跟你拼了
·
2025-01-18 23:19
异常笔记
flink
kafka
大数据
Golang面试题四(并发编程)
RWMutex(读写互斥锁)3.Atomic3.1.使用场景3.2.整型操作3.3.指针操作3.4.使用示例4.Channel使用场景使用示例5.sync.WaitGroup使用场景使用示例内部结构关键方法
源码解析
内部实现细节
os-lee
·
2025-01-18 23:47
go高级
golang
开发语言
后端
2、
Flink
在 DataStream 和 Table 之间进行转换
1.概述TableAPI和DataStreamAPI都可以处理有界流和无界流。DataStreamAPI提供了流处理的基础(时间、状态和数据流管理);TableAPI抽象了许多内部内容,并提供了一个结构化和声明性的API;在处理历史数据时,需要管理有边界的流;无边界流出现在实时处理场景中,这些场景可能需要先使用历史数据进行初始化。为了高效执行,这两个API都以优化的批处理执行模式处理有界流。由于批
猫猫爱吃小鱼粮
·
2025-01-18 22:10
Flink
SQL
flink
大数据
Flink
常见面试题
1、
Flink
的四大特征(基石)checkpoint:基于Chandy-Lamport算法,实现了分布式一致性快照,提供了一致性的语义。State:丰富的StateAPI。
知否&知否
·
2025-01-18 16:14
flink
大数据
kafka
大数据-257 离线数仓 - 数据质量监控 监控方法 Griffin架构
已更完)MapReduce(已更完)Hive(已更完)Flume(已更完)Sqoop(已更完)Zookeeper(已更完)HBase(已更完)Redis(已更完)Kafka(已更完)Spark(已更完)
Flink
武子康
·
2025-01-18 10:29
大数据
离线数仓
大数据
数据仓库
java
后端
hadoop
hive
Rabbitmq源码分析,重复消费问题的redis或数据库代码实现
目录底层
源码解析
自定义唯一id算法MessageProperties类的相关实现自定义消息ID生成器配置和使用Rabbitmq是怎么判断是不是重复消息的呢?
xweiran
·
2025-01-18 10:26
rabbitmq
分布式
java
架构
jvm
数据结构
后端
Golang笔记——切片与数组
文章目录数组与切片的异同相同之处区别切片(Slice)
源码解析
Go源码中`len()`和`cap()`定义长度与容量示例`append()`函数Go切片扩容机制基本原理扩容策略(依据Go版本)扩容
源码解析
常见误区建议切片作为函
Good Note
·
2025-01-18 08:14
Golang笔记
golang
开发语言
后端
go
秋招
校招
开发
Apache
Flink
2.0-preview released
Apache
Flink
社区正在积极准备
Flink
2.0,这是自
Flink
1.0发布8年以来的首次大版本发布。
·
2025-01-18 00:58
flink大数据
2024年最新Python:Page Object设计模式_python page object,BTAJ大厂最新面试题汇集
知识体系:含编程语言、算法、大数据生态圈组件(Mysql、Hive、Spark、
Flink
)、数据仓库、Python、前端等等。网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是
m0_60707708
·
2025-01-17 20:36
程序员
python
设计模式
开发语言
2024年总结:大转向
职业转向今年我在职业上尝试做了一个转向,具体的结果可能需要比较长的时间来检验我选择是否正确,所以转向的细节我就不全部展开了,可以确定是我依然会专注在Infra和BigData,比如今年我发布了SparkSQL和
Flink
SQL
·
2025-01-17 20:11
年度总结
Flink
批作业如何在 Master 节点出错重启后恢复执行进度?
摘要:本文撰写自阿里云研发工程师李俊睿(昕程),主要介绍
Flink
1.20版本中引入了批作业在JMfailover后的进度恢复功能。
·
2025-01-17 19:30
flink大数据
读
Flink
源码谈设计:Metric
版本日期备注1.02021.10.8文章首发1.12022.3.9fixtypo1.22022.7.3fixtypo0.前言前阵子笔者涉及了些许监控相关的开发工作,在开发过程中也碰到过些许问题,便翻读了
Flink
·
2025-01-17 19:28
javaflink
Flink
CDC 在阿里云实时计算
Flink
版的云上实践
摘要:本文整理自阿里云高级开发工程师,Apache
Flink
Committer阮航老师在
Flink
ForwardAsia2024生产实践(三)专场中的分享,主要分为以下四个方面:一、
Flink
CDC&实时计算
·
2025-01-17 15:17
flink大数据实时计算
【深度强化学习】DQN:深度Q网络算法——从理论讲解到
源码解析
【深度强化学习】DQN:深度Q网络算法——从理论讲解到
源码解析
介绍常用技巧算法步骤DQN源码实现网络结构训练策略DQN算法进阶双深度Q网络(DoubleDQN)竞争深度Q网络(DuelingDQN)优先级经验回放
视觉萌新、
·
2025-01-17 15:17
深度强化学习
深度Q网络
DQN
mindspeed-llm
源码解析
(一)preprocess_data
mindspeed-llm是昇腾模型套件代码仓,原来叫"modelLink"。这篇文章带大家阅读一下数据处理脚本preprocess_data.py(基于1.0.0分支),数据处理是模型训练的第一步,经常会用到。文章中贴的源码加了相关注释,同学们可以把源码和注释结合起来看。首先来看一下main函数defmain():#获取入参,通过后面的代码可以知道有哪些关键参数args=get_args()#参
·
2025-01-17 01:48
人工智能
Apache PAIMON 学习
新一代实时数据湖技术,ApachePAIMON兼容Apache
Flink
、Spark等主流计算引擎,并支持流批一体化处理、快速查询和性能优化,成为加速AI转型的重要工具。
潇锐killer
·
2025-01-16 22:54
学习
nosql数据库技术与应用知识点
Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、
Flink
皆过客,揽星河
·
2024-09-16 08:42
NoSQL
nosql
数据库
大数据
数据分析
数据结构
非关系型数据库
ArrayList
源码解析
ArrayList是Java集合框架中的一个动态数组实现,提供了可变大小的数组功能。它继承自AbstractList并实现了List接口,是顺序容器,即元素存放的数据与放进去的顺序相同,允许放入null元素,底层通过数组实现。除该类未实现同步外,其余跟Vector大致相同。每个ArrayList都有一个容量capacity,表示底层数组的实际大小,容器内存储元素的个数不能多于当前容量。当向容器中添
程序猿进阶
·
2024-09-16 07:30
Java基础
ArrayList
List
java
面试
性能优化
架构设计
idea
Istio pilot-discovery服务发现
源码解析
(1.13版本)
Istiopilot-discovery服务发现介绍工作机制初始化初始化Config控制器初始化Service控制器controller初始化NamespaceServiceNodePodPilotDiscovery各组件启动流程DiscoveryServer接收Envoy的gRPC连接请求流程Config变化后向Envoy推送更新的流程总结参考介绍IstioPilot的代码分为Pilot-Dis
xidianjiapei001
·
2024-09-16 02:54
#
Istio
istio
云原生
服务发现
Java集合类框架源码分析 之 RoleList
源码解析
【6】
该类继承于ArrayList,针对Role进行了一些扩展。其他方法和ArrayList中基本相同,源码不做针对性分析:看一下类简介:/***代表了一个roles的列表,作为方法setRoles()的参数,去创建一个关联关系,并且尝试在同一个关系中设置多个角色。*ARoleListrepresentsalistofroles(Roleobjects).Itisusedas*parameterwhen
yunzhonghefei
·
2024-09-15 17:46
Java集合类源码分析
RoleList源码解析
VITS
源码解析
2-模型概述
VITs是文本到语音(Text-to-Speech,TTS)任务中最流行的技术之一,其实现思路是将文本语音信息融合到了HiFiGAN潜空间内,通过文本控制HiFiGAN的生成器,输出含文本语义的声音。VITs主要以GAN的方式训练,其生成器G是SynthesizerTrn,判别器D是MPD。VITS的判别器几乎和HiFiGAN一样,生成器则融合了文本、时序、声音三大类模型1.文件概述模型部分包含三
迪三
·
2024-09-15 14:00
#
NN_Audio
音频
人工智能
全面指南:用户行为从前端数据采集到实时处理的最佳实践
本文将详细介绍如何通过前端JavaScript代码采集用户行为数据、利用API和Kafka进行数据传输、通过
Flink
实时处理数据的完整流程。
数字沉思
·
2024-09-15 11:28
营销
流量运营
系统架构
前端
内容运营
大数据
详解
Flink
的常见部署方式
一、常见部署模式分类1.按是否依赖外部资源调度1.1Standalone模式独立模式(Standalone)是独立运行的,不依赖任何外部的资源管理平台,只需要运行所有
Flink
组件服务1.2Yarn模式
文刀小桂
·
2024-09-15 07:31
Flink
flink
大数据
大数据之
flink
与hive
其实吧我不太想写
flink
,因为线上经验确实不多,这也是我需要补的地方,没有条件创造条件,先来一篇吧
flink
:高性能低延迟流批一体的分布式计算框架基于事件时间对实时数据精准处理快速响应支持批处理,高效离线分析和数据挖掘数据仓库的引擎丰富数据源
星辰_mya
·
2024-09-14 21:17
大数据
flink
hive
Java中的大数据处理框架对比分析
本文将重点介绍ApacheHadoop、ApacheSpark、Apache
Flink
和ApacheStorm这四种流行的
省赚客app开发者
·
2024-09-14 20:41
java
开发语言
一文搞懂
Flink
Task 数据交互之数据写源码
一文搞懂
Flink
Task数据交互之数据写源码1.RecordWriterOutput2.RecordWriter3.数据分区器ChannelSelector4.数据输出模型ResultPartition5
mn_kw
·
2024-09-14 15:39
flink
交互
java
概率图模型(PGM)综述
Re
fLink
:http://www.sigvc.org/bbs/thread-728-1-1.htmlGraphicalModel的基本类型基本的GraphicalModel可以大致分为两个类别:贝叶斯网络
医学影像处理
·
2024-09-14 08:21
概率图模型
概率图模型
综述
RBtree
-【码炫课堂收费课节选之-红黑树
源码解析
及手写红黑树】_哔哩哔哩_bilibiliB站的听课记录,并写下如下红黑树c++版本代码,该课程真的史诗级推荐!
努力的小带土
·
2024-09-13 19:27
侯捷老师STL
c++
蓝桥杯
深入理解Kubernetes:kube-scheduler
源码解析
Kubernetes的调度器(kube-scheduler)是整个系统中至关重要的组件,它负责将待调度的Pods分配到合适的节点上。本文将深入分析kube-scheduler的源码,揭示其内部工作机制。kube-scheduler的核心功能kube-scheduler的核心功能包括:监听Pod变化:通过KubernetesAPI监听所有未调度的Pods。过滤(Filtering):根据一系列规则(
mujingluo
·
2024-09-13 18:26
kubernetes
容器
云原生
【Vesta发号器源码】PropertyMachineIdsProvider
Vesta发号器
源码解析
——PropertyMachineIdsProvider属性配置文件持有Id的模式,没啥东西,比单个的多了一个获取下一个的方法封装实现上略有一点点区别privatelong[]machineIds
DeanChangDM
·
2024-09-13 18:00
StarRocks分布式元数据
源码解析
1.支持元数据表https://github.com/StarRocks/starrocks/pull/44276/files核心类:LogicalIcebergMetadataTable,Iceberg元数据表,将元数据的各个字段做成表的列,后期可以通过sql操作从元数据获取字段,这个表的组成字段是DataFile相关的字段public static LogicalIcebergMetadata
不甚了然
·
2024-09-13 15:02
Iceberg知识集
StarRocks
Iceberg
数据湖
湖仓一体
大数据
Python基础知识进阶之正则表达式_头歌python正则表达式进阶
知识体系:含编程语言、算法、大数据生态圈组件(Mysql、Hive、Spark、
Flink
)、数据仓库、Python、前端等等。网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是
前端陈萨龙
·
2024-09-13 13:50
程序员
python
学习
面试
【Starrocks】建表篇Fe
源码解析
Starrocks系统架构简述现在市面上主流的OLAP存算一体架构主要有两类进程:Frontend(FE)和Backend(BE)Frontend一般是用Java写的。主要职责有:接收用户连接请求(MySQL协议层)元数据存储与管理查询语句的解析与查询计划的生成集群管控Backend一般是用C++写的,主要职责有:数据存储与管理查询计划的执行建表语句的执行过程与Mysql协议层交互词法解析语法解析
数算七弦
·
2024-09-13 11:11
Starrocks
大数据
大数据新视界 --大数据大厂之
Flink
强势崛起:大数据新视界的璀璨明珠
亲爱的朋友们,热烈欢迎你们来到青云交的博客!能与你们在此邂逅,我满心欢喜,深感无比荣幸。在这个瞬息万变的时代,我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客,正是这样一个温暖美好的所在。在这里,你们不仅能够收获既富有趣味又极为实用的内容知识,还可以毫无拘束地畅所欲言,尽情分享自己独特的见解。我真诚地期待着你们的到来,愿我们能在这片小小的天地里共同成长,共同进步。本博客的精华专栏:Ja
青云交
·
2024-09-13 08:50
大数据新视界
Flink
大数据
数据类型
实时处理
流处理
框架对比
应用场景
数据处理
大数据新视界
数据库
智能农业设备软件工程师如何集成和管理农业物联网(IoT)平台
microPythonPython最小内核
源码解析
NI-motion运动控制c语言示例代码解析python编程示例系列python编程示例系列二python的Web神器Streamlit如何应聘高薪职位集成和管理农业物联网
openwin_top
·
2024-09-13 06:38
智能农业设备软件工程师
物联网
python
开发语言
深度学习
大数据
智能农业
智能农业设备软件工程师如何集成和管理农业设备的远程更新系统
microPythonPython最小内核
源码解析
NI-motion运动控制c语言示例代码解析python编程示例系列python编程示例系列二python的Web神器Streamlit如何应聘高薪职位集成和管理农业设备的远程更新系统涉及多个技术层面
openwin_top
·
2024-09-13 06:37
智能农业设备软件工程师
深度学习
大数据
物联网
人工智能
网络
智能农业
智能农业设备软件工程师如何处理设备的远程诊断和修复
microPythonPython最小内核
源码解析
NI-motion运动控制c语言示例代码解析python编程示例系列python编程示例系列二python的Web神器Streamlit如何应聘高薪职位处理智能农业设备的远程诊断和修复涉及几个关键步骤
openwin_top
·
2024-09-13 06:07
智能农业设备软件工程师
网络
智能农业
物联网
人工智能
大数据
深度学习
android10 按键音量调节
源码解析
/frameworks/base/services/core/java/com/android/server/policy/PhoneWindowManager.javastaticIAudioServicegetAudioService(){IAudioServiceaudioService=IAudioService.Stub.asInterface(ServiceManager.checkS
@OuYang
·
2024-09-13 06:37
android
android10 Settings
源码解析
/packages/apps/Settings/AndroidManifest.xml.................................................................................activity-alias是Android里为了重复使用Activity而设计的。对于activity-alias标签,它有一个属性叫android:
@OuYang
·
2024-09-13 06:37
android
MyBatis
源码解析
:XMLScriptBuilder 工作机制
摘要MyBatis提供了强大的动态SQL功能,它通过解析XML配置文件中的动态SQL标签(如、、等),来实现灵活的SQL生成。而XMLScriptBuilder类则负责解析这些XML配置并生成最终的SQL语句。本文将详细解析XMLScriptBuilder的工作机制,并通过自定义实现来帮助您深入理解该类的功能。前言MyBatis中的动态SQL功能是通过解析XML配置文件实现的。XML文件中包含了动
捕风捉你
·
2024-09-13 01:33
MyBatis
源码解读
mybatis
java
flink
增量检查点降低状态依赖实现的详细步骤
使用外部状态存储服务,减少
Flink
状态后端的负担。拆分状态和将状态外部化到其他服务可以帮助减少作业的状态依赖,从而降低恢复时间和复杂度。以下是详
goTsHgo
·
2024-09-12 13:15
Flink
大数据
分布式
flink
大数据
flink
table factory基础知识
一、概述在
flink
中很多组件都是TableFactory的子类。
loukey_j
·
2024-09-12 07:01
2024年最全使用Python求解方程_python解方程(1),字节面试官迟到
知识体系:含编程语言、算法、大数据生态圈组件(Mysql、Hive、Spark、
Flink
)、数据仓库、Python、前端等等。网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是
2401_84569545
·
2024-09-12 02:33
程序员
python
学习
面试
01-
Flink
安装部署及入门案例(仅供学习),音视频时代你还不会NDK开发
先自我介绍一下,小编浙江大学毕业,去过华为、字节跳动等大厂,目前阿里P7深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!因此收集整理了一份《2024年最新大数据全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵
小猪佩琪962
·
2024-09-11 07:18
2024年程序员学习
flink
学习
大数据
比较Spark与
Flink
ApacheSpark和Apache
Flink
都是目前非常流行的大数据处理引擎,但它们在架构、处理模式、应用场景等方面有一些显著的区别。
傲雪凌霜,松柏长青
·
2024-09-11 04:29
大数据
后端
spark
flink
大数据
Apache
Flink
:实时流处理与批处理的统一框架
Apache
Flink
是一个开源的流处理框架,它打破了这种界限,提供了一个统一的平台来处理实时流数据和批处理数据。
小码快撩
·
2024-09-11 04:28
flink
大数据
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他