E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Flink源码解析
c#视觉应用开发中如何使用Emgu CV在C#中进行图像处理?
microPythonPython最小内核
源码解析
NI-motion运动控制c语言示例代码解析python编程示例系列python编程示例系列二python的Web神器Streamlit如何应聘高薪职位
openwin_top
·
2024-09-10 22:51
C#视觉应用开发问题系列
c#
图像处理
开发语言
flink
独立集群部署
#
flink
独立集群部署说明安装环境三台服务器47.106.23.1(master)47.112.173.2(worker1)47.115.162.3(worker1)提前装好jdk和ssh,以下操作最好不要用
嘎子吱吱吱吱
·
2024-09-10 16:28
flink
hadoop
linux
Flink
的时间与watermarks详解
当我们在使用
Flink
的时候,避免不了要和时间(time)、水位线(watermarks)打交道,理解这些概念是开发分布式流处理应用的基础。那么
Flink
支持哪些时间语义?
大数据技术与数仓
·
2024-09-09 21:44
实时数仓之实时数仓架构(Hudi)(1)
目前比较流行的实时数仓架构有两类,其中一类是以
Flink
+Doris为核心的实时数仓架构方案;另一类是以湖仓一体架构为核心的实时数仓架构方案。
2401_84164527
·
2024-09-09 19:34
程序员
架构
2024年大数据最新实时数仓之实时数仓架构(Hudi)
技术框架Kafka:用于接入数据源;
Flink
CDC:如果直接接入业务数据源可以考虑CDC方式,如果通过Kafka缓冲接入业务数据可以忽略;
Flink
:用于数据ETL,包括接入数据、处理数据及输出数据全链路数据计算任务
2401_84185556
·
2024-09-09 19:34
程序员
大数据
架构
实时数仓之实时数仓架构(Hudi)(1),2024年最新熬夜整理华为最新大数据开发笔试题
湖仓一体数据管理框架,用来管理模型数据,包括ODS/DWD/DWS/DIM/ADS等;+Doris:OLAP引擎,同步数仓结果模型,对外提供数据服务支持;+Hbase:用来存储维表信息,维表数据来源一部分有
Flink
2401_84181221
·
2024-09-09 19:04
程序员
架构
大数据
Flink
- CEP
Hadoop3.2集群新版本的搭建详细讲解过程,从下面第一张官方的图来看,最新版是3.2,所以大猪将使用3.2的版本来演示,过程中遇到的坑留给自己,把路留给你们,IT之路还有大猪。大猪为了把文章压缩极简方便小伙伴阅读,将使用root帐号进行所有操作。准备两台主机10.211.55.11、10.211.55.12对应的hostname为m1.example.com、m2.example.com具体命
kikiki1
·
2024-09-08 21:46
chapter01 Java语言概述 知识点Note
JavaSEJavaEEJavaME大数据Java基础常用技术栈mysqlJDBCSSMspring+springmvc+mybatisLinuxnacosHadoop
Flink
JAVAEE消息队列rabbitMQdocker
月下绯烟
·
2024-09-08 18:42
Java
java
开发语言
Elasticsearch——配置详解
阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc
源码解析
阶段4、深入jdk其余
源码解析
阶段5、深入jvm
源码解析
码哥源码部分码哥讲源码-原理源码篇【2024年最新大厂关于线程池使用的场
smart哥
·
2024-09-08 15:51
elasticsearch专题
elasticsearch
搜索引擎
【无标题】大数据之批处理,流处理,批流一体概念
Spark和
Flink
都支持批处理,其中Spark使用的是批处理模型,即将一批数据一次性读入内存,然后对其进行处理,处理完成后再将结果写入磁盘。
数字天下
·
2024-09-08 09:43
大数据
python
flink
_《
Flink
官方文档》Python 编程指南测试版
原文链接译者:hjjxd校对:清英
Flink
中的分析程序实现了对数据集的某些操作(例如,数据过滤,映射,合并,分组)。这些数据最初来源于特定的数据源(例如来自于读文件或数据集合)。
weixin_39846361
·
2024-09-08 08:04
python
flink
flink
---window
Window介绍DataStream:https://nightlies.apache.org/
flink
/
flink
-docs-release-1.17/zh/docs/dev/datastream/
搞数据的小杰
·
2024-09-08 00:38
flink
大数据
Flink
(1.13) 的window机制(一)
窗口概述在流处理应用中,数据是连续不断的,因此我们不可能等到所有数据都到了才开始处理。当然我们可以每来一个消息就处理一次,但是有时我们需要做一些聚合类的处理,例如:在过去的1分钟内有多少用户点击了我们的网页。在这种情况下,我们必须定义一个窗口,用来收集最近一分钟内的数据,并对这个窗口内的数据进行计算。流式计算是一种被设计用于处理无限数据集的数据处理引擎,而无限数据集是指一种不断增长的本质上无限的数
万事万物
·
2024-09-07 22:31
py
flink
自定义函数
frompy
flink
.datastreamimportStreamExecutionEnvironmentfrompy
flink
.common.typeinfoimportTypesfrompy
flink
.datastreamimportStreamExecutionEnvironmentfrompy
flink
.tableimportStreamTableEnvironmentfrompyfli
scan724
·
2024-09-07 15:05
Flink实时计算
python
开发语言
flink
问题记录
文章目录1.Causedby:java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSums(IILjava/nio/ByteBuffer;ILjava/nio/ByteBuffer;IILjava/lang/String;JZ)V原因java.util.concurrent.Ex
Jhon_yh
·
2024-09-07 15:34
flink
flink
hadoop
大数据
Py
flink
教程(三):自定义函数
该文章例子py
flink
环境是apache-
flink
==1.13.6Python自定义函数是Py
Flink
TableAPI中最重要的功能之一,其允许用户在Py
Flink
TableAPI中使用Python
yuxj记录学习
·
2024-09-07 15:33
学习笔记
学习
pyflink
py
flink
滚动窗口实例
写在前头:更多大数据相关精彩内容请进我的知识星球,每周定期更新正篇技术路线:模拟kafka生产者发送数据——>
flink
对kafka数据实时计算处理——>处理后的数据发送到kafka1、模拟客流数据的生产者
菜鸟社长
·
2024-09-07 15:31
菜鸟的大数据进阶之路
大数据进阶之路
kafka
big
data
python
flink
flink
实战理解watermark,maxOutOfOrderness,allowedLateness
watermarkwatermark的作用就是延迟触发窗口,让乱序到达的元素依然能够落在正确的窗口内。为啥能实现这个效果,一直通过公式更新watermark,如果乱序到的元素就不能更新watermark,相当于就是延迟触发计算操作。触发时间watermark大于窗口的最大值allowedLateness允许迟到的时间,到底啥时到的元素算迟到元素,如果元素的窗口满足下面这个公式,那这个窗口就去被清掉
wending-Y
·
2024-09-07 15:31
Flink
入门到实践
flink
java
大数据
【
Flink
】
Flink
写入到 CSV BucketingSink 的使用方法
1.概述【File】CSV文件写入追加写入CsvWriter的使用有一个需求是这样的,
flink
读取kafka数据,然后写入到csv,但是写入的时候,要求写入一个文件,然后在监听到配置文件变化的时候,将写入到另外一个文件
九师兄
·
2024-09-07 15:00
大数据-flink
flink
BucketingSink
csv
Flink
Watermark详解
为了能够在这种乱序环境中正确地执行基于时间的操作(如时间窗口聚合),
Flink
引入了Watermark的概念。Watermark是一个特殊的标记,它表示“在此时间戳之前的数据应该都已经到达了”。
王小工
·
2024-09-07 15:30
大数据
Flink
java
flink
大数据
13、
Flink
SQL 的 时间属性 介绍
时间属性a)概述
Flink
可以基于几种不同的时间概念来处理数据。
猫猫爱吃小鱼粮
·
2024-09-07 15:59
Flink
SQL
flink
sql
大数据
py
flink
中UDTF和UDF的区别
UDTF(UserDefinedTable-ValuedFunctions)和UDF(UserDefinedFunctions)在
Flink
和其他数据处理系统中有着明显的区别,主要体现在以下几个方面:输出类型
吉小雨
·
2024-09-07 14:58
pyflink
pyflink
Py
Flink
自定义函数
在Py
Flink
(Apache
Flink
的PythonAPI)中,自定义函数分为三种主要类型:ScalarFunction(标量函数)、TableFunction(表函数)和AggregateFunction
吉小雨
·
2024-09-07 14:53
pyflink
flink
py
flink
的窗口
Py
Flink
中的窗口操作教程在流处理应用中,窗口(Window)是一个非常重要的概念,它用于对无界的数据流进行切分,使得我们可以对流中的数据执行聚合、计数、排序等操作。
吉小雨
·
2024-09-07 14:53
pyflink
pyflink
Apache
Flink
替换 Spark Stream的架构与实践( bilibili 案例解读)_streamspark
flink
加载udf(1)
bilibili早期使用的引擎是SparkStreaming,后期扩展了
Flink
,在开发架构中预留了一部分引擎层的扩展。最下层是状态存储
2401_84165953
·
2024-09-07 12:44
程序员
flink
spark
架构
大数据秋招面经之spark系列
3.repartition与coalesce4.spark的oom问题怎么产生的以及解决方案5.storm与
flink
,sparkstreaming之间的区别6.spark的几种部署方式:7.复习spark
wq17629260466
·
2024-09-06 19:54
大数据
spark
Eventbus3.0
源码解析
根据官方demo首先你需要先在activity中注册EventBus.getDefault().register(this);register所以我们先从getDefault方法开始看起/**Conveniencesingletonforappsusingaprocess-wideEventBusinstance.*/publicstaticEventBusgetDefault(){EventBu
超威蓝猫l
·
2024-09-06 08:43
Apache
Flink
运行时架构
Flink
运行时架构
Flink
整个系统由两个主要部分组成JobManager和TaskManager,
Flink
架构也遵循Master-Slave架构设计原则,JobManager为Master节点,TaskManager
生病的毛毛虫
·
2024-09-06 04:44
flink
架构
Flink
生态与未来
本文为《
Flink
大数据项目实战》学习笔记,想通过视频系统学习
Flink
这个最火爆的大数据计算框架的同学,推荐学习课程:
Flink
大数据项目实战:http://t.cn/EJtKhaz核心组件栈
Flink
weixin_30394333
·
2024-09-06 02:00
大数据
人工智能
数据库
前端宝典之三:React
源码解析
之Fiber架构
本文主要内容:1、ReactConcurrent2、React15架构3、React16架构4、Fiber架构5、任务调度循环和fiber构造循环区别一、ReactConcurrentReact在解决CPU卡顿是会用到ReactConcurrent的概念,它是React中的一个重要特性和模块,主要的特点和原理如下一、主要特点和优势1、时间切片(TimeSlicing)允许将长时间运行的任务分割成小
桃子叔叔
·
2024-09-05 23:07
大厂进阶
前端深度解析系列
react.js
架构
javascript
Flink
实践场景-通过DataStream KeyedProcessFunction统计每小时的出租车司机的收入
一、场景说明以及依赖请查看上一篇介绍
Flink
实践场景-通过DataStreamApi统计每小时的出租车司机的收入-CSDN博客二、KeyedProcessFunction介绍在
Flink
中,KeyedProcessFunction
似水_逆行
·
2024-09-05 10:12
Flink
flink
大数据
Java集合之HashSet
源码解析
一、HashSet概述:1、HashSet底层实现实际上就是利用HashMap的键(Key)来存储对象,原HashMap的键key的位置存放对象,值value的位置存放空的Object对象作为虚拟值;2、增加和删除都是直接调用HashMap的方法来实现的,没有修改和具体的查询方法,获取值只能通过iterator方法来迭代,迭代方法也是建立在HashMap的键的迭代方法上的。相关HashSet的操作
气宇轩昂固执狂
·
2024-09-05 08:27
JAVA面试笔试通关指南
java
开发语言
HashSet
HashSet源码
EMR组件部署指南
本文将详细介绍如何部署EMR的主要组件,包括:JDK1.8ElasticsearchKafka
Flink
ZookeeperHBaseHadoopPhoenixScalaSparkHive准备工作所有操作都在
ivwdcwso
·
2024-09-05 00:05
运维
EMR
大数据
开源
运维
Spring之AOP底层
源码解析
(上)
动态代理代理模式的解释:为其他对象提供一种代理以控制对这个对象的访问,增强一个类中的某个方法,对程序进行扩展。比如,现在存在一个UserService类:public class UserService { public void test() { System.out.println("test..."); }}此时,我们new一个UserService对象,然后执行test()方法,结果是
阿立聊代码
·
2024-09-04 17:55
spring
代理模式
kafka单条消息太大引起的线上故障
问题现象1.收到日志异常报警,一个
Flink
任务写入kafka消息出现了异常,异常消息如下org.apache.
flink
.streaming.connectors.kafka.
Flink
KafkaException
ab342173024
·
2024-09-04 15:44
线上故障篇
java
Spring Boot自动配置
源码解析
一、自动配置概述1.1什么是自动配置SpringBoot的自动配置是一种能够根据类路径中的依赖、配置文件中的属性以及其他条件,自动配置Spring应用上下文的功能。它通过扫描项目中的类和配置文件,判断哪些组件需要自动装配,从而减少了手动编写配置代码的繁琐过程。1.2自动配置的优点减少配置工作量:自动配置能够帮助开发者快速启动一个Spring应用,而不必担心各种复杂的XML或Java配置。智能化配置
一休哥助手
·
2024-09-04 13:25
spring
boot
java
数据库
12、
Flink
解决流上的确定性最佳实践
最佳实践示例1运行流查询前主动开启TRY_RESOLVE模式,在检查到流查询中存在无法解决的NDU问题时,尽量按照错误提示修改SQL主动避免问题示例:
FLINK
-27639INSERTINTOt_join_sinkSELECTo.order_id
猫猫爱吃小鱼粮
·
2024-09-04 11:13
Flink
SQL
flink
大数据
Flink
详解系列之八--Checkpoint和Savepoint
一、Checkpoint获取分布式数据流和算子状态的一致性快照是
Flink
容错机制的核心,这些快照在
Flink
作业恢复时作为一致性检查点存在。
王吉吉real
·
2024-09-04 11:53
Spring扩展点系列-InstantiationAwareBeanPostProcessor
文章目录简介测试一1、配置文件Bean注册2、单元测试方法3、测试类4、输出结果结论测试二1、测试类2、输出结果结论
源码解析
postProcessPropertiesCommonAnnotationBeanPostProcessorAnnotationInjectedBeanPostProcessor
码至终章
·
2024-09-03 00:03
Spring生命周期扩展接口
spring
sql
java
扩展接口
maven
springboot
MyBatis
源码解析
:DefaultSqlSessionFactory 的创建与管理
摘要在MyBatis中,SqlSessionFactory是执行数据库操作的核心对象,它负责创建和管理SqlSession的生命周期。你是否想了解SqlSessionFactory的创建和管理过程?本文将通过自定义实现一个简化版的DefaultSqlSessionFactory,带你深入探讨MyBatis中DefaultSqlSessionFactory的创建与管理机制,并帮助你更好地掌握SqlS
捕风捉你
·
2024-09-02 20:36
MyBatis
源码解读
mybatis
FFmpeg
源码解析
系列(一)目录和编译
引言当我们欣赏一部电影、观看一段视频或者享受一首音乐时,很少有人会停下来思考这一切是如何呈现在我们眼前的。然而,在每一帧的画面、每一秒的声音背后,有着一个不可思议的技术世界这个充满音视频的世界的核心之一,就是FFmpeg。FFmpeg是一个强大而复杂的多媒体处理工具,它为视频和音频编解码、流媒体传输、格式转换等提供了优秀的解决方案。在这个系列博客中,我们将深入探讨FFmpeg源码,解析它的工作原理
头快撑不住了
·
2024-09-02 13:59
FFmpeg
源码解析
ffmpeg
音视频
视频编解码
实时音视频
图像处理
Spark MLlib LinearRegression线性回归算法
源码解析
线性回归一元线性回归hθ(x)=θ0+θ1xhθ(x)=θ0+θ1x——————–1多元线性回归hθ(x)=∑mi=1θixi=θTXhθ(x)=∑i=1mθixi=θTX—————–2损失函数J(θ)=1/2∑mi=1(hθ(xi)−yi)2J(θ)=1/2∑i=1m(hθ(xi)−yi)2—————31/2是为了求导时系数为1,平方里是真实值减去估计值我们的目的就是求其最小值最小二乘法要求较为
SmileySure
·
2024-09-02 09:33
Spark
人工智能算法
Spark
MLlib
HashMap
源码解析
目录一:put方法流程二:get方法三:扩容机制一:put方法流程publicVput(Kkey,Vvalue){returnputVal(hash(key),key,value,false,true);}finalVputVal(inthash,Kkey,Vvalue,booleanonlyIfAbsent,booleanevict){Node[]tab;Nodep;intn,i;//判断数组是
dlwlrma ⥳
·
2024-09-01 20:42
兴趣类
哈希算法
散列表
算法
Spring之启动过程
源码解析
前言分析通常,我们说的Spring启动,就是构造ApplicationContext对象以及调用refresh()方法的过程。首先,Spring启动过程主要做了这么几件事情:构造一个BeanFactory对象解析配置类,得到BeanDefinition,并注册到BeanFactory中解析@ComponentScan,此时就会完成扫描解析@Import解析@Bean...因为Application
阿立聊代码
·
2024-09-01 18:34
spring
spring
数据库
oracle
【HuggingFace Transformers】BertIntermediate 和 BertPooler
源码解析
BertIntermediate和BertPooler
源码解析
1.介绍1.1位置与功能1.2相似点与不同点2.
源码解析
2.1BertIntermediate
源码解析
2.2BertPooler
源码解析
1.
CS_木成河
·
2024-09-01 17:25
Hugging
Face
深度学习
人工智能
bert
python
大模型
Transformer
vue.js项目实战案例详细源码讲解
前言:为帮助大家更好地掌握Vue.js项目的开发流程,我将为你讲解一个完整的Vue.js实战案例,并提供详细的
源码解析
。
程序员小羊!
·
2024-09-01 12:20
Java
vue.js
前端
javascript
Go Context使用及
源码解析
概述context包提供了一种在Go程序中不同组件之间传递请求范围的值、取消信号和截止时间的方式。context包的设计目的是为了解决在Go的并发模型中,尤其是在goroutines之间,如何安全、高效地传递控制信息的问题。当Context被取消时,从其派生的所有Context也将被取消。Context接口Context接口定义了4个方法typeContextinterface{//返回Conte
zhangj1125
·
2024-09-01 09:29
Go
golang
后端
c#视觉应用开发中如何使用OpenCV库进行计算机视觉处理?
microPythonPython最小内核
源码解析
NI-motion运动控制c语言示例代码解析python编程示例系列python编程示例系列二python的Web神器Streamlit如何应聘高薪职位在
openwin_top
·
2024-09-01 05:38
C#视觉应用开发问题系列
计算机视觉
c#
opencv
聊聊
flink
的Table Formats
序本文主要研究一下
flink
的TableFormats实例CSVFormat.withFormat(newCsv().field("field1",Types.STRING)//required:orderedformatfields.field
go4it
·
2024-08-31 01:48
Flink
(1.13) 的运行架构
架构图image.png官网原图:https://ci.apache.org/projects/
flink
/
flink
-docs-release-1.13/fig/processes.svg
Flink
运行时至少包含两个进程
万事万物
·
2024-08-30 22:54
上一页
2
3
4
5
6
7
8
9
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他