E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
流处理
【大数据】
流处理
基础概念(二):时间语义(处理时间、事件时间、水位线)
流处理
基础概念(一):Dataflow编程基础、并行
流处理
流处理
基础概念(二):时间语义(处理时间、事件时间、水位线)
流处理
基础概念(三):状态和一致性模型(任务故障、结果保障)如果您觉得这篇文章有用✔️
G皮T
·
2024-01-25 02:24
#
Flink
大数据
flink
时间语义
处理时间
事件时间
水位线
watermarks
【软件测试】为bug而生
原因明确,误报就会降低多个系统交互,可以明确指出是哪个系统的缺陷,防止“踢皮球”,提高问题解决的效率增强开发对测试的信任度,沟通更有效,配合的更好,开发修改bug时效增强更有效的了解系统的内部逻辑、数据
流处理
流程
程序员油条
·
2024-01-24 20:56
技术分享
软件测试
自动化测试
bug
测试工具
软件测试
基于FFmpeg进行rtsp推流及拉流(详细教程)
FFmpeg推流3.1UDP推流3.2TCP推流3.3循环推流4拉流4.1ffplay/VLC拉流显示4.2FFmpeg拉流保存成视频1.安装FFmpegFFmpeg是一个免费、开源的跨平台视频和音频
流处理
工具
大渔歌_
·
2024-01-24 18:58
ffmpeg
ffmpeg
Python中日志模块 logging 的使用,模块处理流程和相关类及常用方法
日志相关概念logging模块logging模块级别的日志longging模块的处理流程logging日志模块相关类及其常用方法Logger类Handler类Formater类Filter类logging日志
流处理
流程
Chains-X ♔
·
2024-01-24 03:53
Python全栈学习
Python
日志log
Storm和hadoop对比及storm组件
stormhadoop实时
流处理
批处理无状态有状态使用zk协同的主从架构无主从zk架构每秒处理数万消息HDFS,MR数分钟,数小时不会主动停止终于完成的时候storm优点:跨语言,可伸缩,低延迟,秒级容错核心概念
smartjiang
·
2024-01-24 02:01
玩转rk3588(二):rknn模型转换、部署及性能测试,解决视频
流处理
高延时问题(二)
目录1、环境准备2、模型转换虚拟机环境准备生成onnx模型生成rknn模型3、rk3588部署4、解决opencv读取RTSP进行图像处理时,高延迟5、相关错误1、xxx.onnx模型转xxx.rknn模型时报错:Ebuild:ImportError:/lib/x86_64-linux-gnu/libm.so.6:version`GLIBC_2.29'notfound6、参考1、环境准备开发板环境
八级玄仙
·
2024-01-23 16:29
rk3588
python
linux
开发语言
DataStream API(源算子)
Kafka读取数据5,自定义源算子6,Flink支持的数据类型6.1Flink支持多种数据类型,包括但不限于:6.2对于POJO类型,Flink有以下要求:转换算子输出算子源算子Flink是一个强大的
流处理
框架
佛系爱学习
·
2024-01-23 16:17
flink知识点
大数据
flink
大数据系列——Flink理论
概述Flink是一个对有界和无界数据流进行有状态计算的分布式处理引擎和框架,既可以处理有界的批量数据集,也可以处理无界的实时流数据,为批处理和
流处理
提供了统一编程模型,其代码主要由Java实现,部分代码由
mql007007
·
2024-01-23 16:11
大数据
flink
scala
ASP.NET Core图片上传
.NETFramework或.NETCore中实现图片上传功能的代码示例通常涉及前端HTML表单与后端C#控制器之间的交互,以及文件
流处理
和可能的存储逻辑。
布·丁
·
2024-01-23 14:54
asp.net
ui
后端
网络通信(17)-C#TcpClient 和 TcpListener的详解
目录一、概述二、TcpClient三、NetworkStream
流处理
技术四、TcpListener一、概述支持Http、Tcp和Udp的类组成了TCP/IP三层模型(请求响应层、应用协议层、传输层)的中间层
未来无限
·
2024-01-23 13:26
C++和C#通信入门到精通
c#
TcpClient
TcpListener
TCP
【Delphi 基础知识 23】处理流(stream)的详细用法
以下是一些常用的
流处理
类:TFileStream:单元:System.Classes用途:用于读写文件流的类。可以进行文件的读取和写入操作。
南通DXZ
·
2024-01-23 10:31
100天精通Delphi
基础知识
Flink中的容错机制
1.1检查点(Checkpoint)在
流处理
中,我们可以用存档读档的思路,将之前某个时间点的所有状态保存下来,这份存档就被称为“检查点(CkeckPoint)”。
- Hola -
·
2024-01-23 09:08
flink
大数据
Sqoop与Kafka的集成:实时数据导入
将Sqoop与Kafka集成是实现实时数据导入和
流处理
的关键步骤之一。Sqoop用于将数据从关系型数据库导入到Hadoop生态系统中,而Kafka则用于数据流的传输和处理。
晓之以理的喵~~
·
2024-01-23 08:01
sqoop
sqoop
kafka
hadoop
大数据--Flink--
流处理
(一)
官网:https://flink.apache.org/源码:https://github.com/apache/flinkFlink特点:
流处理
特性(1)支持高吞吐、低延迟、高性能的
流处理
(2)支持带有事件时间的窗
无剑_君
·
2024-01-22 20:26
大数据计算引擎之Flink简介
原文地址:大数据计算引擎之Flink简介Flink简介1.1Flink的初步认识ApacheFlink是为分布式、高性能、随时可用以即准确的
流处理
应用程序打造的开源处理框架ApacheFlink是一个框架和分布式处理引擎
开发实习生
·
2024-01-22 19:58
Flink
大数据学习之Flink,10分钟带你初步了解Flink
目录前摘一、认识Flink的Logo编辑二、了解Flink的起源三、了解Flink的发展四、明白Flink的定位五、Flink主要的应用场景六、流式数据处理的发展和演变1.
流处理
和批处理2.传统事务处理
十二点的泡面
·
2024-01-22 19:23
大数据
Flink
大数据
学习
flink
小程序学习-12
跟着老师做了一个上拉触底的案例建议局部开启通常是用于分类中的功能应进行节
流处理
,要上一个请求完成后才开始下一个请求
m0_51519738
·
2024-01-22 14:17
小程序学习
小程序
学习
Flink SQL 实时数据开发经验总结
使用SQL实现
流处理
的核心技术在了解了Table\SQLAPI的使用方法以及作业运行机制之后,接下来分析SQL实现
流处理
的核心技术。为什么要分析这个问题呢?
BUG记录机
·
2024-01-22 11:52
flink
sql
数据库
【大数据】
流处理
基础概念(一):Dataflow 编程基础、并行
流处理
流处理
基础概念(一):Dataflow编程基础、并行
流处理
1.Dataflow编程基础1.1Dataflow图1.2数据并行和任务并行1.3数据交换策略2.并行
流处理
2.1延迟与吞吐2.1.1延迟2.1.2
G皮T
·
2024-01-22 08:55
#
Flink
大数据
flink
流处理
窗口
算子
数据交换
实时计算
TaskExecutor统一内存配置(FLink FLIP-49翻译)
文章目录目的:(1)解决流、批配置差异大(2)解决Streaming方式RocksDB配置复杂(3)去掉复杂、不确定、难以理解的配置公共接口修改建议统一
流处理
和批处理内存管理内存使用场景及特点统一显式和隐式内存申请将托管的堆上内存池和堆外内存池分离
LS_ice
·
2024-01-22 08:38
flink
实时流媒体传输开源库——Live555
Live555(LiveMediaLibraries)是一个开源的多媒体
流处理
库,主要用于实现基于标准网络协议的实时流媒体传输。
稚肩
·
2024-01-22 06:25
音视频
深入剖析:Kafka流数据处理引擎的核心面试问题解析75问(5.7万字参考答案)
Kafka是一款开源的分布式
流处理
平台,被广泛应用于构建实时数据管道、日志聚合、事件驱动的架构等场景。本文将深入探究Kafka的基本原理、特点以及其在实际应用中的价值和作用。
danci_
·
2024-01-22 00:08
JAVA后端-刷题
java
kafka
中间件
面试
职场发展
程序人生
学习笔记
Flink容错机制(一)
Checkpoint)10.1.1检查点的保存10.1.2从检查点恢复状态10.1.3检查点算法10.1.4检查点配置10.1.5保存点(Savepoint)十:容错机制流式数据连续不断地到来,无休无止;所以
流处理
程序也是持续运行的
大数据阿嘉
·
2024-01-21 17:12
flink
java
数据库
穿越Flink的时间隧道:解锁实时数据之窗,掌握
流处理
之巅
目录Flink中的时间和窗口1时间语义1.1Flink中的时间语义1.1.1处理时间1.1.2事件时间1.2那种时间语义更重要2水位线2.1事件时间和窗口2.2什么是水位线2.3如何生成水位线2.3.1使用WatermarkGenerator2.3.2使用SourceFunction2.4水位线的传递2.5水位线的总结2.5.1水位线的作用如下2.5.2水位线的特性包括3窗口3.1窗口的概念3.2
佛系爱学习
·
2024-01-21 17:42
flink
大数据
Flink容错机制
在
流处理
中,我们采用存档和读档的策略,将之前的计算结果进行保存。这样,在系统重启后,我们可以继续处理新数据,而无需重新计算。
佛系爱学习
·
2024-01-21 17:40
flink
数据库
服务器
NVIDIA GeForce RTX 3090 GPU系列
该系列产品搭载专用的第2代RTCore,第3代TensorCore、全新的SM多单元
流处理
器以及令人惊叹的24GBG6X显存,所有特性都旨在全力为游戏玩家和创作者提供震撼的体验。
运维FUN
·
2024-01-21 12:16
gpu算力
DolphinDB学习(0):DolphinDB基本概述
所以博主汇总这一个系列的文章,尝试从最简单的基础常规操作开始,一边学习一边记录探索DolphinDB的过程,同时对一些函数做更形象的解释博主用DolphinDB的需求有以下几点:(股票/股指期权)使用
流处理
呆萌的代Ma
·
2024-01-21 08:29
数据库
学习
大数据之Kafka架构的核心组件及其功能
ApacheKafka是一个分布式
流处理
平台,主要用于构建实时数据管道和流应用。Kafka的架构设计以高吞吐量、持久化存储和水平扩展为目标。
转身成为了码农
·
2024-01-21 07:34
大数据
kafka
架构
流式系统:前言到第四章
在这一点上,我假设你要么对学习更多关于
流处理
的奇迹感兴趣,要么希望花几个小时阅读关于雄伟的棕色鳟鱼的荣耀。无论哪种方式,我都向你致敬!
绝不原创的飞龙
·
2024-01-21 03:29
大数据
大数据
流式系统:第五章到第八章
流处理
系统经常谈论一次性处理;也就是确保每个记录只被处理一次。我们将
绝不原创的飞龙
·
2024-01-21 03:59
大数据
大数据
Debezium发布历史75
,笔芯笔芯.使用Kogito进行审核日志的管理服务十月22,2019作者:MaciejSwiderski讨论示例apache-kafkakafka-streamskogito作为最近使用变更数据捕获和
流处理
构建审核日志博
大大蚊子
·
2024-01-20 13:13
CDC
debezium
FlinkCDC
数据库
大数据
运维
Debezium发布历史71
/audit-logs-with-change-data-capture-and-stream-processing/欢迎关注留言,我是收集整理小能手,工具翻译,仅供参考,笔芯笔芯.使用变更数据捕获和
流处理
构建审核日志
大大蚊子
·
2024-01-20 13:41
debezium
FlinkCDC
CDC
运维
数据库
大数据
JAVA背压
ReactiveStreams:一种支持背压的异步数据
流处理
标准,主流实现有RxJava和Reactor,SpringWebFlux默认集成的是Reactor。
王小杰at2019
·
2024-01-20 12:24
Kafka文件存储机制
Partiton中文件存储方式segment文件存储结构在partition中如何通过offset查找message文件存储流程集群partitions和replicas默认分配概述Kafka是一种分布式的
流处理
平台
Java技术债务
·
2024-01-20 08:22
Kafka
kafka
java
大数据
亚信安慧AntDB数据库实现用户稳定服务与超融合功能的融合
AntDB的成功得益于其独特的“超融合”理念,这一理念的提出旨在将多种数据处理场景融合于一个数据库产品中,使其具备交易、分析、
流处理
等多重能力。这样一来
亚信安慧AntDB数据库
·
2024-01-20 01:01
数据库
antdb数据库
antdb
Flink编程——风险欺诈检测
代码分析执行环境创建数据源对事件分区&欺诈检测输出结果运行作业欺诈检测器欺诈检测器v1:状态欺诈检测器v2:状态+时间完整的程序期望的结果ApacheFlink提供了DataStreamAPI来实现稳定可靠的、有状态的
流处理
应用程序
不二人生
·
2024-01-19 09:31
#
Flink
编程
flink
python
大数据
Flink中ProcessFunction的用法
ProcessFunction是ApacheFlink中用于实现更为复杂和灵活的
流处理
逻辑的一个关键抽象。它提供了一种更加底层和灵活的处理方式,允许开发者直接操作元素并定义事件处理的行为。
暴走的贼宇
·
2024-01-19 08:55
flink
大数据
第四章 FlinkAPI & 编程模型
1、API基础概述1.1、四层API(1)第⼀层是最底层的抽象为有状态实时
流处理
,抽象实现是ProcessFunction,⽤于底层处理(2)第⼆层抽象是CoreAPIs,许多应⽤程序不需要使⽤到上述最底层抽象的
随缘清风殇
·
2024-01-19 08:49
#
Flink专题
flink
Flink1.17 基础知识
Flink1.17基础知识Flink概述Flink是什么Flink特点FlinkvsSparkStreamingFlink的应用场景Flink分层APIFlink快速上手创建项目WordCount代码编写批处理
流处理
魅美
·
2024-01-19 08:16
大数据基础
大数据
flink
Flink简介与应用场景
Flink是一个开源的分布式,高性能,高可用,准确的
流处理
框架。主要由Java代码实现,支持实时
流处理
和批处理,批数据只是流数据的一个极限案例。支持了迭代计算,内存管理和程序优化。
Real_man
·
2024-01-19 03:42
Flink学习
批处理和
流处理
的区别批处理和
流处理
是数据处理的两种主要方式,它们在处理时间、数据量和处理方式上有一些不同。
~kiss~
·
2024-01-18 21:31
flink
flink
学习
大数据
Flink应如何处理窗口中迟到的数据?
一般情况就不应该把它的延迟设置得太大,否则
流处理
的实时性就会大大降低2.允许窗口处理迟到数据由于大部分乱序数据已经被水位线的延迟等到了,所以往往
轩裳已逝铭崖
·
2024-01-18 13:17
flink
java
大数据
C# 来做 视频播放 视频
流处理
转码 实时传输
最近一直在研究视频实时查看播放很遗憾只成功了一半记录一下历程以便大家相互交流项目需求是GPS视频设备连接服务器将视频流走RTP协议发送到服务器服务器将接收的视频流传输给客户端实时查看1.第一步上网查了一下RTP是什么参考http://blog.csdn.net/chen495810242/article/details/392073052.第二步上网查了视频是由什么组成的参考视频编码之I帧、P帧、
weixin_30292745
·
2024-01-17 12:50
c#
网络
ffmpeg
Kafka详解及常见面试问题解析(值得珍藏)
1.定义Kafka是由Apache软件基金会开发的一个开源
流处理
平台,由Scala和Java编写。它是一种高吞吐量的分布式发布订阅消息系统,可以处理消费者在网站中的所有动作流数据。
孤蓬&听雨
·
2024-01-17 07:29
知识库
面试资料
kafka
面试
分布式
消息队列
FlinkAPI开发之处理函数
案例用到的测试数据请参考文章:Flink自定义Source模拟数据流原文链接:https://blog.csdn.net/m0_52606060/article/details/135436048概述之前所介绍的
流处理
Appreciate(欣赏)
·
2024-01-17 06:03
Flink
java
java
flink
大数据
深入理解与应用Flink中的水印机制
水印机制概述在实时
流处理
中,事件时间是指事件在其原始生产系统中生成的真实时间戳,而非接收或处理事件的时间。然而,
临界爵迹
·
2024-01-17 06:03
大数据
flink
flink
大数据
【Flink-1.17-教程】-【一】Flink概述、Flink快速入门
FlinkvsSparkStreaming4)Flink的应用场景5)Flink分层API6)Flink快速入门6.1.创建项目6.2.WordCount代码编写6.2.1.批处理(了解)6.2.2.
流处理
bmyyyyyy
·
2024-01-16 08:16
Flink
flink
java
大数据
#flink概述
#flink快速入门
#wordcount
Flink-容错机制
Flink中的容错机制流式数据连续不断地到来,无休无止;所以
流处理
程序也是持续运行的,并没有一个明确的结束退出时间。机器运行程序,996起来当然比人要容易得多,不过希望“永远运行”也是不切实际的。
左美美  ̄
·
2024-01-16 05:24
flink
大数据
Kafka和Flink:构建高吞吐量的实时数据
流处理
系统
1.背景介绍在当今的大数据时代,实时数据
流处理
已经成为企业和组织中非常重要的一部分。随着数据的增长和复杂性,传统的批处理方法已经不能满足实时性和吞吐量的需求。因此,实时数据
流处理
技术变得越来越重要。
OpenChat
·
2024-01-16 05:20
AI大模型应用入门实战与进阶
AI大模型企业级应用开发实战
LLM大模型落地实战指南
大数据
人工智能
语言模型
AI
LLM
Java
Python
架构设计
Agent
RPA
ClickHouse - 01
1、ClickHouse与其特性在大数据处理场景中,
流处理
和批处理使用到的技术大致如下:大数据处理场景流程.png批处理会将源业务系统中的数据通过数据抽取工具(例如Sqoop)将数据抽取到HDFS中,这个过程可以使用
ArthurHC
·
2024-01-16 02:17
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他