流处理

Flink-[白话解析] Flink的Watermark机制

0x01问题关于Watermark，很容易产生几个问题Flink流处理应用中，常见的处理需求/应对方案是什么?Wat
Jimmy2019·2023-10-08 01:00

golang工具函数库-lancet

功能涵盖字符串处理、切片处理、网络、并发、加解密、文件处理、时间/日期、流处理、迭代器等。
raoxiaoya·2023-10-07 12:46

DeepStream 部署 RTSP + scaled-yolov4 (tensorrtx)

DeepStream应用程序将深度神经网络和其他复杂的处理任务引入到流处理管道中，以实现对视频和其他传感器数据的近实时分析。从这些传感器中提取有意义的见解为提高运营效率和安全性创造了机会。
J ..·2023-10-06 22:36

kafka初体验基础认知部署

kafka基础介绍ApacheKafka是一个分布式流处理平台，最初由LinkedIn开发并于2011年开源。它主要用于解决大规模数据的实时流式处理和数据管道问题。
七层汉堡王·2023-10-06 18:16

# Flink的状态

有状态的计算是流处理框架要实现的重要功能，因为稍复杂的流处理场景都需要记录状态，然后在新流入数据的基础上不断更新状态。
独影月下酌酒·2023-10-05 08:13

消息中间件应用的常见问题及优化方案

当前市面上有很多中消息中间件，包括但不限于RabbitMQ、RocketMQ、ActiveMQ、Kafka(流处理中间件)等。很多开发人员已经熟练地掌握了一个或者多个消息中间件的使用。
十一技术斩·2023-10-04 18:18

kafka从入门到实践

流处理平台。我们说的更多的是"消息队列"。流处理是什么？流是数据。处理是动作。流处理就是不断对数据进行结果计算的动作。它的适用场景更多的是：监控告警日志流处理BI模型训练...我们常说的mq是什么？
花一个无所·2023-10-04 18:16

C++ Primer Plus学习（十五）——string类和标准模板库

string类和标准模板库string类构造函数string类输入赋值长度连接比较子串交换查找替换删除插入将string对象作为流处理用STL算法操作string对象next_permutation函数介绍
_归尘_·2023-10-04 09:48

KSQL：Apache Kafka的流式SQL

KSQL降低了流处理世界的入口，提供了一个简单而完全交互的SQL接口，用于处理Kafka中的数据。您不再需要使用Java或Python等编程语言编写代码！KSQL是分布式的，可扩展的，可靠的和实时的。
超级侠哥·2023-10-04 06:16

初识Java-IO流

从数据源到程序中的流输出流：从程序到数据源的流2)按数据传输单位分字节流：以字节为单位传输数据的流（图片，视频，文本）字符流：以字符为单位传输数据的流（只能为文本）3)按功能(层次)分节点流：直接与数据源打交道的流处理流
Java仗剑走天涯·2023-10-04 00:39

Python智能监控与视频分析

Python智能监控和视频分析主要包括以下几个方面的内容：视频流处理：对于监控设备所抓取到的实时视频流进行实时解码、裁剪、缩放等处理，以便提高处理效率和准确率。
心梓知识·2023-10-03 18:30

初识Java-IO流

从数据源到程序中的流输出流：从程序到数据源的流2)按数据传输单位分字节流：以字节为单位传输数据的流（图片，视频，文本）字符流：以字符为单位传输数据的流（只能为文本）3)按功能(层次)分节点流：直接与数据源打交道的流处理流
weixin_30878501·2023-10-02 06:27

基于Guava RateLimiter，实现一个“API级别的限流”注解

一、整体思路自定义一个注解，里面有个限流值的变量；在需要的接口上，加上该注解，并设置好限流值，比如：@RateLimit(5)；写一个针对该注解的切面，before()阶段进行限流判断和限流处理。
Cherron·2023-10-02 01:28

Flink中的状态一致性

有状态的流处理，内部每个算子任务都可以有自己的状态。对于流处理内部来说，所谓状态一致性，其实就是所说的计算结果要保证准确。一条数据不应该丢失，也不应该重复计算。
独影月下酌酒·2023-10-01 06:56

CUDA学习笔记0929

一、GPU缓存和变量作用域1.缓存类型（1）GPU缓存是非可编程存储区域（2）GPU包含4类缓存：L1缓存，每个流处理器一个L2缓存，全部流处理器共享一个L1和L2都可用于存储本地和全局内存中的数据，包括寄存器溢出数据
m0_46521579·2023-10-01 01:19

Java IO整理总结之字节流

摘要：Java流分为字节流和字符流，字符流处理的是2个字节的单元比如字符串、字符数组；而字节流处理的是一个字节的单元比如字节和字节数组。字
秃头哥编程·2023-09-30 19:30

显卡

参考：https://www.jianshu.com/p/e67281584d07参数显卡的参数有，核心、流处理器、架构、制程、核心频率、显存频率、显存位宽、接口、功耗GDDR3和GDDR5GDDR3属于前代显存颗粒
白衣渡人_a063·2023-09-30 07:25

Kafka生产者示例：发送JSON数据到Kafka Topic

Kafka生产者示例：发送JSON数据到KafkaTopicKafka是一个高性能、分布式的流处理平台，广泛应用于大数据领域。
雨中徜徉的思绪漫溢·2023-09-30 04:26

java大数据之flink

一、Flink简介1.1Flink是什么ApacheFlink是一个开源的分布式，高性能，高可用，准确的流处理框架。
这一刻_776b·2023-09-29 19:42

大数据知识图谱笔记

没有什么是一张图解决不了的，如果有就再画一张目录1集成平台2分布式文件系统3Hadoop生态圈4Spark生态圈5数据存储访问6实时流处理7搜索引擎(Lucence)8文件格式9压缩
*沧海明月*·2023-09-29 06:59

IO流的概念和工作原理

字符流处理的单元为2个字节的Unicode字符，分别操作字符、字符数组或字符串。2、字节流字节流能处
duxing_xiaobobo·2023-09-29 00:39

Kafka：介绍和内部工作原理

它是一个分布式流处理平台或分布式提交日志。Kafka通常用于实时流数据管道，即在系统之间传输数据，构建不断流动的数据转换系统和构建事件驱动的系统。它确实可以充当消息队列，但不仅限于此。
冲浪中台·2023-09-28 16:54

Kafka：介绍和内部工作原理

•它是一个分布式流处理平台或分布式提交日志*。*•Kafka通常用于实时流数据管道，即在系统之间传输数据，构建不断流动的数据转换系统和构建事件驱动的系统。•它确实可以充当消息队列，但不仅限于此。
小技术君·2023-09-28 14:28

Kafka快速实战以及基本原理详解

Kafka2、Kafka快速上手2.1、实验环境2.2、单机服务体验2.3、理解Kakfa的消息传递机制1、Kafka介绍ChatGPT对于ApacheKafka的介绍：ApacheKafka是一个分布式流处理平台
Tacy0213·2023-09-28 13:15

springboot实现自定义注解限流

最近搭建的博客网站，详情被人刷了，特意以此来提醒该加限流处理了引入依赖org.springframework.bootspring-boot-starter-data-redisorg.springframework.bootspring-boot-starter-aop
Peak_Gao·2023-09-28 09:35

一文教你理解Kafka offset

日常开发中，相信大家都对Kafka有所耳闻，Kafka作为一个分布式的流处理平台，一般用来存储和传输大量的消息数据。在Kafka中有三个重要概念，分别是topic、partition和offset。
waynaqua·2023-09-28 04:42

一文教你理解Kafka offset

日常开发中，相信大家都对Kafka有所耳闻，Kafka作为一个分布式的流处理平台，一般用来存储和传输大量的消息数据。在Kafka中有三个重要概念，分别是topic、partition和offset。
·2023-09-27 18:59

谢谢，温暖如你们

前年、去年爸爸住院的事还记忆犹新，姐姐和我轮流处理爸爸的事情，还有一大家子人一起帮忙，心想着今年爸爸做手术，刚好姐姐也有时间，挺好的。
木木伊呦·2023-09-27 17:10

flink运行原理_Flink架构及其工作原理

Fink专注分布式流处理。
吾心指南·2023-09-27 12:17

Flink读取数据的5种方式（文件，Socket，Kafka，MySQL，自定义数据源）

当需要进行功能测试时，可以将数据保存在文件中，读取后验证流处理的逻辑是否符合预期。
冀辉·2023-09-27 06:01

java中try-with-resources自动关闭io流

在传统的输入输出流处理中，我们一般使用的结构如下所示，使用try-catch-finally结构捕获相关异常，最后不管是否有异常，我们都将流进行关闭处理：try{//todo}catch(IOExceptione
luffy5459·2023-09-27 03:35

大数据开发：Flink内存数据结构

Flink作为流计算代表性的框架，近几年来的热度越来越高，而Flink流处理，核心思想是有状态的流计算，这就要求在数据存储和管理要能跟得上场景需求，确保高性能，高可靠。
成都加米谷大数据·2023-09-27 00:48

【Flink】

运行逻辑状态把流处理需要的额外数据保存成一个“状态”,然后针对这条数据进行处理,并且更新状态。这就是所谓的“有状态的流处理”。
岩塘·2023-09-26 23:02

Flink流处理之窗口算子分析

窗口算子WindowOperator是窗口机制的底层实现，它几乎会牵扯到所有窗口相关的知识点，因此相对复杂。本文将以由面及点的方式来分析WindowOperator的实现。首先，我们来看一下对于最常见的时间窗口（包含处理时间和事件时间）其执行示意图：上图中，左侧从左往右为事件流的方向。方框代表事件，事件流中夹杂着的竖直虚线代表水印，Flink通过水印分配器（TimestampsAndPeriodi
vinoYang·2023-09-26 18:04

Flink 中的窗口

在流处理中，我们往往需要面对的是连续不断、无休无止的无界流，不
芝士雪豹.·2023-09-26 18:02

DolphinDB x 龙蜥社区，打造多样化的数据底座

作为一款基于高性能时序数据库，DolphinDB支持复杂分析与流处理的实时计算平台，集成了功能强大的编程语言和高吞吐率的流数据分析系统，为海量结构化数据的快速存储、检索、分析及计算提供一站式解决方案，特别适用于量化金
DolphinDB智臾科技·2023-09-25 18:35

【18】进大厂必须掌握的面试题-15个Kafka面试

特征描述高吞吐量使用适度的硬件支持数百万条消息可扩展性高度可扩展的分布式系统，无停机复写消息在整个群集中复制，以为多个订户提供支持，并在发生故障时平衡使用方持久性提供对消息到磁盘的持久性的支持流处理与ApacheSpark
Java架构师必看·2023-09-25 18:07

spark streaming背压机制

sparkstreaming背压机制背压机制产生的背景背压(backpressure)机制主要用于解决流处理系统中，业务流量在短时间内剧增，造成巨大的流量毛刺，数据流入速度远高于数据处理速度，对流处理系统构成巨大的负载压力的问题
小～蜉蝣·2023-09-25 16:44

Flink入门系列01-概述

flink以流处理方式作为基础，并通过有界流来实现批计算，从而实现批流一体。运行架构Flink集群采取Master-Slave架构Master的角色是JobManage
Empty-cup·2023-09-25 14:32

【面试】卡夫卡Kafka相关

Kafka被设计用于高吞吐量、持久性和可扩展性的数据流处理。以下是Kafka的一些主要特点和概念：消息代理：Kafka是一个高性能的分布式消息代理，允许应用程序发布和订阅消息流。
NCY_92377·2023-09-25 12:42

C#__使用流读取和写入数据的简单用法

使用流处理数据的优势：可以一次性搬运数据量大的文件，把数据当做水，一点一点搬运。
天上游戏地下人间·2023-09-24 20:22

科目三基础四项（二）

除了后视镜也要看人行道、慢车道转向灯可以视情况关闭，没调整好脱一会没事在公交车后要保持距离，提前做好左转的打算纵向、横向的车流处理方式1、右转：打右转向灯。三秒以上观察四周。
matlab练习生·2023-09-23 16:40

Kafka入门

Kafka可以处理多种类型的数据，如事件、日志、指标等，广泛应用于实时数据流处理、日志收集、监控和分析等领域。2.设计架构Producer：消息生产者，就是向kafkabroker发消息的客户端。
吾日三省吾码·2023-09-23 16:37

EMQ Meetup2020 成都站回顾

作为专注物联网消息与流处理的开源软件企业，EMQ也将2020年首场线下Meetup的地点选在了物联网产业飞速发展的成都。8月29日，多位物联网领域应用开发者朋友相聚成都，与E
EMQX·2023-09-23 10:33

Flink知识点总结

一、Flink简介1.1初识FlinkFlink项目的理念是：ApacheFlink是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架。
「miraitowa」·2023-09-23 02:49

第十章 Flink

1.Flink初识1.1数据处理架构的发展和演变流处理和批处理流处理对应实时计算批处理对应离线计算传统事务处理传统的事务处理，就是最基本的流处理架构。
Adopat·2023-09-23 02:18

Flink Window机制与watermark水位线

这里目录标题1.简介2、Flink搭建3、Flink运行架构4、程序与数据流（DataFlow）5、Flink流处理API6、Window窗口机制6.1、策略6.2、类型6.3、WindowsAPI6.3.1
忄凝^·2023-09-23 02:18

Flink（1.12版本）

事件驱动、时间语义、没有共享组：slot个数=最大算子的并行度共享组：slot的个数=组内最大算子的并行度之和一、Flink的重要特点1.1分层API1.2Flink与Spark的对比FlinkSpark①流处理批处理
Loreeta·2023-09-23 02:17

如何使用Java8 Stream()流处理集合

关注我，精彩文章第一时间推送给你公众号.jpg简介Java8API添加了一个新的抽象称为流Stream，可以让你以一种声明的方式处理数据。Stream使用一种类似用SQL语句从数据库查询数据的直观方式来提供一种对Java集合运算和表达的高阶抽象。StreamAPI可以极大提高Java程序员的生产力，让程序员写出高效率、干净、简洁的代码。这种风格将要处理的元素集合看作一种流，流在管道中传输，并且可以
yunqing_71·2023-09-22 15:46

Java IO流处理 面试题汇总

说明：本节内容来源于网络汇总输入输出流是相对于内存而言的！##1、面试题汇总（1）java中有几种类型的流？2021-08-19更新：从编码方式上，分为字符流和字节流。如上图可知：字节流继承inputStream和OutputStream字符流继承自Reader和Writer。（2）谈谈JavaIO里面的常见类，字节流，字符流、接口、实现类、方法阻塞答：输入流就是从外部文件输入到内存，输出流主要是
egegerhn·2023-09-22 14:29
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他