流处理

Flink1.12-四大基石详解

Flink-Window在流处理应用中，数据是连续不断的，有时我们需要做一些聚合类的处理，例如：在过去的1分钟内有多少用户点击了我们的网页。
一只楠喃·2023-10-13 20:55

走进Flink

什么是FlinkFlink是一个分布式的、高性能的、可伸缩的、容错的流处理引擎，它支持批处理和流处理，并提供了丰富的API和库，是实时数据处理的理想选择由Java和Scala实现的，所以所有组件都会运行在
、小H·2023-10-13 20:18

java非文本文件copy

文本文件使用字符流来处理非文本文件使用字节流来处理字节流处理代码整理publicvoidcopyFile(StringsrcPath,StringdesPath){FileInputStreamfileInputStream
xd0123456789·2023-10-13 19:54

Java的第十四章：lambda表达式语流处理

lambda表达式lambda表达式简介lambda表达式可以用非常少的代码实现抽象方法。lambda表达式不能独立执行，因此必须实现函数式接口，并且会返回一个函数接口的对象。可以将lambda表达式语法用法如下：（方法参数）->{方法体}这个方法按照这样的代码来实现语法格式如下：()->{代码块}参数->{代码块}(参数1，参数2，...，参数n)->{代码块}lambda表达式实现函数式接口1
MY.MY.·2023-10-13 11:08

【面经笔记】CUDA

sp:小核（流处理器）最基本的处理单元，streamingprocessor最后具体的指令和任务都是在sp上处理的。
xiaxzhou·2023-10-12 21:37

GPU 基础知识整理

萌新：在接触一款硬件时我会：基础硬件结构，线程结构，内存布局，数据吞吐量，等方面进行学习首先GPU的特点:并行性能：GPU是专门设计用于并行计算的硬件，通常具有大量的处理单元（CUDA核心或流处理器）。
运气好到爆·2023-10-12 21:32

flink DataStream API（四）状态和容错-使用状态

请查看StatefulStreamProcessing以了解有状态流处理背后的
666呀·2023-10-12 19:50

SICP--流

然而，把流直接表示为表并不能完全揭示流处理的威力。
zaizai1007·2023-10-12 13:40

Flink窗口-时间窗口

无论是哪一种窗口，他们的作用都类似于计算器（计算数量、时间）仅仅只是让数据堆积（不会像默认的流处理，来一条处理一条），只有当满足触发计算时机的时候，便开始计算，比如五个数据才计算，或者五秒钟才计算一次…
保护我方胖虎·2023-10-12 08:53

Netty——深入理解主从 Reactor 多线程模式

2）使用JavaNIO，程序员需要具备高超的Java多线程编码技能，以及非常熟悉网络编程，比如要处理断连重连、网络闪断、半包读写、失败缓存、网络拥塞和异常流处理等一系列棘手的工作。
读书人钟同学·2023-10-12 02:41

大数据开发-Flink-数据流DataStream和DataSet

文章目录一、DataStream的三种流处理Api1.1DataSource1.2Transformation1.3Sink二、DataSet的常用Api2.1DataSource2.2Transformation2.3SinkFlink
往事随风_h·2023-10-11 14:01

【基础篇】一、什么是Flink

文章目录1、Flink是什么2、有界流和无界流3、有状态流处理4、Flink的特点5、Flink对比SparkStreaming6、Flink的应用场景7、Flink的分层API1、Flink是什么ApacheFlink
-代号9527·2023-10-11 12:26

【基础篇】二、Flink的批处理和流处理API

文章目录0、demo模块创建1、批处理有界流2、流处理有界流3、流处理无界流4、Thegenerictypeparametersof'Collector'aremissing0、demo模块创建创建个纯
-代号9527·2023-10-11 12:26

数据采集项目之业务数据（三）

内部是通过监控MySQL的Binlog日志，并将变更数据以JSON格式发送到Kafka等流处理平台。
十七✧ᐦ̤·2023-10-11 06:36

分布式系列之分布式分析计算引擎Spark解析

1、Spark基本介绍ApacheSpark是一种通用可扩展的大数据分析引擎，集批处理、实时流处理、交互式查询与流计算于一体，避免了多种运算场景下需要部署不同集群带来的资源浪费。另外，Spark是
solihawk·2023-10-11 04:46

Spark分布式计算框架之SparkStreaming+kafka

1、SparkStreaming的介绍SparkStreaming是流式处理框架，是SparkAPI的扩展，支持可扩展、高吞吐量、容错的实时数据流处理，实时数据的来源可以是：Kafka,Flume,Twitter
embelfe_segge·2023-10-11 04:12

Stream 流式编程：并行流

目录并行流的定义如何使用并行流提高性能并行流的适用场景并行流的注意事项并行流的定义在Java8中，Stream提供了顺序流（SequentialStream）和并行流（ParallelStream）两种数据流处理方式
墨子白·2023-10-11 00:25

Flink开发环境搭建与提交运行Flink应用程序

Flink开发环境搭建与提交运行Flink应用程序Flink概述环境Flink程序开发项目构建添加依赖安装Netcat实现经典的词频统计批处理示例流处理示例FlinkWebUI命令行提交作业编写Flink
CodeDevMaster·2023-10-10 23:48

消息队列kafka

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。
丿凋灬零·2023-10-10 07:53

Flink---14、Flink SQL（SQL-Client准备、流处理中的表、时间属性、DDL）

star的个人主页                      你生而真实，而非完美文章目录1、FlinkSQL1.1SQL-Client准备1.1.1基于yarn-session模式1.1.2常用配置1.2流处理中的表
星光下的赶路人star·2023-10-10 02:17

大数据——基于Spark Streaming的流数据处理和分析

基于SparkStreaming的流数据处理和分析流是什么为什么需要流处理流处理应用场景如何进行流处理SparkStreaming简介SparkStreaming流数据处理架构SparkStreaming
蜂蜜柚子加苦茶·2023-10-09 21:03

【Spark分布式内存计算框架——Spark Streaming】2. Streaming 概述（下）Streaming 计算模式、SparkStreaming 计算思想

NathanMarz等人于2010年最先开发，之后将Storm开源，成为Apache的顶级项目，Trident对Storm进行了一个更高层次的抽象；另外由LinkedIn贡献给社区的Samza也是一种流处理解决方案
csdnGuoYuying·2023-10-09 21:33

Java流

Java流JavaIO流分为两类节点流（也称低级流）：文件流处理流（也称高级流）：缓冲流缓冲输出流的缓冲区问题对象流对象序列化对象反序列化转换流转换输出流转换输入流缓冲字符流直接调用PrintWriter
羽非鱼·2023-10-09 20:49

论文笔记：Structured Streaming: A Declarative API for Real-Time Applications in Apache Spark

一、引言早期的流处理系统存在两个问题：(1).系统需要用户去考虑复杂的物理执行概念，比如at-least-oncedelivery、状态存储、触发模式等流处理独有的概念。
Bamboooooo_Yoo·2023-10-09 07:34

MQ - 38 Serverless : 基于Serverless架构实现流式数据处理

ServerlessServerless的定义ServerlessFunction如何基于Serverless实现数据处理数据处理流程底层架构和技术原理两种方案的优劣势对比业务案例和场景分析日志清洗场景事件流处理其他
小小工匠·2023-10-09 07:12

Apache Flink分布式流处理引擎

ApacheFlink是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算，支持开发和运行多种不同种类的应用程序。它的主要特性包括：、、以及等。（1）处理无界和有界数据任何类型的数据都可以形成一种事件流。信用卡交易、传感器测量、机器日志、网站或移动应用程序上的用户交互记录，所有这些数据都形成一种流。数据可以
reco171·2023-10-09 00:10

Kafka是什么，以及如何使用SpringBoot对接Kafka

系列文章目录上手第一关，手把手教你安装kafka与可视化工具kafka-eagleKafka是什么，以及如何使用SpringBoot对接Kafka系列文章目录一、Kafka与流处理二、SpringBoot
战斧·2023-10-08 18:10

Spring Cloud Stream 和 Kafka实战教程

本文通过实战项目基于事件驱动架构实现实时流处理应用，使用到SpringBoot、Springmvc、SpringCloudStream、ApacheKafka、Lombok。
梦想画家·2023-10-08 17:24

11.Kafka系列之Stream实践

它是一个轻量级的库，允许你在Java和Scala中创建和运行流处理应用程序，这些应用程序可以读取输入流，执行各种数据转换，然后将处理后的结果发送到输出流。
沈健_算法小生·2023-10-08 17:50

大数据软件开发的数据队列框架

它广泛用于数据流处理和日志收集。2.RabbitMQ：RabbitMQ是一个开源的消息中间件，实现了
defdsdddev·2023-10-08 12:19

C#迭代器的实现和应用(一)——基础篇

在熟悉了这些C#迭代器的基础之后，我会在后面两篇博客中展示迭代器的延迟处理和LINQ中流处理的实现，以及Unity中的协程的实现，如果
达也酱·2023-10-08 05:07

Flink-[白话解析] Flink的Watermark机制

0x01问题关于Watermark，很容易产生几个问题Flink流处理应用中，常见的处理需求/应对方案是什么?Wat
Jimmy2019·2023-10-08 01:00

golang工具函数库-lancet

功能涵盖字符串处理、切片处理、网络、并发、加解密、文件处理、时间/日期、流处理、迭代器等。
raoxiaoya·2023-10-07 12:46

DeepStream 部署 RTSP + scaled-yolov4 (tensorrtx)

DeepStream应用程序将深度神经网络和其他复杂的处理任务引入到流处理管道中，以实现对视频和其他传感器数据的近实时分析。从这些传感器中提取有意义的见解为提高运营效率和安全性创造了机会。
J ..·2023-10-06 22:36

kafka初体验基础认知部署

kafka基础介绍ApacheKafka是一个分布式流处理平台，最初由LinkedIn开发并于2011年开源。它主要用于解决大规模数据的实时流式处理和数据管道问题。
七层汉堡王·2023-10-06 18:16

# Flink的状态

有状态的计算是流处理框架要实现的重要功能，因为稍复杂的流处理场景都需要记录状态，然后在新流入数据的基础上不断更新状态。
独影月下酌酒·2023-10-05 08:13

消息中间件应用的常见问题及优化方案

当前市面上有很多中消息中间件，包括但不限于RabbitMQ、RocketMQ、ActiveMQ、Kafka(流处理中间件)等。很多开发人员已经熟练地掌握了一个或者多个消息中间件的使用。
十一技术斩·2023-10-04 18:18

kafka从入门到实践

流处理平台。我们说的更多的是"消息队列"。流处理是什么？流是数据。处理是动作。流处理就是不断对数据进行结果计算的动作。它的适用场景更多的是：监控告警日志流处理BI模型训练...我们常说的mq是什么？
花一个无所·2023-10-04 18:16

C++ Primer Plus学习（十五）——string类和标准模板库

string类和标准模板库string类构造函数string类输入赋值长度连接比较子串交换查找替换删除插入将string对象作为流处理用STL算法操作string对象next_permutation函数介绍
_归尘_·2023-10-04 09:48

KSQL：Apache Kafka的流式SQL

KSQL降低了流处理世界的入口，提供了一个简单而完全交互的SQL接口，用于处理Kafka中的数据。您不再需要使用Java或Python等编程语言编写代码！KSQL是分布式的，可扩展的，可靠的和实时的。
超级侠哥·2023-10-04 06:16

初识Java-IO流

从数据源到程序中的流输出流：从程序到数据源的流2)按数据传输单位分字节流：以字节为单位传输数据的流（图片，视频，文本）字符流：以字符为单位传输数据的流（只能为文本）3)按功能(层次)分节点流：直接与数据源打交道的流处理流
Java仗剑走天涯·2023-10-04 00:39

Python智能监控与视频分析

Python智能监控和视频分析主要包括以下几个方面的内容：视频流处理：对于监控设备所抓取到的实时视频流进行实时解码、裁剪、缩放等处理，以便提高处理效率和准确率。
心梓知识·2023-10-03 18:30

初识Java-IO流

从数据源到程序中的流输出流：从程序到数据源的流2)按数据传输单位分字节流：以字节为单位传输数据的流（图片，视频，文本）字符流：以字符为单位传输数据的流（只能为文本）3)按功能(层次)分节点流：直接与数据源打交道的流处理流
weixin_30878501·2023-10-02 06:27

基于Guava RateLimiter，实现一个“API级别的限流”注解

一、整体思路自定义一个注解，里面有个限流值的变量；在需要的接口上，加上该注解，并设置好限流值，比如：@RateLimit(5)；写一个针对该注解的切面，before()阶段进行限流判断和限流处理。
Cherron·2023-10-02 01:28

Flink中的状态一致性

有状态的流处理，内部每个算子任务都可以有自己的状态。对于流处理内部来说，所谓状态一致性，其实就是所说的计算结果要保证准确。一条数据不应该丢失，也不应该重复计算。
独影月下酌酒·2023-10-01 06:56

CUDA学习笔记0929

一、GPU缓存和变量作用域1.缓存类型（1）GPU缓存是非可编程存储区域（2）GPU包含4类缓存：L1缓存，每个流处理器一个L2缓存，全部流处理器共享一个L1和L2都可用于存储本地和全局内存中的数据，包括寄存器溢出数据
m0_46521579·2023-10-01 01:19

Java IO整理总结之字节流

摘要：Java流分为字节流和字符流，字符流处理的是2个字节的单元比如字符串、字符数组；而字节流处理的是一个字节的单元比如字节和字节数组。字
秃头哥编程·2023-09-30 19:30

显卡

参考：https://www.jianshu.com/p/e67281584d07参数显卡的参数有，核心、流处理器、架构、制程、核心频率、显存频率、显存位宽、接口、功耗GDDR3和GDDR5GDDR3属于前代显存颗粒
白衣渡人_a063·2023-09-30 07:25

Kafka生产者示例：发送JSON数据到Kafka Topic

Kafka生产者示例：发送JSON数据到KafkaTopicKafka是一个高性能、分布式的流处理平台，广泛应用于大数据领域。
雨中徜徉的思绪漫溢·2023-09-30 04:26

java大数据之flink

一、Flink简介1.1Flink是什么ApacheFlink是一个开源的分布式，高性能，高可用，准确的流处理框架。
这一刻_776b·2023-09-29 19:42
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他