流处理

【高危】Apache NiFi 远程资源检索功能存在命令注入漏洞

漏洞描述ApacheNiFi是一个开源的数据流处理和自动化工具。
墨菲安全·2023-08-10 21:22

Kafka多版本集群搭建超详细

百度百科对Kafka有如下描述：Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。
楚生辉·2023-08-10 16:41

java中try-with-resources自动关闭io流

文章目录java中try-with-resources自动关闭io流0简要说明try-with-resourcesjava中try-with-resources自动关闭io流0简要说明在传统的输入输出流处理中
geekmice·2023-08-10 14:09

Flink

这里目录标题1.简介1.1.大数据计算引擎1.2、Flink特点1.3、流处理框架对比1.4、事件驱动型1.5、Flink技术栈1.6、Flink编程模型2、Flink搭建3、Flink运行架构3.1、
忄凝^·2023-08-10 05:02

10.大数据技术之Flink

文章目录1、Flink简介1.1Flink的引入1.2什么是Flink1.3Flink流处理特性1.4Flink基石1.5批处理与流处理2、Flink架构体系2.1Flink中的重要角⾊JobManager
数据带你飞·2023-08-10 05:02

Flink流处理

Flink流处理1.输入数据集DataSourceFlink中可以使用StreamExecutionEnvironment.getExecutionEnvironment创建流处理的执行环境。
胜利的曙光·2023-08-10 05:29

Flink 容错机制

这一切看似简单，可是在实时流处理中，我们不仅需要保证故障后能够重启继续运行，还要保证结果的正确性、故障恢复的速度、对处理性能的影响，这就需要在架构上做出更加精巧的设计。  
落花雨时·2023-08-10 05:26

docker-compose 安装kafka集群

点击关注《golang技术实验室》公众号****，将****获取更多干货介绍Kafka是一种高性能的分布式流处理平台，它的集群工作原理如下：假设你是一个快递员，Kafka集群就是一个快递中转站。
a...Z·2023-08-10 05:41

Kafka部署 与 kafka-python 的使用

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。
恶魔西洛伊·2023-08-10 04:43

Flink多流处理之connect拼接流

Flink中的拼接流connect的使用其实非常简单,就是leftStream.connect(rightStream)的方式,但是有一点我们需要清楚,使用connect后并不是将两个流给串联起来了,而是将左流和右流建立一个联系,作为一个大的流,并且这个大的流可以使用相同的逻辑处理leftStream和rightStream,也可以使用不同的逻辑处理leftStream和rightStream.如
飞天小老头·2023-08-09 23:45

pytorch Stream 多流处理

CUDStreamhttps://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html#c-language-extensions中指出在kenel的调用函数中最后一个可选参数表示该核函数处在哪个流之中。-参数Dg用于定义整个grid的维度和尺寸，即一个grid有多少个block。为dim3类型。Dim3Dg(Dg.x,Dg.y,1)表示
FakeOccupational·2023-08-09 09:16

Flink 两阶段提交（Two-Phase Commit）协议

Flink两阶段提交（Two-PhaseCommit）是指在ApacheFlink流处理框架中，为了保证分布式事务的一致性而采用的一种协议。
贾斯汀玛尔斯·2023-08-09 06:45

ip integrator_使用Oracle Data Integrator（和Kafka / MapR流）完善Lambda体系结构

ipintegrator“Lambda体系结构是一种数据处理体系结构，旨在通过利用批处理和流处理方法来处理大量数据。
dnc8371·2023-08-09 05:38

大数据学习笔记

大数据学习笔记一.概念1.传统数据处理架构2.有状态的流处理二.批处理与流处理1.批处理2.流处理三.大数据软件生态1.Hadoop2.Spark3.Flink一.概念大数据（BigData）指无法在一定时间范围内用常规软件工具进行捕捉
smilinggg·2023-08-07 04:59

2023大数据技术应用的五个主要场景总结

大数据技术应用的几个主要场景：离线处理、实时流处理、交互查询、实时检索和融合数据仓库离线数据处理和分析：一、离线处理场景：通常是指对海量数据进行分析和处理，形成结果数据，供下一步数据应用使用。
胖胖的洋葱·2023-08-07 02:58

SparkStreaming实时流处理

SparkStreaming之前项目中用过一段时间，最近正好闲下来做一下梳理。一.简介：SparkStreaming是Spark核心API的一个扩展，可以实现高吞吐量的、具备容错机制的实时流数据的处理。支持多种数据源获取数据：SparkStreaming处理的数据流图.pngSparkStreaming接收Kafka、Flume、HDFS等各种来源的实时输入数据，进行处理后，处理结构保存在HDFS
朱Sir_小猿·2023-08-06 09:39

Rust中的高吞吐量流处理

本篇文章主要介绍了Rust中流处理的概念、方法和优化。作者不仅介绍了流处理的基本概念以及Rust中常用的流处理库，还使用这些库实现了一个流处理程序。
冲浪中台·2023-08-06 00:17

若依系统分离版去除redis数据库

RedisConfig的配置3在ruoyi-common的core/redis下新建MyCache类4修改RedisCache类5修改ruoyi-common下utils/DictUtils6基于redis的限流处理就无法使用了
逻辑峰·2023-08-05 17:36

官宣｜Apache Flink 1.17 发布公告

ApacheFlink是领先的流处理标准，流批统一的数据处理概念在越来越多的公司中得到认可。
Apache Flink·2023-08-05 14:27

【AUTOSAR】BMS开发实际项目讲解（三十三）----电池管理系统直流交流充电功能

Sys_Req_4301、Sys_Req_4302、Sys_Req_4303、Sys_Req_4304、Sys_Req_4305;功能实现描述直流充电模块管理直流充电：GBT27930的报文交互、需求电流处理
大道生·2023-08-05 01:39

Apache Kafka Learning

2、Kafka基础架构3、Kafka安装二、Maven项目测试1、TopicAPI2、生产者&消费者一、KafkaKafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写
杀神lwz·2023-08-04 12:15

Kudu-客户端API编程、生态整合(Spark、Flink、Impala)

生态整合整合概述集成SparkSparkshell中操作Kudu代码整合Kudu+Spark-项目准备DDLCUD批处理读写Kudu特别注意集成Flink集成说明编译bahir-flflink项目准备批处理读写流处理写集成
迷雾总会解·2023-08-04 04:25

Flink

Flink（ApacheFlink）是一个开源的分布式流处理引擎和批处理框架。它是由Apache软件基金会维护的项目，旨在处理大规模数据的实时流式处理和批处理任务。
summer_west_fish·2023-08-03 10:15

kafka简介

目前Kafka已经定位为一个分布式流式处理平台，它的特性有高吞吐、可持久化、可水平扩展、支持流处理。ApacheKafka是一个分布式的发布-订阅消息系统，能够支撑海量数据的数据传递。
cherry有点甜··2023-08-03 06:50

Flink(5)读取数据源的几种方式

#流处理环境StreamExecutionEnvironmentenv=StreamExe
hk_faith·2023-08-03 02:19

Flink简介/运行框架/流与批/分层API

FlinkFlink起源于Stratosphere项目Flink项目的理念是："ApacheFlink是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架"ApacheFlink是一个框架和分布式处理引擎
syyyyyyyyyyyyyyh·2023-08-02 21:44

Flink-Table API 和 SQL(基本API、流处理的表、时间属性和窗口、聚合查询、联结查询、函数、SQL客户端、连接到外部系统)

文章目录TableAPI和SQL快速上手基本API程序架构创建表环境创建表表的查询输出表表和流的转换流处理中的表动态表和持续查询将流转换成动态表原理用SQL持续查询-更新查询&追加查询将动态表转换为流(
迷雾总会解·2023-08-02 16:11

关于大规模数据处理的解决方案

本文将介绍一些大规模数据处理的解决方案，包括分布式计算、流处理、图处理和机器学习等技术。分布式计算分布式计算是处理大规模数
爱学习的卢生·2023-08-02 07:00

大数据Flink（五十三）：Flink流处理特性、发展历史以及Flink的优势

文章目录Flink流处理特性、发展历史以及Flink的优势一、Flink流处理特性二、发展历史
Lansonli·2023-08-02 03:00

Apache Spark 的基本概念和在大数据分析中的应用

ApacheSpark是一种快速、通用、可扩展的大数据处理引擎，用于大规模数据处理任务，如批处理、交互式查询、实时流处理、机器学习和图形处理等。
Dream SYC_UCC·2023-08-02 03:18

基于FFmpeg进行rtsp推流及拉流（详细教程）

安装FFmpegFFmpeg是一个免费、开源的跨平台视频和音频流处理工具。
风家一良·2023-08-01 23:02

Netty走进网络之起航篇

另外跟网络息息相关的流处理也可以接触一下。
向光奔跑_·2023-08-01 22:49

flink学习总结

Flink学习总结flink是什么：为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架流处理&&批处理批处理：sparkstreaming为批处理代表，数据有界，持久，大量，一般用于离线流处理
倔强青铜弟中弟·2023-07-31 22:40

我的第一个Flink程序 - 三种WordCount方式

水善利万物而不争，处众人之所恶，故几于道目录一、Flink批处理二、Flink流处理-有界流三、Flink流处理-无界流一、Flink批处理publicclassFlink01_Batch_WordCount
阿年、嗯啊·2023-07-31 08:16

flink的算子，Source算子

transform->sink1.env根据不同的运行方式采取不同的运行环境a.批处理1）运行环境：ExecutionEnvironment2）所有数据进行整体处理3）返回的数据类型为：DataSetb.流处理
奶糖~·2023-07-31 08:16

Apache Kafka 基准测试：每秒 200 万次写入（在三台廉价机器上）

我写了一篇关于LinkedIn如何使用ApacheKafka作为中央发布-订阅日志的博客文章，用于在应用程序、流处理和Hadoop数据摄取之间集成数据。
sealyun·2023-07-30 10:36

Java文件操作与流处理

文章目录一、文件1.1文件的概念1.2文件的组织结构1.3绝对路径和相对路径二、文件操作File类2.1属性和常用方法2.2使用案例三、字节流和字符流3.1InputStream和FileInputStream3.2使用Scanner读取字符3.2OutputStream和FileOutputStream3.3Reader和FileReader3.4Writer和FileWriter四、文件操作案
李 ~·2023-07-29 20:15

flink使用13-开始体验 Flink SQL

TableEnvironment.FlinkSQL底层使用ApacheCalcite框架,将标准的FlinkSQL语句解析并转换成底层的算子处理逻辑.下面就直接用Flink官方仓库中的案例CodeLink来做一个演示.获取执行环境//首先同样有流处理和
CheckChe·2023-07-29 11:32

Spark Streaming流媒体引擎

Spark中有一个更新且更易于使用的流媒体引擎，称为结构化流媒体概述SparkStreaming是核心SparkAPI的扩展，支持实时数据流的可扩展、高吞吐量、容错流处理。
yyyyjinying·2023-07-29 07:50

spark结构化流处理引擎

相比于传统的流处理框架，结构化流提供了更高级和更易用的编程模型，可以轻松地将批处理和流处理结合起来，实现实时的数据处理和分析。
yyyyjinying·2023-07-29 07:18

分布式系统的全局快照

问题描述考虑这样一个问题，一个分布式流处理系统，比如Flink，数据源源不断地从输入端涌入，系统中多个任务进程对数据进行各种计算，比如对某个数据进行求和，然后把处理后的数据结果发送给其他任务进程继续处理
elvinyang·2023-07-28 22:13

Java常用工具类库

apachecommons工具类库2.1commons-lang，java.lang的增强版2.2commons-collections集合工具类2.3common-beanutils操作对象2.4commons-io文件流处理
靖节先生·2023-07-28 21:22

Java必会的工具库

工具类库字符串判空首字母转成大写重复拼接字符串格式化日期包装临时对象commons-collections集合工具类集合判空common-beanutils操作对象设置对象属性对象和map互转commons-io文件流处理文件处理
孙红彬·2023-07-28 21:20

Spark（1）-- 一文看懂Spark

Spark提供了更快的数据处理和分析能力，具备批处理、流处理、机器学习和图计算等功能，spark可以理解为Hadoop中MapReduce的升级后的计算模型。HadoopVSSparkHadoo
三水写代码·2023-07-28 21:13

什么是Apache Kafka？

Kafka的设计目标是提供一种可靠、高吞吐量的消息传递系统，以满足实时数据流处理和事件驱动架构的需求。
wzxue1984·2023-07-28 08:55

Flink回撤流

1.回撤流定义（RetractStream）Flink的回撤流是指在Flink的流处理算法中，撤回已经发送到下游节点的数据。
土豆马铃薯·2023-07-28 06:45

三天掌握Kafka 消息队列 小白到专家之路！

文章目录01为什么要使用消息中间件02什么是Kafka呢03kafka一些术语04特点总结05Kafka为什么性能强劲06进一步延伸07为什么要学习Kafka分布式流处理平台？
魏小言·2023-07-27 23:48

Siddhi

Siddhi是一个开源的流处理和复杂事件处理引擎，由WSO2公司开发。它提供了一个强大而灵活的框架，用于处理实时流数据和复杂事件。
大道至简@EveryDay·2023-07-27 15:07

kafka权威指南学习以及kafka生产配置

0、kafka常用命令Kafka是一个分布式流处理平台，它具有高度可扩展性和容错性。
波波爱下班·2023-07-27 07:34

为什么边缘计算将终止云计算？

5G让无处不在的连接成为了现实，正如他提到的，在IoT设备爆炸性增长，以及AI机器学习，实时分析，流处理和其它颠覆性技术的推动下，大量数据的产生
VoltActiveData·2023-07-27 06:51
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他