流处理

如何用java获取视频流处理

可以使用JavaCV库，它是OpenCV在Java中的接口，并且提供了访问视频流的功能。以下是JavaCV获取视频流并处理帧的一个简单示例：importorg.bytedeco.javacv.*;importorg.bytedeco.opencv.opencv_core.Mat;publicclassVideoStreamingExample{publicstaticvoidmain(String
西蓝花MQ·2023-09-21 18:25

Flink DataStream API （四）Flink 读取 Kafka

而消息队列的传输方式，恰恰和流处理是完全一致的。所以可以说Kafka和Flink天生一对，是当前处理流式数据的双子星。
Alienware^·2023-09-21 15:44

实时数据flink处理速度快还是pytorch

Flink是一个专注于大规模数据处理和实时数据处理的流处理和批处理框架。它通过并行计算和分布式处理来提供高性能和可扩展性。
独壹@无贰·2023-09-21 12:40

Apache IoTDB v1.2.0/v1.2.1 发布｜增加流处理框架、动态模板等新功能

ReleaseAnnouncementVersion1.2.0/1.2.1ApacheIoTDBv1.2.0/v1.2.1已经发布，主要增加了流处理框架、动态模板、substring/replace/round
Apache IoTDB·2023-09-21 11:17

String、byte[]、Base64相互转换，不要再用错了

String与byte[]在Java项目开发过程中，时常会遇到String与byte[]互相转换的过程，比如IO流处理，需要先将文件或字符串转为字节流，接收方需要将字节流转回字符串。
大能能·2023-09-21 06:54

Stream流处理快速上手最佳实践 | 京东物流技术团队

一引言JAVA1.8得益于Lambda所带来的函数式编程，引入了一个全新的Stream流概念Stream流式思想类似于工厂车间的“生产流水线”，Stream流不是一种数据结构，不保存数据，而是对数据进行加工处理。Stream可以看作是流水线上的一个工序。在流水线上，通过多个工序让一个原材料加工成一个商品。二常用方法介绍2.1获取Stream流所有的Collection集合都可以通过stream默认
·2023-09-20 13:05

流计算通用概念和Flink中的概念介绍

[toc]通用的流式处理概念流式处理和离线处理USER_SCORES存在一个USER_SCORES表，在批处理和流式处理中分别执行SELECT语句，区别如下：批处理一次返回最终结果流处理会随着数据进入引擎
Alex90·2023-09-20 12:34

Java 8流处理详解

一、初识流1.什么是流？流是JavaAPI的新成员，它允许你以声明性方式（类似SQL，只写做什么，不考虑怎么做）处理数据集合。流就是从支持数据处理操作的源生成的元素序列。源可以是集合、数组或IO资源，数据处理操作包括filter（过滤），map（映射），reduce（累积操作），find（查找），match（匹配），sort（排序）。流可以顺序执行，也可以并行执行。2.集合与流集合是内存中的数据结
学无止境jl·2023-09-20 04:10

记录一次flink消费kafka数据进行oracle数据同步问题

使用sql插件kafka信息中间件flink进行流处理，使用侧输出流问题数据同步的逻辑是：1.在kafka中获取到数据后使用测输出流进行分发2.使用duutils进行数据连接管理但是不是使用连接池来进行
晓为·2023-09-19 21:50

Kafka 安装及基本入门

介绍Kafka是一个开源的分布式消息引擎/消息中间件，同时Kafka也是一个流处理平台。
ColorlessCube·2023-09-19 17:52

【无标题】

Flink和Kafka在实时数据处理和流处理应用程序中通常协同工作，Kafka用于数
躺着听Jay·2023-09-19 17:24

大模型从入门到应用——LangChain：回调函数（Callbacks）]

这对于日志记录、监控、流处理和其他任务非常有用。我们可以通过使用API中提供的callbacks参数来订阅这些事件。
von Neumann·2023-09-19 15:08

深度解读 Flink 1.11：流批一体 Hive 数仓2020-06-02

Flink1.11中流计算结合Hive批处理数仓，给离线数仓带来Flink流处理实时且Exactly-once的能力。
会飞的鱼go·2023-09-19 14:06

akka框架——异步非阻塞高并发处理框架

akkaclusterakka是一系列框架，包括akka-actor,akka-remote,akka-cluster,akka-stream等，分别具有高并发处理模型——actor模型，远程通信，集群管理，流处理等功能
weixin_30819163·2023-09-19 07:25

流处理与消息队列------《Designing Data-Intensive Applications》读书笔记16

上一篇聊了聊批处理的缺点，对于无界数据来说，流处理会是更好的选择，“流”指的是随着时间的推移逐步增加的数据。消息队列可以将这些流组织起来，快速的在应用程序中给予反馈。
LeeHappen·2023-09-19 00:00

DolphinDB 加入 NVIDIA 初创加速计划

DolphinDB专注于为客户提供集高性能存储、复杂分析能力和流处理于一体的实时计算平台及解决方案，可用于海量结构化数据的存储、查询、分析、实时计算，实现PB级数据查询毫秒级响应以及复杂分析任
DolphinDB智臾科技·2023-09-18 17:47

大数据之-kafka学习笔记

Flink和Kafka在实时数据处理和流处理应用程序中通常协同工作，Kafka用于数
躺着听Jay·2023-09-18 10:50

Flink的Table API 与SQL的流处理

1流处理与SQL的区别  TableAPI和SQL，本质上还是基于关系型表的操作方式；而关系型表、SQL本身，一般是有界的，更适合批处理的场景。所以在流处理的过程中，有一些特殊概念。
Quinto0·2023-09-18 10:38

Flink中Table API和SQL（五）

11.9.1Kafka11.9.3JDBC11.9.4Elasticsearch11.9.5HBase11.9.6Hive11.8SQL客户端有了TableAPI和SQL，我们就可以使用熟悉的SQL来编写查询语句进行流处理了
大数据阿嘉·2023-09-18 10:05

VHOST-SCSI代码分析（3）数据流处理

VHOSTSCSI数据流如下所示：IO下发过程虚拟机中应用态程序下发IO，依次经过VFS/文件系统层，BLOCK层，SCSI层，经VIRTIOSCSI驱动virtscsi_commit_rqs访问寄存器通知HOST内核中VHOST设备（VHOSTKICK过程），数据已经下发。HOST内核通过vhost_scsi_handle_kick将SCSI命令下发，这里是将IO发给targetcore，tar
linux解码者·2023-09-18 06:23

Stream流处理快速上手最佳实践 | 京东物流技术团队

一引言JAVA1.8得益于Lambda所带来的函数式编程，引入了一个全新的Stream流概念Stream流式思想类似于工厂车间的“生产流水线”，Stream流不是一种数据结构，不保存数据，而是对数据进行加工处理。Stream可以看作是流水线上的一个工序。在流水线上，通过多个工序让一个原材料加工成一个商品。二常用方法介绍2.1获取Stream流所有的Collection集合都可以通过stream默认
京东云技术团队·2023-09-18 04:44

VIRTIO-SCSI代码分析（3）VIRTIO SCSI数据流处理

VIRTIOSCSI整体数据流如下：IO请求下发过程虚拟机中通过FIO等下发IO请求，IO请求通过VFS/filesystem，BLOCK层，然后到SCSI层，传递给virtio-scsi驱动，virtio-scsi驱动通过virtioscsi_commit_rqs()下发IO请求，并通过vp_notify()通知QEMU中VIRTIO设备数据准备完毕。虚拟机中vp_notify()访问寄存器，它
linux解码者·2023-09-17 12:48

kafka知识点汇总

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。
小小的人儿居然已存在·2023-09-16 07:41

Flink

1.17.0org.apache.flinkflink-streaming-java${flink.version}providedorg.apache.flinkflink-clients${flink.version}provided有界流流处理来一条计算一条
yzhSWJ·2023-09-16 06:58

一段有意思的流处理代码

importjava.util.HashMap;importjava.util.Map;importjava.util.stream.Collectors;/***按value值对map进行排序，输出前k个key*/publicclassMain{publicstaticvoidmain(String[]args){Mapmap=newHashMap(){{put("java",3);put("C
Reiko士兵·2023-09-15 13:31

通过stream流实现分页、模糊搜索、按列过滤功能

这些功能通过普通的逻辑处理可能较为繁琐，但是通过stream流处理会简单很多逻辑展示这是一个写好的模板，感觉也可以根据这个写成一个通用的处理，后面如果再用的就补充一下代码解释①：将完成数据处理的lis
卡卡东~·2023-09-15 11:00

JAVA - File类、字节流、字符流、特殊操作流

1.File类的构造方法File类的创建文件功能File类的判断和获取功能File类的删除功能2.IO流-字节流、字符流字节流处理字节数据：字节流以字节为单位处理数据，适用于处理二进制文件（如图像、音频
Supernova_gu·2023-09-15 08:42

Flink特性

一、统一的数据处理组件栈，不仅能处理流处理，还可以用于批处理，机器学习，可以满足不同的用户的需求，对不同形式的计算进行了整合。二、支持时间时间，接入时间，处理时间等时间概念。
嘿嘿hhahaah·2023-09-14 14:57

flink 多种类型窗口聚合理解

Flink认为Batch是Streaming的一个特例，所以Flink底层引擎是一个流式引擎，在上面实现了流处理和批处理。而窗口（window）就是从Streaming到Batch的一个桥梁。
zb313982521·2023-09-14 14:20

Spark入门到精通

hadoop主要用于一次性数据计算，不适合迭代式数据流处理spark的多个作业之间的数据通讯是基于内存的，而hadoop是基于磁盘的2.spark核心模块
don't_know·2023-09-14 10:34

Flink中的批和流

流处理的特点是无界、实时,无需针对整个数据集执行操作，而是对通过系统传输的每个数据项执行操作，一般用于实时统计。
Matthew117·2023-09-14 07:37

输入输出--Java IO流

1.IO流分类节点流：又叫低级流处理流：高级流字节流和字符流的区别在于数据处理单位的不同。字节流：一次读或写8位二进制。字节流关于输入和输出的基类有两个。
杨邕·2023-09-13 15:23

小结-Spark-Spark Streaming入门

定义及工作原理SparkStreaming定义，官网翻译如下SparkStreaming是核心SparkAPI的扩展，可实现实时数据流的可扩展，高吞吐量，容错流处理。
Andrew0000·2023-09-12 23:22

【跟小嘉学 Apache Flink】二、Flink 快速上手

快速上手文章目录系列文章目录@[TOC](文章目录)一、创建工程1.1、创建Maven工程1.2、log4j配置二、批处理单词统计（DataSetAPI）2.1、创建BatchWordCount类型2.4、运行结果三、流处理单词统计
小嘉丶学长·2023-09-12 09:29

Stable Diffusion代码简介

StableDiffusion是一个开源的实时数据流处理引擎，用于处理流式数据。其webUI提供了一个可视化界面来展示数据流的处理过程。
星辰同学wwq·2023-09-12 06:53

【大数据】Kafka 入门指南

Kafka入门指南1.Kafka简介2.Kafka架构3.分区与副本4.偏移量5.消费者组6.总结1.Kafka简介ApacheKafka是一种高吞吐、分布式的流处理平台，由LinkedIn开发并于2011
G皮T·2023-09-12 00:04

大数据开发：Kafka主题与分区概念详解

Kafka作为大数据生态的重要组件，尤其在实时消息流处理上，有明显的优势，而Kafka的性能优势，与Kafka的架构有关。
成都加米谷大数据·2023-09-11 15:47

微信小程序本地生活（列表页面）

实现效果二、实现步骤主要实现功能：页面导航并传参上拉触底时加载下一页数据下拉刷新列表数据实现步骤创建列表页面动态设置页面标题定义数据，发起请求获取数据渲染数据并美化样式实现上拉加载数据效果对上拉触底进行节流处理上拉触底请求数据前
奶球不是球·2023-09-11 06:13

大数据-玩转数据-Flink 容错机制

二、检查点（Checkpoint）在流处理中，我们可以用存档读档的思路，把之前的计算结果做个保存，这样重启之后就可以继续处理新数据、而不需要重新计算了。
人猿宇宙·2023-09-11 06:23

Flink架构分析

API层：该层主要实现了面向无界Stream的流处理和面向Batch的批处理A
猫狗熊蛇·2023-09-10 13:40

用友U8销售退货案例教程

目录案例介绍显示退货前销售订单销售退货单红字销售出库单显示退货后销售订单后台流程设置案例介绍销售退货是比较常见的退回业务，其涉及销售、仓库、财务人员，包括物流处理和财务处理两个流程。
erplabs·2023-09-10 12:10

Non-blocking Back Pressure

ReactiveStreams是一个使用非阻塞背压机制的异步流处理标准。backpressure（背压）是其中的关键概念。在异步模式中，消费者订阅生产者，从生产者那里获取数据
编程路上的wdm·2023-09-10 05:52

Java实现Kafka生产者和消费者的示例

Kafka简介Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。
ikt4435·2023-09-09 07:49

初识Flink

[二]原理描述Flink核心是一个流式的数据流执行引擎，支持流处理和批处理。1、统一的批处理与流处理系统在大数据处理领域，批处理任务与流处理任务一般被认为是
霸道小柴总·2023-09-08 17:08

在Linux操作系统上安装 kafka

Kafka是一个分布式的流处理平台，它可以处理数据管道中的实时数据流。以下是在Linux操作系统上安装Kafka的步骤。前提条件：您需要在计算机上安装Java运行时环境。
开心码农1号·2023-09-08 06:17

【kafka】kafka介绍

https://kafka.apachecn.org/intro.htmlApacheKafka是一个分布式流处理平台。这到底意味着什么呢?
margu_168·2023-09-07 11:07

Flink算子(ProcessFunction，map和Flatmap)

DataStreamAPI(streams,windows)ProcessFunction(event,state,time)不要跟ProcessWindowFunction混为一谈ProcessFunction是一个低阶的流处理操作
月疯·2023-09-07 08:55

06-mq

系统可用性降低系统复杂性提高一致性问题2、常见消息队列的比较3、Kafka的特性1.消息持久化2.高吞吐量3.扩展性强（动态）4集群＋4台集群4.多客户端支持(Java、C、C++、GO、Python)5.KafkaStreams（流处理
NikoWord·2023-09-07 07:53

实战：大数据Flink CDC同步Mysql数据到ElasticSearch

CDC的种类常见的CDC方案比较Springboot接入FlinkCDC环境准备项目搭建本地运行集群运行将项目打包将包传入集群启动远程将包部署到flink集群写在最后前言前面的博文我们分享了大数据分布式流处理计算框架
小沈同学呀·2023-09-07 06:30

工作流引擎之-activiti6使用

一、前言在很多项目中，我们都很有可能用到了工作流处理逻辑，比如类同钉钉的申请流程。
贝壳里的沙·2023-09-06 19:51
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他