【流处理】

Flink系列-1、流式计算简介

flink.apache.org/学习资料：https://flink-learning.org.cn/目录数据的时效性流式计算和批量计算流式计算流程和特性分布式计算引擎什么是FlinkFlink中的批和流性能比较Flink流处理特性发展历史
技术武器库·2024-02-19 13:10

[AIGC] Kafka 的 Rebalance 机制：保证分区的可靠性和高可用性

在分布式系统中，Kafka是一种流处理平台，具有高吞吐量、低延迟和可扩展性等特点。在Kafka中，消费者组是一组消费者的集合，它们共同消费一个topic的所有分区。
程序员三木·2024-02-15 10:55

HTTP2:netty http2 StreamChannel多流实现与Http2StreamFrame解码器的源码分析

nettyhttp2server侧的核心逻辑个人认为，主要在编解码处理器和StreamTransformChannel这块，分别处理Http2消息帧的编解码，以及连接的多流处理机制。
Saleson·2024-02-15 10:45

速读-张量流处理器（TSP）

Paper:Abts,Dennis,etal.“Thinkfast:atensorstreamingprocessor(TSP)foracceleratingdeeplearningworkloads.”2020ACM/IEEE47thAnnualInternationalSymposiumonComputerArchitecture(ISCA).IEEE,2020.简介本文介绍了一种名为张量流处
Reacubeth·2024-02-15 05:27

Flink在实时搜索引擎领域的应用

ApacheFlink是一个流处理框架，它可以处理大规模的流数据，并提供了实时计算能力。在实时搜索引擎领域，Flink可以用于实时处理搜索关键词、计算搜索结
禅与计算机程序设计艺术·2024-02-15 01:46

cuda。

GPU拥有成百上千个流处理器，可以同时执行多个计算任务。2.编程框架：CUDA提供了一个编程框架，支持多种编程语言，如C、C++、Fortran、Python等，使得开发者可以使用这些语
小小娱乐·2024-02-14 18:14

Scrapy | 全方位解析Scrapy框架！

引擎，处理整个系统的数据流处理、触发事务，是整个框架的核心。Item。项目，它定义了爬取结果的数据结构，爬取的数据会被赋值成该Item对象。Scheduler。
谢小磊·2024-02-14 12:44

C# 声音处理库Naudio介绍

它支持实时音频流处理，可以用于创建音频录制应用程序或音频播放器。//示例：录制和播放音频WaveInEventwaveIn=newWaveInEvent();Wav
搬砖的诗人Z·2024-02-14 10:58

Flink 1.7.0 安装、配置与使用

本地单机安装ApacheFlink是一个面向分布式数据流处理和批量数据处理的开源计算平台，它能够基于同一个Flink运行时，提供支持流处理和批处理两种类型应用的功能。
编码前线·2024-02-13 22:57

大数据处理为何选择Spark，而不是Hadoop

在速度方面，Spark扩展了广泛使用的MapReduce计算模型，而且高效地支持更多计算模式，包括交互式查询和流处理。Spark项目包含多个紧密集成的组件。
嘿嘿海海·2024-02-13 14:00

Java流式编程概念详解

前言大家好，我是chowley，在我之前的开发项目中，涉及到了字符流处理，也就是今天的主角——流式编程。
Chowley·2024-02-12 23:10

大数据--Flink--流处理（二）

一、flink单节点安装部署下载1）下载安装包[root@localhost~]#wgethttp://us.mirrors.quenda.co/apache/flink/flink-1.9.1/flink-1.9.1-bin-scala_2.11.tgz2）解压[root@localhost~]#tar-zxvfflink-1.9.1-bin-scala_2.11.tgz-C/usr/local
无剑_君·2024-02-11 18:38

kafka基本概念

绪论Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。
L.S.V.·2024-02-11 12:38

第七篇——Apache Kafka的设计与实现

作者：禅与计算机程序设计艺术1.简介ApacheKafka是Apache软件基金会推出的一个开源分布式流处理平台，它最初由LinkedIn开发并于2011年9月正式发布，目前已成为Apache项目之一，
禅与计算机程序设计艺术·2024-02-10 06:23

Flink 核心技术浅析

1.Flink简介ApacheFlink是一个面向分布式数据流处理和批量数据处理的开源计算平台，它能够基于同一个Flink流执行引擎（streamingdataflowengine），提供支持流处理和批处理两种类型应用的功能
活长擅运动·2024-02-10 00:41

Flink从入门到实践（一）：Flink入门、Flink部署

文章目录系列文章索引一、快速上手1、导包2、求词频demo（1）要读取的数据（2）demo1：批处理（离线处理）（3）demo2-lambda优化：批处理（离线处理）（4）demo3：流处理（实时处理）
秃了也弱了。·2024-02-09 12:52

Spark是什么？与MapReduce的对比

目前Spark集成了SQL查询，图处理，机器学习，流处理等，在计算引擎中生态比较健全，所以其适用范围比较广。
Tim在路上·2024-02-09 10:27

2024.2.8日总结（小程序开发5）

对上拉触底事件进行节流处理在data中定义isloading节流阀false表示当前没有进行任何数据请求true表示当前正在进行数据请求在getColors()方法中修改isloading节流阀的值在刚调用
明里灰·2024-02-09 06:49

Flink状态编程

介绍有状态的计算是流处理框架要实现的重要功能，因为稍复杂的流处理场景都需要记录状态，然后在新流入数据的基础上不断更新状态。
万事万物·2024-02-08 22:41

【Flink入门修炼】1-3 Flink WordCount 入门实现

下面将从创建项目开始，介绍如何创建出一个Flink项目；然后从DataStream流处理和FlinkSQL执行两种方式来带大家学习WordCount程序的开发。
大数据王小皮·2024-02-08 07:54

Windows系统安装Flink及实现MySQL之间数据同步

它支持高吞吐、低延迟、高性能的流处理，并且是一个面向流处理和批处理的分布式计算框架，将批处理看作一种特殊的有界流。
雪落夜·2024-02-08 01:27

JAVA使用jdbc流处理从mysql导入clickhouse

效果实现了一个占用内存不到400M，完美将亿级数据从mysql导到了clickhouse（流处理)问题建好DB后，接下来的数据导入是个难题。
Freeeeeeeeom·2024-02-07 13:45

MCU+SFU视频会议一体化，视频监控，指挥调度（AR远程协助）媒体中心解决方案。

1，需求MCU混流处理方便的录存系统，又要有SFU灵活的接入通道布局视频。2，对接各种监控直播平台，rtsp,rtmp,GB28181的流服务接入。3，能对接传统SIP平台，可以灵活呼叫V
fangji999·2024-02-07 06:04

官宣|九章云极DataCanvas核心产品通过 “可信大数据”权威评测

九章云极DataCanvasRT实时决策中心以优异的性能表现通过中国信通院分布式流处理平台基础能力专项评测。“可信大数据”评估评测已经走过了7个年头，中国信通院紧跟大数据技术发
九章云极DataCanvas·2024-02-07 01:22

【Flink入门修炼】1-1 为什么要学习 Flink？

流处理和批处理是什么？什么是Flink？为什么要学习Flink？Flink有什么特点，能做什么？本文将为你解答以上问题。
大数据王小皮·2024-02-06 07:29

MSR架构：推动数据中台进入2.0时代

语义层基于业务对象视图面向业务端用户提供语义化的业务逻辑表达式，支持业务端用户自助开发业务逻辑，业务端的开发者只关注于业务逻辑本身，不需要考虑后台是何种数据计算处理框架（MR、SPARK、FLINK、SQL…），也不需要考虑后台是批处理还是流处理
Trident敏捷数据开发平台·2024-02-06 07:54

Flink on k8s 讲解与实战操作

一、概述Flink核心是一个流式的数据流执行引擎，并且能够基于同一个Flink运行时，提供支持流处理和批处理两种类型应用。其针对数据流的分布式计算提供了数据分布，数据通信及容错机制等功能。
LinkSLA·2024-02-06 06:56

第十二篇【传奇开心果系列】Python的OpenCV技术点案例示例：视频流处理

传奇开心果短博文系列系列短博文目录Python的OpenCV技术点案例示例短博文系列短博文目录一、前言二、视频流处理介绍三、实时视频流处理示例代码四、视频流分析示例代码五、归纳总结系列短博文目录Python
传奇开心果编程·2024-02-05 09:39

Kafka的高可用机制

ApacheKafka是一个分布式流处理平台，它通过复制数据和分布式系统的一系列特性来提供高可用性。以下是Kafka高可用性机制的关键方面，以及它们是如何在源码中实现的。
辞暮尔尔-烟火年年·2024-02-05 09:37

Fink CDC数据同步（六）数据入湖Hudi

数据入湖HudiApacheHudi(简称：Hudi)使得您能在hadoop兼容的存储之上存储大量数据，同时它还提供两种原语，使得除了经典的批处理之外，还可以在数据湖上进行流处理。
大数据_苡~·2024-02-04 16:21

kakfa系统架构

A：Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。
齐爱巴·2024-02-04 10:27

SpringCloud Alibaba笔记之Sentinel

步骤流控规则基本介绍流控模式流控效果降级规则基本介绍降级策略实战热点key限流系统规则@SentinelResource按资源名称限流+后续处理按照url地址+后续处理上面兜底方案面临的问题客户自定义限流处理逻辑服务熔断功能规则持久化
astudybear·2024-02-04 07:48

C/C++ 线程池二

实现生产者消费者模型C++线程池C++实现线程池二asyncfuturepackaged_taskpromiseatomic原子操作C++实现线程池三线程池大型的软件项目需要处理非常多的任务，例如：对于大量数据的数据流处理
cliu1_16·2024-02-03 22:07

java并发编程

0.思维导图并行：单位时间多个处理器同时处理多个任务并发：一个处理器处理多个任务，按时间片轮流处理1.java实现多线程有几种方式♥♥♥实现接口会更好一些，因为java不支持多重继承，因此继承了Thread
韩顺平的小迷弟·2024-02-03 16:04

Python处理实时数据库之faust使用详解

概要在处理实时数据流和事件时，PythonFaust是一个强大的工具，它提供了高性能、易于使用的流处理框架。
Rocky006·2024-02-03 13:15

Flink容错机制

在流处理中，我们采用存档和读档的策略，将之前的计算结果进行保存。这样，在系统重启后，我们可以继续处理新数据，而无需重新计算。更重要的是，在有状态的流处理中，任务需要保持其之前的状态，以
佛系爱学习·2024-02-03 10:09

2019-03-16 Spark基本架构及运行原理

SparkStreaming:实时数据流处理组件，类似Storm。SparkStreaming提供了A
做一只乐观的小猴子·2024-02-03 02:04

Java8使用小结

本文主要整理了其中流处理、Lambda表达式、Optional类的概念与使用方式，期望有助于提供开发效率、减少代码复杂性。流处理流是一系列数据项，一次只生成一项。
TedHacker·2024-02-02 21:29

Flink知识点概述

flink是什么是一个框架和分布式处理引擎，在无边界和有边界数据流上纪念性有状态的计算主要特性1.批流统一批处理：数据全部访问完成后进行操作有界、持久、大量，适合访问全套记录才能完成的工作，一般用于离线统计流处理
内向仓鼠·2024-02-02 21:39

Flink 的架构与组件

1.背景介绍Flink是一个流处理框架，用于实时数据处理和分析。它是一个开源项目，由阿帕奇基金会支持和维护。Flink的设计目标是提供一个高性能、可扩展、可靠的流处理平台，用于处理大规模、实时数据。
禅与计算机程序设计艺术·2024-02-02 20:06

SpringBoot使用Kafka详解含完整代码

1.前言随着大数据和实时处理需求的增长，Kafka作为一种分布式流处理平台，与SpringBoot的集成变得尤为重要。
孤蓬&听雨·2024-02-02 18:27

linux下安装flink 1.18

一、flink介绍Flink是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架二、flink下载flink下载三、flink配置3.1、配置环境变量exportJAVA_HOME=
爱上雪茄·2024-02-02 17:46

Flink SQL Query 语法（四）- Rattern Recognition

projects/flink/flink-docs-release-1.13/docs/dev/table/sql/queries/match_recognize/操作符PatternRecognition只适用流处理模式搜索一组事件模式
Alex90·2024-02-02 11:07

Kafka下载安装及基本使用

介绍消息队列的作用消息队列的优势应用解耦异步提速削峰填谷为什么要用KafkaKafka下载安装Kafka快速上手（单机体验）1.启动zookeeper服务2.启动kafka服务3.简单收发消息Kakfa的消息传递机制Kafka介绍ApacheKafka是一个分布式流处理平台
山鸟与鱼！·2024-02-01 13:15

策略模式+SpringBoot接口，一个接口实现接收的数据自动分流处理

策略模式定义了算法族，分别封装起来，让它们之间可以互相替换，此模式让算法的变化，不会影响到使用算法的客户。策略模式的精髓就在于将经常变化的一点提取出来，单独变成一类，并且各个类别可以相互替换和组合。1、策略接口CalculationStrategy//算数publicinterfaceCalculationStrategy{intoperate(intnum1,intnum2);}2、几种策略实现
ThatMonth·2024-02-01 13:37

【万字长文】带你搞懂Kafka中的所有知识点

目录概述主题和分区日志消息压缩日志分段条件日志清理多副本写入流程生产者必要参数配置消息的发送流程元数据更新重要的生产者参数消费者消费者组分区分配策略协调器重平衡触发方式流程如何避免rebalance位移提交消费者offset的存储broker集群控制器事务消息保障传输幂等性事务概述ApacheKafka是消息引擎系统，也是一个分布式流处理平台
1_5_2_·2024-02-01 09:46

SparkStreaming---入门

文章目录1.SparkStreaming简介1.1流处理和批处理1.2实时和离线1.3SparkStreaming是什么1.4SparkStreaming架构图2.背压机制3.DStream案例实操1.
肥大毛·2024-02-01 09:12

List＜Long＞ 转 List＜String＞

可使用stream流处理Liststrings=list.stream().map(x->x+"").collect(Collectors.toList());Stream流在菜鸟教程中有详细介绍
春秋代序·2024-02-01 08:37

java实战五：32个案例带你轻松玩转Java stream

Stream提供的方法非常多，按照调用当前方法是否结束流处理，可以分为中间操作和结束操作。对于中间操作，又可以分为有状态的操作和无状态操作
猿来如此dj·2024-02-01 02:43

Java8实战 流处理stream

目录基本流中间操作与终端操作一些常见的终端操作进阶流筛选各异的元素截断跳过元素映射流mapflatMap匹配全匹配与非全匹配OptionalfindAnyfindFirst归约求和归约相关阐发数值流boxedrange构建流创建流的三种方式基本流foreach实现了外部迭代，它是建立于集合的基础上；stream流实现的是内部迭代中间操作与终端操作对任意集合使用stream()方法来使用流操作来对其
Zhillery·2024-02-01 02:11
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他