流式计算第4页

Flink SQL 批处理使用HOP详解

在流式计算中比较容易理解，但是批处理使用这个函数就会让人摸不着头脑。下面通过一个例子来

Scapel·2023-09-07 18:21

大数据之MapReduce

缺点：不擅长实时计算不能进行流式计算，MapReduce的输入数据集是静态的，不能

十七✧ᐦ̤·2023-09-07 08:42

大数据-玩转数据-Flink状态编程（上）

二、什么是状态在流式计算中有些操作一次处理一个独立的事件(比如解析一个事件),有些操作却需要记

人猿宇宙·2023-09-04 22:44

大数据专业毕业能从事什么工作

大数据开发工程师主要负责公司大数据平台的开发和维护、相关工具平台的架构设计与产品开发、网络日志大数据分析、实时计算和流式计算以及数据可视化等技术的研发和

我想去吃ya·2023-09-02 16:36

如何分析及处理 Flink 反压？

反压（backpressure）是实时计算应用开发中，特别是流式计算中，十分常见的问题。反压意味着数据管道中某个节点成为瓶颈，处理速率跟不上上游发送数据的速率，而需要对上游进行限速。

zhaowei121·2023-09-02 06:15

两位新晋 Apache Flink Committer 的专访

自2017年开始，字节跳动流式计算团队开始尝试使用ApacheFlink作为流式计算引擎，并逐步加大对开源社区的关注和投入。

Apache Flink·2023-09-02 06:37

介绍一下我们的开源“充电之旅” - 两位新晋 Apache Flink Committer 专访

本文出自字节跳动流式计算团队的方勇、胡伟华同学专访。两位同学在ApacheFlink社区主要贡献了包括RuntimeCoordinator、StreamingWarehouse等相关Feature。

字节跳动云原生计算·2023-09-01 19:20

Spark与Flink的区别

2、Flink是基于事件驱动的，是面向流的处理框架,Flink基于每个事件一行一行地流式处理，是真正的流式计算.另外他也可以基于流来模拟批进行计算实现批处理。

学一次·2023-09-01 06:52

Spark Streaming任务中的容错机制盘点

前言互联网场景下，经常会有各种实时的数据处理，这种处理方式也就是流式计算，延迟通常也在毫秒级或者秒级，比较有代表性的几个开源框架，分别是Storm，SparkStreaming和Filnk。

死亡之翼归来·2023-09-01 05:43

flink on yarn应用常见问题记录及解决方案

近期由于工作原因，碰巧使用到了flink+kafka+hdfs+kerberos流式计算。一路走来，崎岖坎坷，满是荆棘。以此文记录一下学习实践经历。若能为各位后来者提供帮助，实乃我幸！

龙龍隆隆·2023-08-30 00:11

Streaming 101

1.为什么要流式计算业务需求：业务需要更及时计算结果，而流数据处理可以获得更低的延时数据特点：海量的无边界数据在现代企业中越来越普遍，而流数据处理系统就是为此而生的硬件资源：流数据处理可以在时间维度上进行负载均衡

Sol__C·2023-08-28 19:42

JUC基础笔记（尚硅谷周阳JUC的笔记）

JUC概述卖票Lambda表达式线程间的通信一道经典的线程按顺序打印多线程8锁集合线程不安全实现多线程方式CountDownLatchCyclicBarrier读写锁阻塞队列线程池strem流式计算分支合并框架异步回调

dogs~xiaofei·2023-08-28 09:24

【Kafka】Kafka Stream简单使用

一、实时流式计算1.概念一般流式计算会与批量计算相比较。在流式计算模型中，输入是持续的，可以认为在时间上是无界的，也就意味着，永远拿不到全量数据去做计算。

小星星*·2023-08-28 07:52

【黑马头条之热点文章kafkaStream】

本笔记内容为黑马头条项目的热点文章-实时计算部分目录一、实时流式计算1、概念2、应用场景3、技术方案选型二、KafkaStream1、概述2、KafkaStreams的关键概念3、KStream4、KafkaStream

蛋饼吧·2023-08-24 09:42

1.flink快速入门

在Flink之前的上一代流式计算框架ApacheSto

Object~·2023-08-19 23:01

Java多线程之CompletableFuture

此文章字数多，实际是例子多，多把例子写几遍，受益颇丰1.1简介CompletableFuture是java.util.concurrent库在java8中新增的主要工具，同传统的Future相比，其支持流式计算

上善若泪·2023-08-17 11:58

开源XL-LightHouse与Flink、ClickHouse之类技术相比有什么优势

Flink是一款非常优秀的流式计算框架，而ClickHouse是一款非常优秀的OLAP类引擎，它们是各自所处领域的佼佼者，这一点是毋庸置疑的。

·2023-08-16 17:53

大数据之Spark:Structured Streaming

StructuredStreaming实战1)读取Socket数据2)读取目录下文本数据3)计算操作4)输出在2.0之前，SparkStreaming作为核心API的扩展，针对实时数据流，提供了一套可扩展、高吞吐、可容错的流式计算模型

浊酒南街·2023-08-14 19:07

flink快速上手

Flink用于处理有状态的流式计算，需要对Source端的数据进行加工处理，然后写入到Sink端，下图展示了在Flink中数据所经历的过程，今天就根据这张图分别给大家分享下。

繁星-赵老师·2023-08-13 15:21

TDengine时序数据库通俗易懂教程

除核心的时序数据库功能外，TDengine还提供缓存、数据订阅、流式计算等其它功能以降低系统复杂度及研发和运维成本。1.2主要功能1.数据写入，支持标准sql2.查询支

凌梦来了吖·2023-08-13 04:14

Byzer-LLM环境安装

该扩展的目标也是为了让企业更好的将业务数据注入到私有大模型（开源或者商业），并且可对外提供多场景部署形态，诸如ETL,流式计算，API服务等。

城南皮卡丘·2023-08-11 18:29

Spark依赖包加载顺序

在流式计算中对于修改数值的操作或者在mappartion/foreachPartition中自定义数据持久化到非主键约束的平台时，就会出现灾难性后果。

Cheava·2023-08-11 06:35

Flink-Window详细讲解

当谈到实时数据处理和流式计算，ApacheFlink是一个备受推崇的工具，它提供了丰富的功能来处理连续的数据流。

远方有海，小样不乖·2023-08-10 16:48

collectors 求和_JDK Collectors与Collector

起因：前段时间开始了解并使用Stream流式计算，其中collect()的方法使用很多情况下需要去百度。又因为它的名字与之前写的集合框架工具类JDKCollections工具类比较像。

王杰岸·2023-08-10 09:34

Flink窗口分类简介及示例代码

水善利万物而不争，处众人之所恶，故几于道文章目录1.流式计算2.窗口3.窗口的分类◆基于时间的窗口（时间驱动）1)滚动窗口（TumblingWindows）2)滑动窗口（SlidingWindows）3

阿年、嗯啊·2023-08-10 08:34

java基础知识——流式计算Stream API

文章目录一、基本概念二、创建流三、中间操作3.1filter3.2map3.3distinct3.4sorted3.5limit3.6skip3.7flatMap四、终结操作4.1forEach4.2count4.3max&min4.4collect4.4查找与匹配4.5reduce练习一、基本概念为了能够让工程师更方便地处理集合数据，Java8中新增了一大特性，那就是Stream（也就是流，也叫

Sunny_范·2023-08-09 17:00

Flink-串讲面试题

1.概念有状态的流式计算框架可以处理源源不断的实时数据，数据以event为单位，就是一条数据。

青云游子·2023-08-09 01:31

微服务与Nacos概述

微服务概述软件架构的演变：单体架构、垂直应用架构、流式计算架构SOA、微服务架构和服务网格。微服务是一种软件开发架构，它将一个大型应用程序拆分为一系列小型、独立的服务。

青青草原霸主ma·2023-08-08 12:00

1、sparkStreaming概述

1、sparkStreaming概述1.1SparkStreaming是什么它是一个可扩展，高吞吐具有容错性的流式计算框架吞吐量：单位时间内成功传输数据的数量之前我们接触的spark-core和spark-sql

Wzideng·2023-08-07 13:51

Dataflow模型分析

逻辑引擎设计无论是流式计算/微批次或是批处理，它们要处理的问题都可以抽象为以下几个问题:What:需要计算的结果数据是什么Where:计算的上下文环境是

分裂四人组·2023-08-06 14:52

flink Sql自定义kafka连接器

文章目录flinksql自定义kafka连接器1.Overview2.自定义kafka连接器2.2maven相关依赖2.3自定义Factory2.4测试flinksql自定义kafka连接器在流式计算平台当中

老鼠扛刀满街找猫@·2023-08-05 14:24

大数据中的流计算

文章目录什么是流式计算数据流数据时序数据集有界数据集无界数据集主要应用场景批、流计算相结合Q&A附录什么是流式计算当你谈起流式计算的时候，说明你当前的处境已经涉及到了大数据范畴。

魏小言·2023-08-01 20:15

python 流式计算框架_流式计算框架

weixin_39533280·2023-07-29 13:13

思格新能源面试（部分）

有没有一些实时的流式计算的场景？AnswerbynewBing:大数据技术中的实时流式计算场景有很多，例如在线系统监控、移动数据和物联网、金融风控、实时推荐等¹。

qq_23204557·2023-07-27 07:07

流式计算引擎 —— Storm

一、ApacheStorm简介1、基本概念 Storm为分布式实时计算提供了一组通用原语，可被用于“流处理”之中，实时处理消息并更新数据库。这是管理队列和工作者集群的另一种方式。Storm也可被用于“连续计算”（continuouscomputation），对数据流做连续查询，在计算时就将结果以流的形式输出给用户。它还可被用于"分布式RPC"，以并行的方式运行昂贵的计算。 Storm可以方便地

小胡_鸭·2023-07-26 19:34

时序数据库 TDengine 流式计算在吉科软冷链系统中的应用实践

当下，随着物流供应链的不断发展，冷链物流正变得越来越重要。通过数字化、平台化和生态化的智慧冷链监管平台，企业可以更好地掌握运输车辆的位置，及时发现并处理异常事件，有效提升客户满意度和信任度，同时也有助于降低冷链运输成本，提高企业市场竞争力。在这一背景下，某冷链项目利用追溯技术和监控预警功能，可以实现对冷链运输各个环节的高效监管，提高运输安全性和产品质量，为冷链运输行业带来极大的赋能作用。异常事件预

涛思数据（TDengine）·2023-07-24 15:17

storm实时计算框架（笔记）

Storm的部署管理非常简单，而且，在同类的流式计算工具，Storm的性能也是非常出众的。Storm主要分为两种组件Nimbus和Supervisor。这两种组

性感的人字拖·2023-07-23 18:09

Flink Window窗口详解

FlinkWindow(窗口)详解概述:windows计算是流式计算中非常常用的数据计算方式之一.通过按照固定时间或长度将数据流切分成不同窗口,然后对数据进行相应的聚合运算,从而得到一定时间范围内的统计结果

鬼古神月·2023-07-22 00:52

大数据之Spark（九）：Spark Streaming 概述

一、流式计算简介1.1流式计算理解流式计算，最形象的例子，就是小明的往水池中放(入)水又放(出)水的案例。

Oak-Komorebi·2023-07-21 23:43

Java8新特性——Stream流式计算

一、Java8StreamStream流，可以让你以一种声明的方式处理数据。大致运用于集合类的操作，极大的提高了编程效率和程序可读性。Stream流是一个来自数据源的元素队列并支持聚合操作，元素是特定类型的对象，形成一个队列。Java中的Stream并不会存储元素，而是按需计算。数据源流的来源。可以是集合，数组，I/Ochannel，产生器generator等。这种风格将要处理的元素集合看作一种流

·梅花十三·2023-07-20 22:05

Flink借助Kafka实现端到端精准一次

流式计算本身就是一个一个来的，所以正常处理的过程中结果肯定是正确的；但在发生故障、需要恢复状态进行回滚时就需要更多

轩裳已逝铭崖·2023-07-18 00:01

Flink读写kafka主题，并进行数据清洗

数据处理添加读取和写入的数据源依据业务实现数据处理的特质执行器，混入特质动态混入方法，用户执行flink参考flink参考Datastream程序架构datastream是flink提供给用户使用的用于进行流计算和批处理的api，是对底层流式计算模型的

Giao.芥末77·2023-07-18 00:01

为什么会是Flink

像ApacheSpark也只能兼顾高吞吐和高性能特性，主要是因为在SparkStreaming流式计算中无法做到低延迟保障；流式计算框架ApacheStorm只能支持低延迟和高性能特性，但是无法满足高吞吐的要求

山间浓雾有路灯·2023-07-17 04:40

Spring集成Flink快速开发

相比于传统批处理和Spark的批流一体，Flink更加注重流式计算和实时处理。

、小H·2023-07-15 02:55

Flink实时任务性能调优

反压在Flink任务中多个Task之间需要进行数据交换，在流式计算中数据的生产方的生产速度和消费方的消费速度不匹配

王义凯_Rick·2023-07-13 17:25

Flink 学习五 Flink 时间语义

Flink学习五Flink时间语义1.时间语义在流式计算中.时间是一个影响计算结果非常重要的因素!(窗口函数,定时器等)Flink可以根据不同的时间概念处理数据。

C0oOder·2023-06-21 13:19

Flink 学习七 Flink 状态(flink state)

Flink学习七Flink状态(flinkstate)1.状态简介流式计算逻辑中,比如sum,max;需要记录和后面计算使用到一些历史的累计数据,状态就是:用户在程序逻辑中用于记录信息的变量在Flink

C0oOder·2023-06-21 05:19

JRC Flink流作业调优指南

写在前面ApacheFlink作为GoogleDataflowModel的工业级实现，经过多年的发展，如今已经成为流式计算开源领域的事实标准。它具有高吞吐、低时延、原生流批一体、高一致性、高可用

·2023-06-21 02:25

Flink 学习一 Flink 简介

Flink学习一https://flink.apache.org/1.快速认识Flink1.1离线批计算与实时流式计算批计算：有界流流式计算：无界流批计算：针对有界流，在计算结果前可以看到整个数据集；流计算

C0oOder·2023-06-21 00:49

推荐频道

流式计算