流式计算

Flink流式计算里的时间和watermark机制

一流计算对“批计算”的优势：“流计算”是相对于“批计算”来的，MapReduce，Spark底层的计算方式是目前主流的“批计算”实现方式，很多公司在使用这种方式做大数据处理。但是越来越多的公司目前开始关注“流计算”，主要有以下一些原因：1对处理时间的要求。随着技术的进步，用户对“延迟”的忍受能力越来越弱，能更及时发现问题、解决问题，能提升用户体验。2在大数据分析领域，数据分析得越及时，价值越高。在
flywind800·2023-03-14 17:31

Spark ---------- 大数据框架，spark简介及架构图示

Spark包含了大数据领域常见的各种计算框架：比如SparkCore用于离线计算，SparkSQL用于交互式查询，SparkStreaming用于实时流式计算，SparkMLlib用于机器学习，SparkGraphX
isOllie·2023-02-26 07:47

Flink 常用的 DataSet 和 DataStream API

尤其是在流式计算方面，Flink实现了计算引擎级别的流批一体2、对于DataSet而言，Source部分来源于文件、表或
启四·2023-02-23 16:37

Flink 三：Flink 流处理 API

Flink三：Flink流处理API主要内容结构：1.流处理相关概念数据的时效性对网站的实时监控对异常日志的监控流式计算和批量计算BatchAnalytics批量计算：统一收集数据-》存储到DB-》对数据进行批量处理
章鱼哥TuNan&Z·2023-02-23 16:05

(二十二)大数据学习之流式计算

大数据学习之流式计算一.1.计算分类：批量计算、实时计算、离线计算、流式计算2.共同点：数据源-->采集数据-->taskworker-->taskworker-->sink输出3.批量计算和流式计算的区别
Movle·2023-02-06 18:22

《从0开始学大数据》之流式计算的代表

前面介绍的大数据技术主要是处理、计算存储介质上的大规模数据，这类计算也叫大数据批处理计算。顾名思义，数据是以批为单位进行计算，比如一天的访问日志、历史上所有的订单数据等。这些数据通常通过HDFS存储在磁盘上，使用MapReduce或者Spark这样的批处理大数据计算框架进行计算，一般完成一次计算需要花费几分钟到几小时的时间。此外，还有一种大数据技术，针对实时产生的大规模数据进行即时计算处理，我们比
我叫CJJ·2023-02-04 17:21

flink的时间语义和window,Wartermark

Window概述streaming流式计算是一种被设计用于处理无限数据集的数据处理引擎，而无限数据集是指一种不断增长的本质上无限的数据集，而window是一种切割无限数据为有限块进行处理的手段。
多彩海洋·2023-02-03 15:51

【Spark】适用场景&优缺点

即对数据处理速度有一定要求的，Hadoop显然不符合；Spark通过内存计算能力可以极大的提高大数据处理速度适用于需要多次操作特定数据集的应用场合数据量不大，但要求实时统计分析需求基于大数据的SQL查询、流式计算
九筒-·2023-01-31 18:55

flink-初步认识（1）

支持事件时间（EventTime）概念在流式计算领域中，窗口计算的地位举足轻重，但目前大
踩坑侠·2023-01-29 23:55

大数据-Spark的介绍：前世今生

Spark包含了大数据领域常见的各种计算框架：比如SparkCore用于离线计算，SparkSQL用于交互式查询，SparkStreaming用于实时流式计算，SparkMLlib用于机器学习，SparkGraphX
Iamarookie999·2023-01-24 20:56

时序数据库 TDengine 3.0.2.0 版本正式发布

TDengine3.0带来了几大核心特性，包括云原生架构、流式计算，还增强了数据订阅功能；更重要的是，3.0系列版本开始提供了全平台支持，服务器/客户端均已支持Linux、Windows和MacOS。
·2023-01-20 13:10

流计算 Oceanus | 巧用 Flink 构建高性能 ClickHouse 实时数仓

作者：董伟柯——腾讯云大数据产品中心高级工程师概述ApacheFlink是流式计算处理领域的领跑者。它凭借易用、高吞吐、低延迟、丰富的算子和原生状态支持等优势，多方位领先同领域的开源竞品。
腾讯云大数据·2023-01-08 10:10

Lambada表达式 示例代码

Stream流式计算： Ø一个流式处理可以分为三个部分：转换成流、中间操作、终端操作。 
Success4416·2023-01-07 21:58

Learning Spark（Ⅰ）

可支持多种开发语言，Java，python，scala，R3.通用性SQL查询：SparkSQL流式计算：SparkStreaming机器学习：SparkMLib图算法组件：S
松阁~·2023-01-05 02:05

百度爱番番基于图技术、流式计算的实时CDP建设实践

导读：随着营销3.0时代的到来，企业愈发需要依托强大CDP能力解决其严重的数据孤岛问题，帮助企业加温线索、促活客户。但什么是CDP、好的CDP应该具备哪些关键特征？本文在回答此问题的同时，详细讲述了爱番番租户级实时CDP建设实践，既有先进架构目标下的组件选择，也有平台架构、核心模块关键实现的介绍。本文系百度爱番番技术团队撰写，首发于#百度Geek说#公众号一、CDP是什么1.1CDP由来CDP（C
图数据库NebulaGraph·2022-12-23 04:39

重磅！TDengine 3.2.0 正式发布

TDengine3.0带来了几大核心特性，包括云原生架构、流式计算，还增强了数据订阅功能；更重要的是，3.0系列版本开始提供了全平台支持，服务器/客户端均已支持Linux、Windows和MacOS。
涛思数据（TDengine）·2022-12-21 10:43

时序数据库 TDengine 3.0.2.0 版本正式发布

TDengine3.0带来了几大核心特性，包括云原生架构、流式计算，还增强了数据订阅功能；更重要的是，3.0系列版本开始提供了全平台支持，服务器/客户端均已支持Linux、Windows和MacOS。
·2022-12-20 18:50

Flink窗口及其分类-详细说明

，欢迎访问作者gitee仓库：https://gitee.com/fanggaolei/learning-notes-warehouse/tree/masterFlink窗口的概念  Flink是一种流式计算引擎
Fang GL·2022-12-19 18:31

Apache Flink 1.14.0

在Flink的世界里一切都是流，纯流式计算引擎flink是一个类似spark的“开源技术栈”，因为它也提供了批处理，流式计算，图计算，交互式查询，机器学习等。
dzzxjl·2022-12-18 16:30

当打造一款极速湖分析产品时，我们在想些什么

作者：王有卓，StarRocksContributor随着开源数据湖技术的快速发展以及湖仓一体全新架构的提出，传统数据湖在事务处理、流式计算以及数据科学场景的限制逐渐得以优化解决。
StarRocks_labs·2022-12-17 05:49

当打造一款极速湖分析产品时，我们在想些什么

作者：王有卓，StarRocksContributor随着开源数据湖技术的快速发展以及湖仓一体全新架构的提出，传统数据湖在事务处理、流式计算以及数据科学场景的限制逐渐得以优化解决。
·2022-12-15 18:05

百度爱番番基于图技术、流式计算的实时CDP建设实践

导读：随着营销3.0时代的到来，企业愈发需要依托强大CDP能力解决其严重的数据孤岛问题，帮助企业加温线索、促活客户。但什么是CDP、好的CDP应该具备哪些关键特征？本文在回答此问题的同时，详细讲述了爱番番租户级实时CDP建设实践，既有先进架构目标下的组件选择，也有平台架构、核心模块关键实现的介绍。本文系百度爱番番技术团队撰写，首发于#百度Geek说#公众号一、CDP是什么1.1CDP由来CDP（C
·2022-12-15 17:01

百度爱番番基于图技术、流式计算的实时CDP建设实践

导读：随着营销3.0时代的到来，企业愈发需要依托强大CDP能力解决其严重的数据孤岛问题，帮助企业加温线索、促活客户。但什么是CDP、好的CDP应该具备哪些关键特征？本文在回答此问题的同时，详细讲述了爱番番租户级实时CDP建设实践，既有先进架构目标下的组件选择，也有平台架构、核心模块关键实现的介绍。本文系百度爱番番技术团队撰写，首发于#百度Geek说#公众号一、CDP是什么1.1CDP由来CDP（C
·2022-12-14 20:10

大数据入门：Flink和Spark简单对比

Spark和Flink在处理数据上都能实现流式计算、实时分析，那么两者之间有何异同呢？下面我们来做一个简单的Flink和Spark对比。
加米谷大数据张老师·2022-12-12 15:32

Flink VS Spark：大数据流式计算的巅峰对决

在流式计算领域，同一套系统需要同时兼具容错和高性能其实非常难，同时它也是衡量和选择一个系统的标准。在这个领域，Flink和Spark无疑是彼此非常强劲的对手。
不稳定记忆·2022-12-12 15:28

SparkStreaming基础理论

Hadoop的MapReduce及SparkSQL等只能进行离线计算，无法满足实时性要求较高的业务需求，例如实时推荐、实时网站性能分析等，流式计算可以解决这些问题。
weixin_33815613·2022-12-07 11:41

大数据分析技术与实战之Spark Streaming

为此，涌现出了一批如S4、Storm的流式计算框架。
chisuijie5678·2022-12-07 11:38

Spark Streaming 学习笔记

它允许用户使用一套和批处理非常接近的API来编写流式计算应用，这样就可以大量重用批处理应用的技术甚至代码。SparkStreaming是Spark核心API的一个扩展，可以实现高吞
惹不起的程咬金·2022-12-07 11:37

Spark框架 及 pyspark库

transformationkey-value型transformationactionpersist关闭spark案例SparkSQL（DataFrame）DataFrame简介DataFrame常用算子流式计算
劫径·2022-12-05 11:49

如何分析及处理 Flink 反压

反压（backpressure）是实时计算应用开发中，特别是流式计算中，十分常见的问题。反压意味着数据管道中某个节点成为瓶颈，处理速率跟不上上游发送数据的速率，而需要对上游进行限速。
夜无边CN·2022-12-04 19:09

flink面试相关手册

Flink因为其天然的流式计算特性以及强大的处理性能成为炙手可热的大数据处理框架。
暗东方·2022-11-29 15:33

Flink面试大全总结（全文6万字、110个知识点、160张图）

threeknowbigdata，备注Flink，获取文章PDF版本Hello，各位大数据学习爱好者，我是3分钟秒懂大数据公众号的作者土哥，目前在杭州某互联网大厂担任大数据算法工程师，组内专注于Flink流式计算组件以及
3分钟秒懂大数据·2022-11-29 15:02

Flink面试题大全，它是否能登上你的客船？

Flink因为其天然的流式计算特性以及强大的处理性能成为炙手可热的大数据处理框架。
90后小伙追梦之路·2022-11-29 15:18

大数据分析和大数据开发哪个好就业啊？

大数据开发工程师主要负责公司大数据平台的开发和维护、相关工具平台的架构设计与产品开发、网络日志大数据分析、实时计算和流式计算以及数据可视化等技术的研发和网络安全业务主题建模等工作。
我想去吃ya·2022-11-23 21:22

如何排查Flink生成环境中的反压问题

《2021年最新版大数据面试题全面开启更新》反压问题是流式计算系统中经常碰到的一个问题，如果你的任务出现反压节点，那么就意味着任务数据的消费速度小于数据的生成速度，需要对生成速度进行控制。
王知无(import_bigdata)·2022-11-12 05:27

Apache Flink 1.15 Checkpoint最新架构设计（官网转载）

Flink，作为流式计算的标杆，其端到端延迟包括容错的快慢主要取决于检查点机制（Che
Direction_Wind·2022-11-03 10:41

TDengine3.0流式计算引擎语法规则介绍

小T导读：TDengine3.0引入了全新的流式计算引擎，既支持时间驱动的流式计算，也支持事件驱动的流式计算。本文将对新的流式计算引擎的语法规则进行详细介绍，方便开发者及企业使用。
涛思数据（TDengine）·2022-11-02 18:01

Apache Hudi技术与架构-1

1前言ApacheHudi是大数据领域中新一代的基于流式计算的数据存储平台，又称之为数据湖平台（DataLakePlatform），其综合传统的数据库与数据仓库的核心功能，提供多样化的数据集成、数据处理以及数据存储的平台能力
uesowys·2022-10-08 08:27

你的系统有热点缓存问题吗？如何为系统设计缓存架构？

目录（1）为什么要用缓存集群（2）20万用户同时访问一个热点缓存（3）基于流式计算的缓存热点自动发现（4）热点缓存自动加载为JVM本地缓存（5）限流熔断保护（6）总结这篇文章，跟大家讲讲站在一个程序员的角度
石杉的架构笔记·2022-10-08 07:15

大数据入门：Flink核心概念详解

在流式计算越来越受到主流青睐的市场状况下，流式计算框架技术的掌握，正在成为大数据学习当中的重要部分。以Flink框架来说，作为新一代的流计算框架，越来越多地出现在大数据开发者们的技能树当中。
加米谷大数据张老师·2022-10-04 14:03

大数据学习之Flink——13Window详解

Windows计算是流式计算中非常常用的数据计算方式之一,通过按照固定时间或长度将数据流切分成不同的窗口,然后对数据进行相应的聚合运算,从而得到一定时间范围内的统计结果。
Jiang锋时刻·2022-10-04 14:00

TDengine 3.0 流式计算引擎语法规则介绍

小T导读：TDengine3.0引入了全新的流式计算引擎，既支持时间驱动的流式计算，也支持事件驱动的流式计算。本文将对新的流式计算引擎的语法规则进行详细介绍，方便开发者及企业使用。
·2022-09-30 15:16

大数据——粗谈Apache Spark（计算引擎）

Spark就是在一个统一的框架下能够进行批处理，流式计算和交互式计算。Spark的核心概念就是RDD（弹性分布式数据集）分布在集群中的对象集合，存储在磁盘或内存中。
Xa_L·2022-09-28 06:19

分布式系统面试连环炮

，就是都没怎么搞过分布式系统，现在互联网公司，一般都是做分布式的系统，大家都不是做底层的分布式系统、分布式存储系统HadoopHDFS、分布式计算系统HadoopMapReduce/Spark、分布式流式计算系统
@司马懿·2022-09-22 19:12

使用 Prometheus 监控 eKuiper 规则运行状态

eKuiper的规则是一个持续运行的流式计算任务。规则用于处理无界的数据流，正常情况下，规则启动后会一直运行，不断产生运行状态数据。直到规则被手动停止或出现不可恢复的错误后停止。
·2022-09-20 20:23

大数据之Flink计算框架

OLTP实时计算(流式计算)OLAP离线计算(批量计算)Flink运行环境：StandAlone自己单独运行Hadoop-Yarn
飘然生·2022-09-16 13:08

深度解读！新一代大数据引擎Flink厉害在哪？（附实现原理细节）

本文系统地介绍了流式计算的相关知识，并着重介绍了Flink的实现原理细节，便于大家快速地理解和掌握流式计算，并基于Flink完成业务开发。一、流式计算和批处理批处理在大数据世界有着
架构师小秘圈·2022-09-08 10:56

Flink面试题大全(建议收藏)

Flink因为其天然的流式计算特性以及强大的处理性能成为炙手可热的大数据处理框架。
无精疯·2022-09-08 10:23

kafka超全学习总结

Kafka快速入门选择Kafka原因:Kafka吞吐量比较高,在我们的系统中,文章是核心数据,每天会发布很多文章数据,产生很多用户行为因为我们的系统中会有一个实时行为计算的逻辑,会使用KAFKA提供的实时流式计算功能因为我们团队中之前有小伙伴用过
Code攻城狮·2022-08-26 21:06

湖仓一体技术解读｜流式计算实现秒级数据入湖

数据入湖的时效性直接影响整体数据应用效果，基于湖仓一体架构的巨杉数据库通过对接业界主流的Flink,Spark和Storm等主流的流式框架，实现实时生产数据的高速入湖，原汁原味的将数据保留在巨杉数据库中。SequoiaDB是巨杉数据库通过10年的不断迭代，从多模数据湖架构演进出来的“湖仓一体”架构产品。SequoiaDB的“湖仓一体”结合了数据湖与数据仓库，是一个融合的基础设施环境，支持从原始数据
巨杉数据库SequoiaDB·2022-08-25 14:17
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他