流式计算

Kafka核心API——Connect API

KafkaConnect基本概念：KafkaConnect实际上是Kafka流式计算的一部分KafkaConnect主要
端碗吹水·2023-10-22 07:31

大数据计算引擎MapReduce框架详解

缺点：不擅长实时计算、不擅长流式计算、不
码农高飞·2023-10-20 18:32

FLink学习笔记：09-Flink 的状态编程应用

KeyedState)ValueState[T]ListState[T]MapState[KU,VU]ReducingState[T]AggregatingState[I,O]聚合状态状态运用编程实例概述流式计算分为无状态和有状态两种情况
wangzhongyudie·2023-10-19 14:49

开源贡献难吗？

我目前就职于字节跳动流式计算团队，负责SQL引擎
字节跳动云原生计算·2023-10-19 12:03

如何快速搭建基于高频数据的因子平台

有没有什么方法可以对大量因子的流式计算规范化、格式化，实现工程化管理呢？——DolphinDB推出了一个方便、快捷、扩展性好和兼容性
松鼠宽客·2023-10-18 15:00

JUC并发编程——Stream流式计算（基于狂神说的学习笔记）

Stream流式计算什么是Stream流式计算Stream流式计算是一种基于数据流的计算模式，它可以对数据进行实时处理和分析，而不需要将所有数据存储在内存中。
苏三有春·2023-10-18 06:33

尚硅谷Flink（三）时间、窗口

1️时间、窗口窗口️是啥Flink是一种流式计算引擎，主要是来处理无界数据流的，数据源源不断、无穷无尽。
Int mian[]·2023-10-17 18:01

Hadoop——第三部份 Hadoop3.x之MapReduce

高扩展动态增加服务器高空错海量计算缺点不擅长实时计算(Mysql)不擅长流式计算(Sparkstreamingflink)不擅长DAG有向无环图计算(迭代)(Spark)二、Hadoop序列化序列化和反序列化将内存中
Cyang6·2023-10-15 12:40

Flink - Java篇

文章目录前言一、概述1Flink是什么2架构分层3数据处理流水线4运行组件TaskManagerJobManagerResourceManagerDispatcher5其他流式计算框架二、入门与使用1Flink
「已注销」·2023-10-13 23:16

JUC并发编程学习笔记

Callable（简单）八、常用的辅助类8.1CountDownLatch8.2CyclicBarrier8.3SemaPhore九、读写锁十、阻塞队列十一、线程池（重点）十二、四大函数式接口（必须掌握）十三、流式计算十四
Radish萝卜·2023-10-13 11:46

大数据笔记--SparkStreaming

目录一、实时计算1、离线和批量、实时和流式Ⅰ、批量计算和流式计算：Ⅱ、批量和流式的区别二、SparkStreaming介绍1、概述2、架构设计二、SparkStreaming基础1、WordCount案例
是小先生·2023-10-12 05:03

Spark 总复习

Spark总复习一、基础题二、简答题1、论述Spark与Hadoop的区别1）编程方式2）数据存储3）数据处理4）数据容错2、简述Spark集群的基本运行流程3、论述批量计算、流式计算、实时计算、离线计算的区别
喝着奶茶敲实验·2023-10-10 08:14

大数据——SparkCore学习笔记

SparkStreaming是Spark平台上针对实时数据进行流式计算的组件，提供了丰富
Ostrich5yw·2023-10-09 21:34

【Spark分布式内存计算框架——Spark Streaming】2. Streaming 概述（下）Streaming 计算模式、SparkStreaming 计算思想

1.3Streaming计算模式流式处理任务是大数据处理中很重要的一个分支，关于流式计算的框架也有很多，如比较出名的Storm流式处理框架，是由NathanMarz等人于2010年最先开发，之后将Storm
csdnGuoYuying·2023-10-09 21:33

大数据——Spark Streaming

是什么SparkStreaming是一个可扩展、高吞吐、具有容错性的流式计算框架。
AIGC人工智残·2023-10-09 21:02

Java进阶之光！百万数据分页查询的方法及其优化方式

在流式计算中，Kafka一般用来缓存数据，例如Flink通过消费Kafka的数据进行计算。
Java范德萨·2023-10-09 11:57

kafka实战

流式计算就相当于扶梯，是可以源源不断的产生数据，源源不断的接收数据，没有边界。流是KafkaStream提出的最重要的抽象概念：它表示一个无限的，不断更新的数据集。
一叶柒刺郎·2023-10-09 05:12

41-58-flink-window-时间语义和watermark

README1、WindowFlink_Window:https://blog.csdn.net/dongkang123456/article/details/1083747991.1概述streaming流式计算是一种被设计用于处理无限数据集的数据
镇魂Boby·2023-10-08 20:22

大数据 | Pyspark基本操作

它的优势有三个方面：通用计算引擎能够运行MapReduce、数据挖掘、图运算、流式计算、SQL等多种框架；基于内存数据可缓存在内存中，特别适用于需要迭代多次运算的场景；与Hadoop集成能够直接读写HDFS
RichardsZ_·2023-10-07 21:10

【征服松鼠】Flink on YARN验证笔记

关于FlinkFlink架构Flink是一种流式计算框架，与Spark的“微批”设计理念不同，Flink则将数据看作无限的和有限的数据流，支持对数据流进行逐条或者窗口式处理，从而保证数据处理延迟可以达到毫秒级
85后_老井·2023-10-04 10:41

Apache Kafka 可视化工具调研

ApacheKafka可视化工具调研背景随着流式计算和消息解耦的需求越来越多，消息队列（ApacheKafka）也成为了中台架构中的一个重要组件，ApacheKafka的可观察性已经是一个很迫切的需求。
一粒尘埃zc·2023-10-04 06:15

【玩转ElasticSearch】降维打击！使用ElasticSearch作为时序数据库

详细分析一下需求：1.我们的用户画像走流式计算，每秒大量更新，所以对插入/更新性能要求很高。2.查询条件翻译成SQL就是类似selectcount(*)from`tabl
weixin_34326558·2023-10-02 04:35

StarRocks数据导入

1、相关环境Flink作为当前流行的流式计算框架，在对接StarRocks时，若直接使用JDBC的方式"流式"写入数据，对StarRocks是不友好的，StarRocks作为一款MVCC的数据库，其导入的核心思想还是
docsz·2023-10-01 12:08

【大数据】流式计算引擎Flink入门及案例实战

文章目录1.Flink核心概念简介1.1.什么是Flink1.2.无界数据和有界数据简介1.3.Flink优化利用内存性能1.4.Flink常见的应用场景2.Flink案例入门2.1.创建Maven项目整合Flink2.2.Tuple数据类型操作2.3.Flink流式处理案例2.4.Flink运行流程解析2.5.Flink可视化控制台3.Flink部署和整体架构讲解3.1.Flink运行流程简介3
互联网小阿祥·2023-09-28 12:56

DataFlow编程模型与Spark Structured streaming

近年来流式计算框架编程接口的标准化，傻瓜化，SQL化日渐有走上台面的趋势。各家计算框架都开始认真考虑相关的问题，俨然成为大家竞争
天地不仁以万物为刍狗·2023-09-27 22:37

详解flink中Look up维表的使用

背景LookupableTableSource实例讲解源码解析JdbcTableSourceJdbcLookupFunction背景在流式计算中，维表是一个很常见的概念，一般用于sql的join中，对流式数据进行数据补全
大数据技术与应用实战·2023-09-27 17:19

基于Kafka+Flink+Redis的电商大屏实时计算案例

由于Flink的“真·流式计算”这一特点，它比SparkStreaming要更适合大屏应用。本文从笔者的实际工作经验抽象出简单的模型，并简要叙述计算流程（当然大部分都是源码）。数据格式与接入简化的子订
zhisheng_blog·2023-09-27 15:42

“spark三剑客”之SparkStreaming流式计算框架

一流式计算概述1.1什么的流式计算数据流VS静态数据数据流静态数据不断产生的数据存储在磁盘中的固定的数据流式计算的概念对数据流进行计算，由于数据是炼苗不断的产生的，所以这个计算也是一直再计算，不会停止流式计算的数据流
南潇如梦·2023-09-26 10:52

Stream流式计算

1.什么是Stream流式计算大数据：存储、计算集合、MySQL本质就是存储东西的；计算都应该交给流来操作！
荭色海湾·2023-09-23 07:15

一文告诉你为什么时序场景下 TDengine 数据订阅比 Kafka 好

在TDengine3.0中，我们对流式计算、数据订阅功能都进行了再升级，帮助用户极大简化了数据架构的复杂程度，降低整体运维成本。
涛思数据（TDengine）·2023-09-23 06:12

Flink流式计算从入门到实战 三

文章目录四、FlinkDataStreamAPI1、Flink程序的基础运行模型2、Environment运行环境3、Source3.1基于File的数据源3.2基于Socket的数据源3.3基于集合的数据源3.4从Kafka读取数据3.5自定义Source4、Sink4.1输出到到控制台4.2输出到文件4.3输出到Socket4.4输出到kafka4.5自定义Sink5、Transformati
roykingw·2023-09-23 00:05

大数据思想与应用

3.流式计算:对数据流进行近实时处理与计算,用于实时监控和决策。4.在线分析:可以快速对大规模数据进行交互式查询与多维分析。5.数据挖掘:从海量数据中提取有价值的信息,进行业务决策和预测。
密斯特.张先生·2023-09-22 12:17

Flink窗口

窗口（Window）6.1.1窗口的概念Flink是一种流式计算引擎，主要是来处理无界数据流的，数据源源不断、无穷无尽。
yzhSWJ·2023-09-22 02:10

流计算通用概念和Flink中的概念介绍

USER_SCORES存在一个USER_SCORES表，在批处理和流式处理中分别执行SELECT语句，区别如下：批处理一次返回最终结果流处理会随着数据进入引擎，不断的输出结果（设定5s的winow触发计算）SQL什么是流式计算流式计算的特点
Alex90·2023-09-20 12:34

7.1、如何理解Flink中的时间语义

3、时间语义与窗口的关系1、如何理解Flink中的时间语义flink作为流式计算引擎，提供了两种时间语义来对流式数据进行计算事件时间(EventTime):事件产生的时间，通常由事件中的时间戳描述处理时间
广阔天地大有可为·2023-09-20 08:53

Java程序员：世界有三个伟大的发明「火、轮子、kafka」

在流式计算中，Kafka一般用来缓存数据，例如Flink通过消费Kafka的数据进行计算。关于Kafka，我们最先需要了解的是以下四点：ApacheKafka是一个开源「消息」系统，由Scala写成
吃井不忘挖水人呢·2023-09-19 17:56

一文告诉你为什么时序场景下 TDengine 数据订阅比 Kafka 好

在TDengine3.0中，我们对流式计算、数据订阅功能都进行了再升级，帮助用户极大简化了数据架构的复杂程度，降低整体运维成本。
·2023-09-19 17:19

Flink与Spark的区别

2、Flink是基于事件驱动的，是面向流的处理框架,Flink基于每个事件一行一行地流式处理，是真正的流式计算.另外他也可以基于流来模拟批进行计算实现批处理。3.2架构方面1、Spark在
Coding路人王·2023-09-18 16:48

四大函数式接口（重点，必须掌握）

新时代程序员必须要会的：lambda表达式、链式编程、函数式接口、Stream流式计算什么是函数式接口1.函数型接口packagecom.kuang.function;importjava.util.function.Function
荭色海湾·2023-09-18 02:11

2018年终总结

盘点整体而言，今年技术层面稍微有点拓宽，跨入了外表看上去高大上的流式计算领域，打开了另外一扇窗；而基于java的分布式/微服务领域，今年变化比较大，springcloudnetflix的部分组件宣布将要进入维护阶段
weixin_34138255·2023-09-17 15:47

JUC学习总结（待补充）

2.线程和进程3.Lock锁4.生产者和消费者问题5.八锁现象6.不安全集合类7.Callable8.常用的辅助类9.读写锁10.阻塞队列11.线程池（重点）12.四大函数式接口13.Steam流式计算
无名之辈008·2023-09-16 12:51

黑马头条 热点文章实时计算、kafkaStream

热点文章-实时计算1今日内容1.1定时计算与实时计算1.2今日内容kafkaStream什么是流式计算kafkaStream概述kafkaStream入门案例Springboot集成kafkaStream
软工菜鸡·2023-09-16 05:51

kafkaStream实时流式计算

2实时流式计算2.1概念一般流式计算会与批量计算相比较。在流式计算模型中，输入是持续的，可以认为在时间上是无界的，也就意味着，永远拿不到全量数据去做计算。
无条件做异梦·2023-09-15 01:14

5、flink任务中常用的转换算子（Transformation）

1、什么是Flink中的转换算子在使用FlinkDataStreamAPI开发流式计算任务时，可以将一个或多个DataStream转换成新的DataStream，在应用程序中可以将多个数据转换算子合并成一个复杂的数据流拓扑图
广阔天地大有可为·2023-09-14 07:38

数据库顶会 VLDB 2023 论文解读：字节跳动如何解决超大规模流式任务运维难题

本文解读了新加坡国立大学马天白教授团队、字节跳动基础架构-计算-流式计算团队联合发表在国际数据库与数据管理顶级会议VLDB2023上的论文“StreamOps:Cloud-NativeRuntimeManagementforStreamingServicesinByteDance
字节跳动云原生计算·2023-09-14 06:39

昨日反思

找到了这样的工作后，静下心来好好工作，好好学习，学习计算机基础，学习流式计算，
epitomizelu·2023-09-11 22:10

Storm 流式计算框架介绍

文章目录1.Storm简介1.1DAG（有向无环图）1.2Storm介绍1.2.1Storm简介1.2.2Storm的优点1.2.3Storm的特性1.3Storm与Hadoop对比相似点：不同点：1.4Storm物理架构1.5Storm并行机制1.5.1配置拓扑的并行度1.6Storm计算架构1.6.1**Topology**1.6.2**Stream****1.6.3Tuple**1.6.4*
几窗花鸢·2023-09-11 21:16

大数据导论 笔记

大数据基础三大件：HDFS分布式存储、MapReduce并行计算框架、yarn分布式资源调度框架hbaseHadoopDataBase分布式列式数据库NoSQLhive数据仓库兼容SQL标准3、提高课程Storm流式计算
暗托涅瓦·2023-09-10 02:12

不懂Netty，还想要高薪？腾讯T4大师整理的这份Netty权威指南（附游戏项目实战）不来了解下吗？

前言随着大规模分布式系统、大数据和流式计算框架的兴起，基于Java来构建这些系统已经成为主流，NIO编程和NIO框架在此期间得到了大规模的商用。
进阶的架构师·2023-09-10 00:00

Flink 窗口

介绍：流式计算是一种被设计用于处理无限数据集的数据处理引擎，而无限数据集是指一种不断增长的本质上无限的数据集，而window是一种切割无限数据为有限块进行处理的手段，其分为两种类型：1、时间窗口，2：计数窗口一
有人看我吗·2023-09-09 09:18
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他