Storm+–+流计算

3.核心抽象

3.1环境对象StreamExecutionEnvironment是Flink应用开发时的概念，表示流计算作业的执行环境，是作业开发的入口、数据源接口、生成和转换DataStream的接口、数据Sink
StephenYYYou·2023-08-07 23:19

Spark RDD详解

它旨在执行批处理(类似于MapReduce)和提供新的工作特性，例如流计算，SparkSQL交互式查询
丿沐染烟忱丶·2023-08-04 18:03

Apache Flink概述

Flink是构建在数据流之上的一款有状态的流计算框架，通常被人们称为第三代大数据分析方案第一代大数据处理方案：基于Hadoop的MapReduce静态批处理|Storm实时流计算，两套独立的计算引擎，难度大
LJiaWang·2023-08-03 10:15

Flink Windows（窗口）详解

Windows（窗口）Windows是流计算的核心。
LJiaWang·2023-08-03 10:15

消息队列的选型及当下几种流行队列的优缺点分析

，流行的产品与周边生态系统会有一个比较好的集成和兼容，比如，Kafka和Flink就有比较好的兼容性，Flink内置了Kafka的DataSource，使用Kafka就很容易作为Flink的数据源开发流计算应用
我是pp呀·2023-08-03 05:17

大数据中的流计算

文章目录什么是流式计算数据流数据时序数据集有界数据集无界数据集主要应用场景批、流计算相结合Q&A附录什么是流式计算当你谈起流式计算的时候，说明你当前的处境已经涉及到了大数据范畴。
魏小言·2023-08-01 20:15

Flink 数据统计 举个栗子

一、统计流程image.png所有流计算统计的流程都是：1、接入数据源2、进行多次数据转换操作(过滤、拆分、聚合计算等)3、计算结果的存储其中数据源可以是多个、数据转换的节点处理完数据可以发送到一个和多个下一个节点继续处理数据
生活的探路者·2023-07-29 16:50

实时流计算技术已经主宰阿里各业务线，你还不学起来？！

今日一问：你学实时流计算了吗？这几年，随着越来越多的业务对数据的实时性提出了高要求，实时流计算技术变得越来越火。
浪尖聊大数据-浪尖·2023-07-28 18:10

新版本特性抢先看 | DolphinDB V2.00.10&V1.30.22 即将发布

新版本包含了VSCodeDebug、插件在线下载、TopN系列函数、SQL标准兼容性改进等各种更新，以及TSDB引擎、流计算、多种计算函数性能优化。
DolphinDB智臾科技·2023-07-28 17:19

思格新能源面试（部分）

其中，实时流计算技术主要用于对动态产生的数据进行实时计
qq_23204557·2023-07-27 07:07

简述流计算的场景

从我最开始接触的流计算场景来阐述最近的一些心得，先以场景入手。
夜丨雨·2023-07-27 05:56

Flink学习笔记(5) -- Flink 状态(State)管理与恢复

一、状态  在流计算场景中，数据没有边界源源不断的流入的，每条数据流入都可能会触发计算，比如在进行count或sum这些操作，是选择每次触发计算将所有流入的历史数据重新计算一边还是每次计算都基于上次计算结果进行增量计算呢
满床清梦覆星河·2023-07-26 17:20

spark streaming杂记

Metadatacheckpointing:保存流计算的定义信息到容错存储系统如HDFS中。这用来恢复应用程序中运行worker的节点的故障。
cclucc·2023-07-26 06:10

Apache Flink 流处理（快速入门）

流计算的结果通过Sinks输出,例如将数据写入文件、标准输出等。共同依赖1.7.12.11org.apache.flinkflink-core${flink.version}org.apach
<>=·2023-07-26 03:27

1.Flink概述

1.1技术架构应用框架层:在API层之上构建的满足特定应用场景的计算框架，总体上分为流计算和批处理两类应用框架。
StephenYYYou·2023-07-26 03:21

会 java 8 stream流就会大数据！

本文以javastream流计算为例，讲解一些基础的spark操作。另一个流行的大数据框架flink同理。准备工作测试数据,以下列分别表示姓名，年龄，部门，职位。张三,20,研发部,普通员
python小小Q·2023-07-25 23:44

Mg设备 - 电流计算 隐私政策

This"Mg设备-电流计算"respectsandprotectstheprivacyofalluserswhousetheservice.Inordertoprovideyouwithmoreaccurateandpersonalizedservices
mrTomHank·2023-07-25 23:52

基于Greenplum+Kafka的实时数据处理

Greenplum研发团队在开源Greenplum的基础上，提供了新的高速流数据引擎GPKafka，从而将Greenplum强大的SQL处理能力引入到流计算领域。来自掌数科技的吴贤川将在
Greenplum中文社区·2023-07-25 11:29

Kafka在大数据处理中的应用

Kafka在大数据处理中的应用一、Kafka简介1.基础概念2.Kafka的主要功能3.Kafka的特点二、应用场景1.数据采集和消费2.数据存储和持久化3.实时数据处理和流计算4.数据通信和协同三、技术融合
格林希尔·2023-07-25 11:56

storm实时计算框架（笔记）

Storm令持续不断的流计算变得容易，弥补了Hadoop批处理所不能满足的实时要求。Storm经常用于在实时分析、在线机器学习、持续计算、分布式远程调用和ETL等领域。
性感的人字拖·2023-07-23 18:09

flink 股票

1.今日指数项目之FlinkCEP介绍_flinkcep的优势_Maynor996的博客-CSDN博客.2基于Flink流计算实现的股票交易实时资产应用_flink股票_ApacheFlink的博客-CSDN
neo_sparker·2023-07-23 08:01

Python多线程 Multi-threading

启用时间轮转，CPU对每个任务轮流计算，每次只用万分之一秒执行一个任务。当只有4个任务时，4核CPU可以实现并行，即每个核心负责一个任务。但是当任务数超过CPU的核心数时，则必须要启用时间轮转。
Solomon_Xie·2023-07-20 10:38

玩转幻点活动方案

主题结合商场、时间档期来定2.2内容:参考大丸六一或者保利2.3成功案例（兰州保利、上海久光、孩子王等等）3、我们能带来什么（2-3页）3.1额外带高质量客流客流计算：天数*次数/天*人/场=总数预计带来消费
Andyee·2023-07-20 08:27

NSQ 行情数据无忧处理丨DolphinDB easyNSQ 模块使用教程

为了方便用户快速搭建NSQ实时行情数据的流计算环境，DolphinDB开发了DolphinDBModules::easyNSQ模块（简称easyNSQ模块），主要用于NSQ实时行情
DolphinDB智臾科技·2023-07-18 22:41

matlab液体湿润模拟,【水文模型】01 三水源新安江模型

目录一、概述1.1流域概况1.2产流方式论证1.3设计基本任务1.4设计原始资料二、新安江模型2.1流域划分2.2产汇流计算2.2.1蒸散发计算2.2.2产流计算2.2.3水源划分2.2.4汇流计算2.3
哈士奇爱深海鱼·2023-07-18 03:07

Flink读写kafka主题，并进行数据清洗

数据处理添加读取和写入的数据源依据业务实现数据处理的特质执行器，混入特质动态混入方法，用户执行flink参考flink参考Datastream程序架构datastream是flink提供给用户使用的用于进行流计算和批处理的
Giao.芥末77·2023-07-18 00:01

大数据计算分析技术：批处理、流计算、OLAP引擎

目录一、批处理的基石：MapReduce1.工作流程2.实例分析二、流计算的代表：storm、sparkstreaming和flink
青果HA·2023-07-17 02:37

Spark和Hadoop的对比

一、二者各方面比较HadoopSpark类型基础平台，包含计算、存储、调度分布式计算工具场景大规模数据集上的批处理迭代计算，交互式计算，流计算价格对机器要求低，便宜对内存有要求，相对较贵编程范式Map+
飞Link·2023-07-15 16:46

Dinky0.7.0源码初探

Flink目前是一个使用广泛的基于流计算的流批一体的大数据计算框架，它关注的是流计算的底层实现、集群运行最优化、高效运行的设计等；Dinky是基于Flink的一个应用平台：目前最核心的功能，就是在
武舞悦·2023-07-14 07:22

基于牛顿拉夫逊的配电网潮流计算研究（Matlab代码实现）

欢迎来到本博客❤️❤️博主优势：博客内容尽量做到思维缜密，逻辑清晰，为了方便读者。⛳️座右铭：行百里者，半于九十。本文目录如下：目录1概述2运行结果2.1雅可比矩阵2.2节点电压2.3节点负荷3参考文献4Matlab代码实现1概述牛顿-拉夫逊法在数学上是求解非线性代数方程式的有效方法。其要点是把非线性方程式的求解过程变成反复地对相应的线性方程式进行求解的过程，即通常所称的逐次线性化过程。是数值计算
紫极星光·2023-06-23 21:21

配电网前推后带法求电力系统潮流（Python&Matlab实现）

目录1概述2数学模型3节点分层前推回代潮流计算及步骤3.1计算方法3.2计算步骤4算例及数据5Matlab&Python代码实现1概述配电网通常是单电源全网连接、开环运行，即呈树状。
然哥依旧·2023-06-23 17:39

Storm--简介(一)

随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍，比如网站统计、推荐系统、预警系统、金融系统(高频交易、股票)等等，大数据实时处理解决方案（流计算）的应用日趋广泛，目前已是分布式技术领域最新爆发点
无剑_君·2023-06-22 22:42

版本发布 | TDengine 3.0.5.0 让流计算、数据订阅更好用

自3.0版本发布以来，在研发人员和社区用户的不断努力下，时序数据库（TimeSeriesDatabase）TDengine做了大量更新，产品稳定性和易用性也在不断提升。在我们为TDengine筹备六岁生日“Party”的同时，TDengine的研发小伙伴们也在加班加点地进行优化迭代的工作，想要在六岁生日的节点上为TDengine用户送上一个新版本“大礼包”，共同见证TDengine下一阶段的新成长
涛思数据（TDengine）·2023-06-22 15:56

Flink 学习一 Flink 简介

Flink学习一https://flink.apache.org/1.快速认识Flink1.1离线批计算与实时流式计算批计算：有界流流式计算：无界流批计算：针对有界流，在计算结果前可以看到整个数据集；流计算
C0oOder·2023-06-21 00:49

电力系统直流潮流计算研究【IEEE9节点】（Matlab代码实现）

欢迎来到本博客❤️❤️博主优势：博客内容尽量做到思维缜密，逻辑清晰，为了方便读者。⛳️座右铭：行百里者，半于九十。本文目录如下：目录1概述2运行结果2.1IEEE9节点3参考文献4Matlab代码实现1概述直流潮流发的特点是用电力系统的交流潮流（有功功率和无功功率）用等值的直流电流来代替。甚至只用直流电路的解析法来分析电力系统的有功潮流，而根不如你不考虑无功分布对有功的影响。这样一来计算速度加快，
数学建模与科研·2023-06-20 22:28

最新：机器学习在生态、环境经济学中的实践技术应用及论文写作

R语言是用于统计建模的主流计算机语言，用于机器学习十分方便，且学习曲线相比于Python更加平滑，因此是进行机器学习的首选之一。
weixin_贾·2023-06-19 18:40

基于Kafka和Spark实现实时计算系统

数据处理和计算阶段4.数据存储和查询阶段三、实时计算系统的应用1.Kafka在实时计算系统中的作用a.消息缓存和传输b.数据分区和负载均衡c.高可靠性和容错处理2.Spark在实时计算系统中的作用a.实时流计算和批处理
格林希尔·2023-06-19 11:21

Flink 状态计算

https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/stream/state/state.htmlFlink是⼀个基于状态计算的流计算服务
纯净天空7·2023-06-19 06:13

基于牛顿拉夫逊的配电网潮流计算研究（Matlab代码实现）

欢迎来到本博客❤️❤️博主优势：博客内容尽量做到思维缜密，逻辑清晰，为了方便读者。⛳️座右铭：行百里者，半于九十。本文目录如下：目录1概述2运行结果2.1雅可比矩阵2.2节点电压2.3节点负荷3参考文献4Matlab代码实现1概述牛顿-拉夫逊法在数学上是求解非线性代数方程式的有效方法。其要点是把非线性方程式的求解过程变成反复地对相应的线性方程式进行求解的过程，即通常所称的逐次线性化过程。是数值计算
然哥依旧·2023-06-19 01:39

简析数栈高效数据同步插件FlinkX

目前已完成批流统一，离线计算与流计算的数据同步任务都可基于FlinkX实现。FlinkX将不同的数据源库抽象成不同的Reader插件，目标库抽象成
袋鼠云数栈·2023-06-18 12:30

【Apache-Flink零基础入门】「入门到精通系列」手把手+零基础带你玩转大数据流式处理引擎Flink（特点和优势分析）

总体介绍状态容错精确的一次性处理模式简单场景的精确一次容错方法分布式状态容错容错恢复分散式快照（DistributedSnapshots）方法Checkpointbarrier状态维护Flink目前支持两种状态后端总体介绍本文介绍了ApacheFlink的定义、架构、基本原理，并辨析了大数据流计算相关的基本概念
浩宇天尚·2023-06-18 04:32

从源码层面分析Kafka Broker 网络模型、副本机制

kafka，当初我在BAT的内部后端serve有些场景也是通过Kafka解耦和实现一次性语义，我们公司目前kafka使用的场景也比较多例如tracking收集数据，前端能效组采集接口数据，埋点、大数据平台实时流计算
享知·2023-06-17 19:03

Flink TableAPI Window and Watermarket

序言本次主要是弄清楚.批流统一的处理方式,因为它是使用SQL来操作批流计算的.所以它怎么设置算子并行度?如何设置窗口?如何处理流式数据?
cuiyaonan2000·2023-06-17 15:23

初识kafka

官网的解释是，Kafka是一个分布式的流计算的平台。它提供了三个主要的功能：1、实现了发布和订阅记录流，这个有点类似于消息队列系统或者企业消息传递系统。2、以容错的方式持久化存储记录流。
夜影_61aa·2023-06-17 10:32

配电网前推后带法求电力系统潮流（Python&Matlab实现）

目录1概述2数学模型3节点分层前推回代潮流计算及步骤3.1计算方法3.2计算步骤4算例及数据5Matlab&Python代码实现1概述配电网通常是单电源全网连接、开环运行，即呈树状。
紫极星光·2023-06-16 22:13

量化因子在 DolphinDB 中的流式实现攻略

1.概述1.1DolphinDB流计算框架DolphinDB内置的流数
DolphinDB智臾科技·2023-06-16 16:03

flink数据写入hive实现demo

首先呢，flink写入hive已经在1.10就实现了，但是我们这么用呢，其实是大多数公司不得已的情况，也是慢慢转型而来的一个适中的使用情况，Apache也为我们考虑提供了支持，帮我们再分布式环境、流计算的今天提供了更好的帮助
'煎饼侠·2023-06-15 19:19

时序数据库的流计算支持

一、时序数据及其特点时序数据（TimeSeriesData）是基于相对稳定频率持续产生的一系列指标监测数据，比如一年内的道琼斯指数、一天内不同时间点的测量气温等。时序数据有以下几个特点：历史数据的不变性数据的有效性数据的时效性结构化的数据数据的大量性二、时序数据库基本架构针对时序数据的特点，时序数据库一般具有以下特性：高速的数据入库数据的生命周期管理数据的流处理高效的数据查询定制的数据压缩三、流计
APItesterCris·2023-06-15 14:12

流计算、Flink和图计算

流计算流计算流计算概述静态数据和流数据批量计算和实时计算流计算概念流计算与Hadoop流计算框架流计算处理流程数据处理流程数据实时采集数据实时计算实时查询服务流计算的应用开源流计算框架StormStorm
so.far_away·2023-06-15 03:11

134.如何进行实时计算

134.1实时流计算介绍所谓实时流计算，就是近几年由于数据得到广泛应用之后，在数据持久性建模不满足现状的情况下，急需数据流的瞬时建模或者计算处理。
大勇任卷舒·2023-06-15 02:04
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他