Storm+–+流计算

OLAP系统林林总总

实时数据计算，需要实时进行数据ETL过程，实时流计算，来计算出结果，这类计算复杂性不会太高但是对数据处理的吞吐量要求很高，比如典型的计算一个APP的实时在线人数，当天实时新增
TechingOn·2023-04-05 15:33

Flink--基于官网对窗口Window的理解

概述Windows是Flink流计算的核心，重点在于窗口的理解和应用；建议详细阅读官网的window介绍，链接地址：https://ci.apache.org/projects/flink/flink-docs-master
李小李的路·2023-04-05 02:26

Flink任务问题分析与性能调优

首先要明白，Flink是分布式流计算框架，可简单理解为多个相互通讯的有状态java进程，其调优本质跟普通的java程序大同小异。
_Janick·2023-04-05 01:30

配电网前推后带法求电力系统潮流（Python&Matlab实现）

目录1概述2数学模型3节点分层前推回代潮流计算及步骤3.1计算方法3.2计算步骤4算例及数据5Matlab&Python代码实现1概述配电网通常是单电源全网连接、开环运行，即呈树状。
我爱Matlab编程·2023-04-04 19:44

MATLAB代码：基于二阶锥松弛的主动配电网故障重构及可视化

MATLAB代码：基于二阶锥松弛的主动配电网故障重构及可视化关键词：配电网故障重构二阶锥松弛可视化参考文档：《基于禁忌克隆遗传算法的配电网故障恢复重构_张利民》参考故障重构部分模型；《二阶锥松弛在配电网最优潮流计算中的应用
「已注销」·2023-04-04 14:50

大数据框架：Spark生态实时流计算

在Spark框架当中，提起流计算，那么主要就是SparkStreaming组件来负责。
成都加米谷大数据·2023-04-03 21:24

大数据最佳实践-spark structstreaming

您可以像对静态数据进行批处理计算一样，来表示流计算。当流数据继续到达时，SparkSQL引擎将负责递增地，连续地运行它并更新最终结果。您可以在Scala，Java，Py
猿与禅·2023-04-03 06:02

大数据学习之Hadoop

大数据的关键技术：批处理技术、流计算、图计算、查询分析计算大数据处理架构Hadoop1.Hadoop简介apache软件基金会的开源软件，使用Java开发，但是Hadoop支持多种编程语言，有两大核心HDFS
@从心·2023-04-02 20:27

架构对比（CPU、GPU、FPGA、ASIC、DSA……）

ASIC等AI芯片特性及对比最近，新名词DSA（DomainSpecificArchitecture，特定领域架构），可参考以下文章：预见·第四代算力革命（一）：算力综述预见·第四代算力革命（二）：三大主流计算平台
stella_loveK·2023-04-01 21:35

大数据原理-关键技术

价值密度低使得出现了大数据时代关键核心技术：分布式存储（HDFS、HBase、NoSql、NewSql）分布式处理（MapReduce）计算模式：批处理：大规模数据的批量处理（MapReduce、Spark等等）流计算
monster++·2023-04-01 08:19

【前推回代法】含有分布式电源的三相不平衡配电网潮流计算【IEEE33节点】（Matlab代码实现）

本文目录如下：目录1概述2运行结果3参考文献4Matlab代码实现1概述配电网潮流计算是智能配电网实施中的基本要求,由于配电网三相参数不平衡，通常配网潮流计算采用三相不对称模型。
科研社·2023-03-31 16:30

Flink中subTask，并行度，slot你分得清吗？

无边界的数据流就是真正意义上的流数据，所以Flink是支持流计算的。有边界的数据流就是批数据，所以也支持批处理，目前flink在各大互联网公司应用广泛，是最为流行的大数据实时计算引擎之一。
wind_huise·2023-03-31 13:27

《计算机构造与解释》读书笔记（5）

文章目录1.写在最前面2.流2.1流作为延时的表2.1.1流实现的行为方式2.1.2delay和force的实现2.2无穷流2.2.1隐式地定义流2.3流计算模式的使用2.3.1系统地将迭代操作方式表示为流过程
phantom_111·2023-03-31 04:54

Flink（四十）—— Apache Flink 管理大型状态之增量 Checkpoint 详解

ApacheFlink是一个有状态的流计算框架，状态是作业算子中已经处理过的内存状态，供后续处理时使用。
weixin_42073629·2023-03-31 00:49

Flink 基于Log 的增量Checkpoint

Flink，作为流式计算的标杆，其端到端延迟包括容错的快慢主要取决于检查点机制（Checkpointing），所以如何将Checkpoint做得高效稳定是Flink流计算的首要任务。
pucheung·2023-03-31 00:14

Flink 1.15 新功能架构解析：高效稳定的通用增量 Checkpoint

Flink，作为流式计算的标杆，其端到端延迟包括容错的快慢主要取决于检查点机制（Checkpointing），所以如何将Checkpoint做得高效稳定是Flink流计算的首要任务。
Apache Flink·2023-03-30 23:50

实现了统一消息中心的微服务基础框架 JVS，快点赞收藏

二、基础框架实现功能支持数据管理支持分布式定时任务支持分布式日志采集支持系统监控支持动态配置中心支持模板消息支持链路跟踪支持邮件渠道接入支持注解式打印日志支持接入实时流计算平台三、消息中心说明四、扩展的商用项目
jonyleek·2023-03-30 13:53

【Spark分布式内存计算框架——Structured Streaming】1. Structured Streaming 概述

前言ApacheSpark在2016年的时候启动了StructuredStreaming项目，一个基于SparkSQL的全新流计算引擎StructuredStreaming，让用户像编写批处理程序一样简单地编写高性能的流处理程序
csdnGuoYuying·2023-03-30 00:18

Flink笔记--深度全面总结

.Flink特性流式计算是大数据计算的痛点，第1代实时计算引擎Storm对ExactlyOnce语义和窗口支持较弱，使用的场景有限且无法支持高吞吐计算；SparkStreaming采用“微批处理”模拟流计算
☞空白页·2023-03-29 19:54

Spark生态系统和运行架构

1.Spark生态系统Spark生态圈Spark设计遵循”一个软件栈满足不同应用场景“的理念，逐渐形成了一整套完整的生态系统，既能够提供内存计算框架，也可以支持SQL即时查询(SparkSQL)、流计算
Aurora1217·2023-03-29 18:21

大数据理论篇 No.1-浅谈Flink中的数据传输

TaskManager之间会不断的进行数据交换，而TaskManager进程里是以Slot为单位执行任务的，一个TaskManager里可以有多个Slot，每个Slot之间都可能进行连接，并且传输数据，而在流计算的场景中
pezynd·2023-03-29 16:29

大数据算法_阿里十年大数据专家实践经验分享：离线和实时大数据分析和算法...

对Hadoop离线数据开发技术、流计算实时开发技术、大数据开发优化以及大数据建模等有较为深入的研究。阿里巴巴大数据开发专家撰写，源于十余年工作实践，只讲实用有效的“招式”；庖丁解牛式讲解离线和实
weixin_39962758·2023-03-29 15:50

大数据之路—— 实时技术

5.2.1数据采集5.2.2数据处理5.2.3数据存储5.2.4数据服务5.3流式数据模型5.3.1数据分层5.3.2多流关联5.3.3维表使用@5.4大促挑战5.4.1大促特征5.4.2大促保障@5.1简介流计算
jialun0116·2023-03-29 15:26

【前推回代法】含有分布式电源的三相不平衡配电网潮流计算【IEEE33节点】（Matlab代码实现）

本文目录如下：目录1概述2运行结果3参考文献4Matlab代码实现1概述配电网潮流计算是智能配电网实施中的基本要求,由于配电网三相参数不平衡，通常配网潮流计算采用三相不对称模型。
数学建模与科研·2023-03-29 13:09

大数据中台架构

大数据中台架构1.数据采集传输1.1Flume和Logstash1.2日志采集如何工作1.3数据传输Kafka2.数据存储HDFSHBaseHive和PigMapReduce3.数据计算&查询3.1批计算和流计算
嗷嗷的特Man·2023-03-29 05:07

专家带你吃透 Flink 架构：一个新版 Connector 的实现

前言Flink可以说已经是流计算领域的事实标准，其开源社区发展迅速，提出了很多改进计划（FlinkImprovementProposals，简称FLIP[1]）并不断迭代，几乎每个新的版本在功能、性能和使用便捷性上都有所提高
Java小果·2023-03-28 19:44

用4+1架构视图说说Flink架构

在实时流计算的江湖里，Flink大有一统江湖的味道，其正处于如日中天的高光时刻。
zxhyxwwu·2023-03-28 18:22

2021-01-01

考完去千岛湖玩~2月份：回家过年修整期间外加增长知识，了解CFD热流计算领域，争取再写一篇文章。去体检一次。练习面试话术。继续专升本授课。
孙猴子爱跳舞·2023-03-28 13:13

DolphinDB 流计算应用：引擎级联监测门禁异常状态

物联网的发展为智能安防和自动化监控带来了更多便利，与此同时，新型城镇建设、智慧城市与智慧社区的发展也为门禁管理等安防问题智能化提出了更高的要求。在智能化发展的背景下，门禁不仅仅是门禁，更是一套集成了访客、考勤、消费、巡更、梯控等更多功能的全面便捷的系统安全应用。目前门禁系统主要用于出入口管理，在我国加速推动智慧城市、智慧工地、智慧社区等智慧化建设发展的前提下，门禁系统智能化升级的趋势成为必然，其普
DolphinDB智臾科技·2023-03-27 08:14

流批一体随想

这种架构的出现是历史必然，因为那时的流计算引擎以Storm为代表，而它们都无法提供Exactly-Once语义，所以任何一点小的扰动（延迟、网络问题、系统异常
LittleMagic·2023-03-26 11:45

基于binblog的数据监听

调研背景前段时间在调研实时计算的时候就在思考一个问题，目前的流计算是基于一个数据流的概念，而我们目前报名系统数据的同步是由集团将数据直接更新到数据库的，如果我们后期要集成这部分数据做实时报表分析，那么怎么监听这一部分数据呢
yschen·2023-03-25 11:54

日志平台的核心需求

简单总结下日志平台的核心需求，至少有以下2点：1、数据分析数据分析又分成2类，一类是预先定义好的分析逻辑，另一类是即时的，突发奇想的分析adhoc预先定义好的分析逻辑，可以在流计算系统就对日志流进行解析
hongshen·2023-03-24 02:29

Apache Flink on Kubernetes：四种运行模式，我该选择哪种？

通过支持事件时间（event-time）、计算状态（state）以及恰好一次（exactly-once）的容错保证，Flink迅速被很多公司采纳，成为了新一代的流计算处理引擎。
Docker_·2023-03-23 01:58

风控系统实践之感: drools 和 redis

3.需要支持滑动窗口，滚动窗口，长度窗口等遇到的问题主要有以下几点:1.redis做流计算太过勉强，一是根据业务上的需求，需要统计的key至少有几亿个，最多也有几十亿个，另外redis中需要存储少量的交易的信息
Double_winter·2023-03-20 07:20

流计算开发平台StreamPark安装

一、StreamPark简介StreamPark（原StreamX）是一个流处理应用程序开发管理框架。初衷是让流处理更简单，旨在轻松构建和管理流处理应用程序，提供使用ApacheFlink和ApacheSpark编写流处理应用程序的开发框架，未来将支持更多其他引擎。同时，StreamPark提供了一个流处理应用管理平台，核心能力包括但不限于应用开发、调试、交互查询、部署、运维、实时数仓等。官方网站
CodePhage·2023-03-19 11:40

Flink的可靠性保证 - 状态存储

一为什么需要State存储与批计算相比，State是流计算特有的，批计算的failover机制，是失败后重新计算；流计算在大多数场景下是增量计算，数据逐条处理，每次计算是在上一次计算结果之上进行处理的，
flywind800·2023-03-17 09:24

摸鱼的气象&Python系列视频正在更新中！

4.摸鱼的气象&Python：复杂算法实现（以波通量和平流计算为例）5.摸鱼的气象&Python:利用Metpy实现复杂计算(以水汽通量散度
摸鱼咯·2023-03-17 05:48

2018-11-13-Flink(1)——基于flink sql的流计算平台设计

使用场景先说流计算平台应用场景。
此星爷非彼星爷·2023-03-16 13:41

DataPipeline & Apache Rocket Meetup 简单回顾

郭斯杰是StreamNative的联合创始人，ApachePulsarPMCMember和ApacheBookKeeperPMCChair，对EventStreaming、流计算及其周边生态有
StreamNative·2023-03-15 19:23

flink简介

有状态流计算架构，状态就是计算过程中产生的中间计算结果，每次计算新的数据进入流式系统中都是基于中间状态结果的基础上进行运算。
w未然·2023-03-15 17:14

AntDB“超融合+流式实时数仓”，谈传统数据库与流计算的有机融合

（一）前言据统计，在信息化时代的今天，人们一天所接触到的信息量，是古人一辈子所能接收到的信息量的总和。当今社会中除了信息量“多”以外，人们对信息处理的“效率”和“速度”的要求也越来越高。譬如，对于很多企业决策者来说，在当前的经济形势下需要尽一切可能降本增效。过去每周看看经营报表的习惯，现在慢慢转变为利用实时可视化的方式来随时分析企业当前的经营状况。数据库作为信息的核心载体，在过去的半个世纪中，基本
亚信安慧AntDB数据库·2023-03-15 02:46

Flink流式计算里的时间和watermark机制

一流计算对“批计算”的优势：“流计算”是相对于“批计算”来的，MapReduce，Spark底层的计算方式是目前主流的“批计算”实现方式，很多公司在使用这种方式做大数据处理。
flywind800·2023-03-14 17:31

《积的变化规律》教学反思

学生在课上交流计算结果与自己的发现时，习惯于表述成：一个因数不变，另一个因数扩大几倍，积也扩大相同的倍数；一个因数不变，
沈俊娟·2023-03-14 13:54

Flink 状态管理

对于state的需求不高对于流计算而言，对State有非常高的要求，特别在实时流中，输入是一个无限制的流，服务开启后基本都不会停机。在生产中，大部分需求都是有状态的计算就需要将状态数据很好的管理起来。
Rex_2013·2023-03-12 03:16

flinksql流批一体计算平台为什么选型是Streamx

flink实时计算平台为什么选型是Streamx一、概述1.1背景ApacheFlink被普遍认为是下一代大数据流计算引擎,我们在使用Flink时发现从编程模型,启动配置到运维管理都有很多可以抽象共用的地方
银假面面·2023-03-09 11:42

大数据技术原理与应用介绍

两大核心技术：分布式存储和分布式处理大数据计算模式批处理计算流计算图计算查询分析计算大数据具有数据量大、数据类型繁多、处理速度快、价值密度低等特点。
CODER8R·2023-02-24 03:04

Lightflus：云原生流计算框架，Demo 版本正式发布！

IntroductionHiall，这是我首次在SegmentFault上发文章，先简单介绍下我自己吧，我叫JasonThon，魔都一枚小开发，喜欢撸猫撸狗打电玩，练习时长两年半，擅长各种Bug制作技巧与Debug手艺。在这篇文章里，我将介绍一款与我一同练习时长一年，擅长流处理的新型云原生计算框架Lightflus。在我的公众号文章：Lightflus:云原生流处理框架中，小范围地宣传了一下这款框
·2023-02-21 22:48

实现了统一消息中心的微服务基础框架 JVS，快点赞收藏

二、基础框架实现功能支持数据管理支持分布式定时任务支持分布式日志采集支持系统监控支持动态配置中心支持模板消息支持链路跟踪支持邮件渠道接入支持注解式打印日志支持接入实时流计算平台三、消息中心说明四、扩展的商用项目
·2023-02-16 20:03

RocketMQ Streams 1.1.0: 轻量级流处理再出发

本文作者：倪泽，ApacheRocketMQcommitter、RSQLDB/RocketMQStreamsMaintainer01背景RocketMQStreams是一款基于RocketMQ为基础的轻量级流计算引擎
·2023-02-07 11:25

电力系统潮流计算matlab仿真,计算结果自动保存到excel文件中

目录1.算法仿真效果2.MATLAB核心程序3.算法涉及理论知识概要4.完整MATLAB1.算法仿真效果matlab2022a仿真结果如下：2.MATLAB核心程序............................................................Y=G+B*1i;%求差.b=xlsread('TEST2.xlsx','C2:F31');precision=1;
我爱C编程·2023-02-07 09:22
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他