Storm+–+流计算

论文笔记：Structured Streaming: A Declarative API for Real-Time Applications in Apache Spark

(2).许多系统只关注流计算这一件事，然而在实际应用场景中，流处理仅仅是一个大型商业应用程序的一部分，该应用程序同时还会包括批处理、静态数据连接和交互式查询等处理流程。
Bamboooooo_Yoo·2023-10-09 07:34

个人：大数据复习清单

大数据计算模式：批处理计算、流计算、图计算、查询分析计算。云计算处理了两大核心问题：海量数据的分布式存储和分布式
imyLove7·2023-10-09 00:40

flink状态管理和容错

其实这一点也非常好理解，流计算相对于离线计算，对未来会到来什么数据永远不可知，那么想要实时的更新计算结果，只能先把已经接收到的数据，计算完的结果状态进行保存，等待后续数据到来，与之前的状态数据进
愤怒的谜团·2023-10-08 17:41

GPU如何成为AI的加速器

本文关键词：GPU、深度学习、GPGPU、渲染、Brook语言、流计算、硬件T&L、CUDA、PyTorch、TOPS、TPU、NPU深度学习理论的发展是一个渐进的过程，从1940年代人工神经元网络的提出到
使者大牙·2023-10-05 19:30

Flink状态管理与检查点机制

1.状态分类相对于其他流计算框架，Flink一个比较重要的特性就是其支持有状态计算。
shangjg3·2023-10-04 13:01

Flink 实践教程-进阶（10）：自定义聚合函数（UDAF）

作者：腾讯云流计算Oceanus团队流计算Oceanus简介流计算Oceanus是大数据产品生态体系的实时化分析利器，是基于ApacheFlink构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台
腾讯云大数据·2023-10-01 02:57

互换

互换的类别根据现金流计算方式的不同利率互换（InterestRateSwap，IRS）货币互换（CurrencySwap）其他互换利率互换在利率互换中，双方同意在未来的一定期限内根据同种货币的相同名义本金交换现金流
莲君ju·2023-09-28 16:19

Hadoop期末复习

2、大数据计算模式及其代表产品批处理计算：MapReduce、Spark流计算：Storm、Flume图计算：PowerGraph查询分析计算：Hive、Cassandra3、云计算、大数据和物联网的联系云计算为大数据提供技术基础
在屋顶藏着李的哥·2023-09-27 07:15

大数据开发：Flink内存数据结构

Flink作为流计算代表性的框架，近几年来的热度越来越高，而Flink流处理，核心思想是有状态的流计算，这就要求在数据存储和管理要能跟得上场景需求，确保高性能，高可靠。
成都加米谷大数据·2023-09-27 00:48

HEC-HMS和HEC-RAS水文模型、防洪评价报告编制及洪水建模、洪水危险性评价等相关案例解析

►HEC-RAS一维、二维建模方法及应用【目标】：1.掌握一维数学模型基本地形导入方法2.掌握恒定流、非恒定流一维数学模型水流计算方法3.掌握一维数学模型计算结果分析，水面线成果分析及调试；流速分布图输出方法
天青色等烟雨..·2023-09-25 09:28

认证打卡26

55岁夕阳破产2.难难出圈的现金流计算错误把250万，变成2500万，被允许每个月拿2500万，第三轮时不好意思再拿那么多，主动放弃3.乔雪坚持要自己抽到机会，进入顺流程。做了很多慈善②今天
欣悦之心·2023-09-24 13:32

Flink

Flink一、概述Flink是构建在数据流之上的有状态计算的流计算框架，通常被⼈们理解为是第三代⼤数据分析⽅案。
纯净天空7·2023-09-23 00:33

流计算通用概念和Flink中的概念介绍

[toc]通用的流式处理概念流式处理和离线处理USER_SCORES存在一个USER_SCORES表，在批处理和流式处理中分别执行SELECT语句，区别如下：批处理一次返回最终结果流处理会随着数据进入引擎，不断的输出结果（设定5s的winow触发计算）SQL什么是流式计算流式计算的特点：处理不断增长，理论上无限的数据集持续的进行数据的处理Stream流式计算中时间域（Timedomain）的概念时
Alex90·2023-09-20 12:34

HFSS基础知识

HFSS求解方式驱动模式：S参数由入射波反射波功率求得，常用于微带、波导等传输线的模型适用；终端驱动模式：根据终端电压电流计算S参数，常用于求解信号完整性问题；本征模模式：求解得到的是给定结构模型的谐振频率以及该谐振频率下的场模式
weixin_30451709·2023-09-20 03:27

深度解读 Flink 1.11：流批一体 Hive 数仓2020-06-02

Flink1.11中流计算结合Hive批处理数仓，给离线数仓带来Flink流处理实时且Exactly-once的能力。
会飞的鱼go·2023-09-19 14:06

Flink 环境对象

本专栏目录结构和参考文献请见大数据技术体系思维导图总览StreamExecutionEnvironment是Flink应用开发时的概念，表示流计算作业的执行环境，是作业开发的入口、数据源接口、生成和转换
Shockang·2023-09-19 12:04

Apache Spark 在爱奇艺的应用实践

01ApacheSpark在爱奇艺的现状ApacheSpark是爱奇艺大数据平台主要使用的离线计算框架，并支持部分流计算任务，用于数据处理、数据同步、数据查询分析等场景：数据处理：在数据开发平台中支持开发者提交
爱奇艺技术产品团队·2023-09-17 09:39

一文彻底搞懂实时数仓如何选型和构建

目录前言01为何需要实时数仓架构02数仓如何分层&各层用途03数仓分层的必要性04从Lambda架构说起05Kappa架构解决哪些问题06深入实时数仓架构方案1：Kappa架构方案2：基于标准分层+流计算方案
csdn-延·2023-09-12 06:33

电工-什么是电流

电流计算公式和单位换算及电流方向讲解前面了解到电路的基本组成是包括：电能、负载、导线构成的，而这电路就是电流流通的路径，那么什么是电流呢？
huahuihr·2023-09-10 10:03

使用 UPFC 计算电力系统网络潮流（Matlab代码实现）

本文目录如下：目录1概述2运行结果3参考文献4Matlab代码实现1概述本文为电力系统网络执行潮流计算，同时集成了统一潮流控制器（UPFC）的功能。
长安程序猿·2023-09-08 08:09

使用IntelliJ IDEA本地启动调试Flink流计算工程的2个异常解决

记录：471场景：使用IntelliJIDEA本地启动调试Flink流计算时，报错一：加载DataStream报错java.lang.ClassNotFoundException。
zhangbeizhen18·2023-09-06 12:17

HICP第二天的学习内容

静态路由：由网络管理员手工配置的路由条目动态路由：所有路由器运行相同的路由协议，之后，路由器之间彼此沟通，交流计算出未知网段的路由信息。
二氧化蛙·2023-09-05 20:51

Apache Flink Stream API之State & Fault Tolerance（章节四）

jiangzz电话：15652034180微信：jiangzz_wx微信公众账号：jiangzz_wyState&FaultTolerance针对于流处理的有状态function和operators可以存储流计算过程中的每个
麦田里的守望者··2023-09-03 07:01

Flink Table API& SQL编程指南（Dynamic Table、Continuous Querires、Query Restriction）

由于关系运算和SQL分析最初是为了对批处理而设计的，所以讲关系查询或者SQL应用在无界的流计算方面不如有界批处理那么好理解。因此我们后面将给大家介绍Flink的关系API在流计算上的一些概念。
麦田里的守望者··2023-09-03 07:30

【4-5章】Spark编程基础(Python版)

Python版)_哔哩哔哩_bilibili第4章RDD编程（21节）Spark生态系统：SparkCore：底层核心（RDD编程是针对这个）SparkSQL：SQL查询SparkStreaming：流计算
如何原谅奋力过但无声·2023-09-03 06:28

Spark Streaming任务中的容错机制盘点

刚好最近我负责一个实时流计算的项目，由于对接Spark比较方便，所以采用的是SparkSteaming。在处理流式数据的时候使用的数据源搭档是kafka，这在互联网公司中比较常见。
死亡之翼归来·2023-09-01 05:43

当流计算邂逅数据湖：Paimon 的前生今世

序言笔者从事流计算多年，真名叫李劲松，简写LJS，ApacheID也是lzljs(泸州李劲松)，而流计算简写也是LJS，算是一种缘分吧。
Apache Flink·2023-08-30 03:19

KubeBlocks 0.6.0 发布！KubeBlocks支持Kafka、Pulsar、多款向量数据库、MySQL读写分离啦！

此版本引入了流计算引擎Kafka、Pulsar和向量数据库Qdrant、Weaviate、Milvus，支持了MySQL读写分离，提升了交互式的参数管理体验。
·2023-08-29 15:25

贪与怒-180701高阶现金流游戏

附加规则1.月利20%2房产最低首付三成，超出原部分的按1000资产---》25现金流计算3罚金为1个月月收入为准，倍数由银行家制定4陈旭东一人不能买1元股5觉察自己的情绪，什么
驹马胖·2023-08-28 20:45

基于流计算 Oceanus（Flink） CDC 做好数据集成场景

由于第一次做实时，所以踩坑比较多，见谅(测试环境用的flink),小公司没有用到hadoop组件一、踩坑记录1:本地代码的flink版本是flink1.15.4，生产环境是flink1.16.1，在使用侧输出流时报错，需要使用以下写法,需要使用SideOutputDataStream不能用DataStream，同时将pom下的flink版本切换为1.16.1SideOutputDataStream
每天都要加加油王得坤·2023-08-26 09:13

“车-路-网”电动汽车充电负荷时空分布预测（matlab）

将负荷预测情况和33节点配电网络进行结合，形成交通网-配电网交互模型，采用牛拉法进行潮流计算。程
电力程序小学童·2023-08-25 10:36

Flink与storm的主要区别译文。

Qestion:Flink被用来和Spark相比，但是我认为这样的比较不太合适，把Flink窗口事件和Spark微批处理进行比较，同样的Flink与Samza对比也是，这两种情况下的比较都是实时流计算与批量处理事件策略的比较
眠三沐·2023-08-25 10:04

生态经济学领域里的R语言机器学（数据的收集与清洗、综合建模评价、数据的分析与可视化、数据的空间效应、因果推断等）

R语言是用于统计建模的主流计算机语言，用于机器学习十分方便，且学习曲线
xiao5kou4chang6kai4·2023-08-25 03:18

储能运行约束的Matlab建模方法

最近一段时间有很多人问我最优潮流计算中储能系统的建模方法。部分朋友的问题我回复了，有些没有回消息的，我就不再一一回复了，在这里我写一篇博客统一介绍一下。
配电网和matlab·2023-08-25 00:16

Apache StreamPark系列教程第一篇——安装和体验

一、StreamPark介绍实时即未来,在实时处理流域ApacheSpark和ApacheFlink是一个伟大的进步,尤其是ApacheFlink被普遍认为是下一代大数据流计算引擎,我们在使用Flink
诸葛子房_·2023-08-24 04:58

flink 时间窗口

flink强大的窗口功能，是相较于其他流计算引擎比较有优势的地方。flink中窗口是如何设计的？一共有四个要素。1）windowassigner。
NazgulSun·2023-08-23 18:35

1.文章复现《热电联产系统在区域综合能源系统中的定容选址研究》（附matlab程序）

代码链接文章复现《热电联产系统在区域综合能源系统中的定容选址研究》（matlab程序）-Matlab文档类资源-CSDN文库1.简述本文采用遗传算法的方式进行了下述文章的复现并采用电-热节点的方式进行了潮流计算以降低电网的网络损耗分析了电网的基本数学模型
素馨堂·2023-08-23 08:58

Apache Paimon 实时数据湖 Streaming Lakehouse 的存储底座

内容主要分为四个部分：流计算邂逅数据湖PaimonCDC实时入湖Paimon不止CDC入湖总结与生态点击查看原文视频&演讲PPT一、流计算邂逅数据湖流计算1.0实时预处理流计算1.0架构截止到现在也是非常主流的实时数仓中的一个实时预处理的功能
Apache Flink·2023-08-23 07:58

Kafka实战:企业级消息队列应用架构及最佳实践

随着互联网、移动互联网、物联网、金融、电信等行业的蓬勃发展，越来越多的企业开始采用Kafka作为分布式消息系统，并将其应用到各个领域，如电商、支付、地图导航、日志收集、流计算等多个场景。
禅与计算机程序设计艺术·2023-08-22 22:50

R语言机器学习方法在生态经济学领域

R语言是用于统计建模的主流计算机语言，用于机器学习十分方便，且学习曲线
xiao5kou4chang6kai4·2023-08-22 10:31

Apache Paimon 实时数据湖 Streaming Lakehouse 的存储底座

内容主要分为四个部分：流计算邂逅数据湖PaimonCDC实时入湖Paimon不止CDC入湖总结与生态点击查看原文视频&演讲PPT一、流计算邂逅数据湖流计算1.0实时预处理流计算1.0架构截止到现在也是非常主流的实时数仓中的一个实时预处理的功能
·2023-08-22 10:14

Apache Flink 常见问题定位指南

一、问题分析概览流计算作业通常运行时间长，数据吞吐量大，且对时延较为敏感。
程序员的隐秘角落·2023-08-21 21:04

揭开神秘面纱，会stream流就会大数据

本文以javastream流计算为例，讲解一些基础的spark操作。另一个流行的大数据框架flink同理。准备工作测试数据,以下列分别表示姓名，年龄，部门，职位。张三,20,研发部,普通员
2301_76429513·2023-08-20 15:44

基于遗传算法和粒子群算法的潮流计算比较（Matlab代码实现）

目录1概述2粒子群算法3遗传算法4潮流计算运行结果5参考文献6Matlab代码实现1概述电力系统潮流是指系统中的所有运行参数总体,其中包括各个发电机与负荷的功率及其电流、各母线电压的大小与相位、各个线路与变压器等元件所通过的电流
@橘柑橙柠桔柚·2023-08-19 12:39

Kafka基础及常见面试题

1.用途1.流量削峰2.流计算2.Kafka的核心组件在Kafka中，Producer、Broker和Consumer是三个关键的角色，它们在整个消息传递过程中扮演不同的角色和功能：1.
马丁•路德•王·2023-08-16 17:01

flink状态

什么是状态State是指流计算过程中计算节点的中间计算结果或元数据属性，比如在aggregation过程中要在
todd5167·2023-08-14 11:21

【大数据】Flink 详解（二）：核心篇 Ⅱ

对于流计算而言，事件持续产生，如果每次计算相互独立，不依赖上下游的事件，则相同输入，可以得到相同输出，是无状态计算。如果计算需要依赖于之前或者后续事件，则被称为有状态计算。有状态
G皮T·2023-08-10 05:54

电力系统潮流计算c加加语言指南,第三章简单电力系统的潮流计算汇总

1、第一章简单电力系统的分析和计算一、基本要求掌握电力线路中的电压降落和功率损耗的计算、变压器中的电压降落和功率损耗的计算；掌握辐射形网络的潮流分布计算；掌握简单环形网络的潮流分布计算；了解电力网络的简化。二、重点内容1、电力线路中的电压降落和功率损耗图3-1中，设线路末端电压为、末端功率为，则(1)计算电力线路中的功率损耗线路末端导纳支路的功率损耗：(3-1)则阻抗支路末端的功率为：线路阻抗支路
工程师李涛·2023-08-09 12:19

潮流计算中，已知末端功率和首端电压，手算方法

首先，这种情况的潮流是要迭代求解的，但是由于P和U显然不是一个节点，所以我们假设所有节点的电压为。注意：是把所有节点的电压都看作额定电压，而不是说，最末端的电压看作额定电压，其他节点的电压通过最后的电压算出来。不要这样！！！！！这个方法是一个完整的来回才能算出一次迭代下系统的潮流分布。
+7————·2023-08-09 12:17

flink时间概念和watermark详解

一、flink支持的时间概念类型1.1、流计算与时间属性密不可分相比较于离线计算，流计算往往离不开讨论时间这个概念，因为离线计算是有界数据，用户输入一个固定的数据集，离线计算引擎会输出一个固定的结果，这中间涉及的中间状态
愤怒的谜团·2023-08-08 01:37
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他