流计算

基于Kafka和Spark实现实时计算系统

数据处理和计算阶段4.数据存储和查询阶段三、实时计算系统的应用1.Kafka在实时计算系统中的作用a.消息缓存和传输b.数据分区和负载均衡c.高可靠性和容错处理2.Spark在实时计算系统中的作用a.实时流计算和批处理
格林希尔·2023-06-19 11:21

Flink 状态计算

https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/stream/state/state.htmlFlink是⼀个基于状态计算的流计算服务
纯净天空7·2023-06-19 06:13

基于牛顿拉夫逊的配电网潮流计算研究（Matlab代码实现）

欢迎来到本博客❤️❤️博主优势：博客内容尽量做到思维缜密，逻辑清晰，为了方便读者。⛳️座右铭：行百里者，半于九十。本文目录如下：目录1概述2运行结果2.1雅可比矩阵2.2节点电压2.3节点负荷3参考文献4Matlab代码实现1概述牛顿-拉夫逊法在数学上是求解非线性代数方程式的有效方法。其要点是把非线性方程式的求解过程变成反复地对相应的线性方程式进行求解的过程，即通常所称的逐次线性化过程。是数值计算
然哥依旧·2023-06-19 01:39

简析数栈高效数据同步插件FlinkX

目前已完成批流统一，离线计算与流计算的数据同步任务都可基于FlinkX实现。FlinkX将不同的数据源库抽象成不同的Reader插件，目标库抽象成
袋鼠云数栈·2023-06-18 12:30

【Apache-Flink零基础入门】「入门到精通系列」手把手+零基础带你玩转大数据流式处理引擎Flink（特点和优势分析）

总体介绍状态容错精确的一次性处理模式简单场景的精确一次容错方法分布式状态容错容错恢复分散式快照（DistributedSnapshots）方法Checkpointbarrier状态维护Flink目前支持两种状态后端总体介绍本文介绍了ApacheFlink的定义、架构、基本原理，并辨析了大数据流计算相关的基本概念
浩宇天尚·2023-06-18 04:32

从源码层面分析Kafka Broker 网络模型、副本机制

kafka，当初我在BAT的内部后端serve有些场景也是通过Kafka解耦和实现一次性语义，我们公司目前kafka使用的场景也比较多例如tracking收集数据，前端能效组采集接口数据，埋点、大数据平台实时流计算
享知·2023-06-17 19:03

Flink TableAPI Window and Watermarket

序言本次主要是弄清楚.批流统一的处理方式,因为它是使用SQL来操作批流计算的.所以它怎么设置算子并行度?如何设置窗口?如何处理流式数据?
cuiyaonan2000·2023-06-17 15:23

初识kafka

官网的解释是，Kafka是一个分布式的流计算的平台。它提供了三个主要的功能：1、实现了发布和订阅记录流，这个有点类似于消息队列系统或者企业消息传递系统。2、以容错的方式持久化存储记录流。
夜影_61aa·2023-06-17 10:32

配电网前推后带法求电力系统潮流（Python&Matlab实现）

目录1概述2数学模型3节点分层前推回代潮流计算及步骤3.1计算方法3.2计算步骤4算例及数据5Matlab&Python代码实现1概述配电网通常是单电源全网连接、开环运行，即呈树状。
紫极星光·2023-06-16 22:13

量化因子在 DolphinDB 中的流式实现攻略

1.概述1.1DolphinDB流计算框架DolphinDB内置的流数
DolphinDB智臾科技·2023-06-16 16:03

flink数据写入hive实现demo

首先呢，flink写入hive已经在1.10就实现了，但是我们这么用呢，其实是大多数公司不得已的情况，也是慢慢转型而来的一个适中的使用情况，Apache也为我们考虑提供了支持，帮我们再分布式环境、流计算的今天提供了更好的帮助
'煎饼侠·2023-06-15 19:19

时序数据库的流计算支持

一、时序数据及其特点时序数据（TimeSeriesData）是基于相对稳定频率持续产生的一系列指标监测数据，比如一年内的道琼斯指数、一天内不同时间点的测量气温等。时序数据有以下几个特点：历史数据的不变性数据的有效性数据的时效性结构化的数据数据的大量性二、时序数据库基本架构针对时序数据的特点，时序数据库一般具有以下特性：高速的数据入库数据的生命周期管理数据的流处理高效的数据查询定制的数据压缩三、流计
APItesterCris·2023-06-15 14:12

流计算、Flink和图计算

流计算流计算流计算概述静态数据和流数据批量计算和实时计算流计算概念流计算与Hadoop流计算框架流计算处理流程数据处理流程数据实时采集数据实时计算实时查询服务流计算的应用开源流计算框架StormStorm
so.far_away·2023-06-15 03:11

134.如何进行实时计算

134.1实时流计算介绍所谓实时流计算，就是近几年由于数据得到广泛应用之后，在数据持久性建模不满足现状的情况下，急需数据流的瞬时建模或者计算处理。
大勇任卷舒·2023-06-15 02:04

FLINK 在蚂蚁大规模金融场景的平台建设

摘要：本文整理自蚂蚁集团高级技术专家、蚂蚁集团流计算平台负责人李志刚，在FlinkForwardAsia2022平台建设专场的分享。
·2023-06-14 18:46

【电气】铜芯线电源线电流计算法

铜芯线电源线电流计算法1平方毫米铜电源线的安全载流量－－17A。1.5平方毫米铜电源线的安全载流量－－21A。2.5平方毫米铜电源线的安全载流量－－28A。
徐小强_3ce9·2023-06-14 11:32

计算机专业学了快一年， 只会一点C语言，你好意思说自己是IT专业的？

操作系统教程链接：6.828:操作系统工程五、数据库视频教程：MySQL数据库从入门到实战课【CSDN课程】六、计算机网络教程链接：计算机网络试题【牛客网】最近在某乎上看到这个问题，他的问题如下：985末流计算
五包辣条·2023-06-12 19:19

流批一体数据交换 etl-engine 融合查询语法

支持消息流数据传输过程中动态产生的数据与多种类型数据库之间的流计算查询。融合查询语法遵循ANSISQL标准。样本SELECTt_u.u_id,t_u.u_name,t_u.u_ph
·2023-06-12 14:02

Flink 实践教程-入门（8）： 简单 ETL 作业

作者：腾讯云流计算Oceanus团队流计算Oceanus简介流计算Oceanus是大数据产品生态体系的实时化分析利器，是基于ApacheFlink构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台
腾讯云大数据·2023-06-12 12:26

再也不担心写出臃肿的Flink流处理程序啦，发现一款将Flink与Spring生态完美融合的脚手架工程-懒松鼠Flink-Boot

文章目录你可能面临如下苦恼：接口缓存重试机制Bean校验等等......它为流计算开发工程师解决了有了它你的代码就像这样子：仓库地址：[懒松鼠Flink-Boot](https://github.com
暴躁IT老绵羊·2023-06-12 12:15

懒松鼠Flink-Boot(Flink+Spring):一款将Flink与Spring生态完美融合的脚手架工程

目录你可能面临如下苦恼：接口缓存重试机制Bean校验等等......它为流计算开发工程师解决了有了它你的代码就像这样子：仓库地址：懒松鼠Flink-Boot1.组织结构2.技术选项和集成情况3.快速开始
暴躁IT老绵羊·2023-06-12 12:15

电力系统直流潮流计算研究【IEEE9节点】（Matlab代码实现）

欢迎来到本博客❤️❤️博主优势：博客内容尽量做到思维缜密，逻辑清晰，为了方便读者。⛳️座右铭：行百里者，半于九十。本文目录如下：目录1概述2运行结果2.1IEEE9节点3参考文献4Matlab代码实现1概述直流潮流发的特点是用电力系统的交流潮流（有功功率和无功功率）用等值的直流电流来代替。甚至只用直流电路的解析法来分析电力系统的有功潮流，而根不如你不考虑无功分布对有功的影响。这样一来计算速度加快，
然哥依旧·2023-06-11 21:47

天然气网络潮流计算模型研究（Matlab代码实现）

欢迎来到本博客❤️❤️博主优势：博客内容尽量做到思维缜密，逻辑清晰，为了方便读者。⛳️座右铭：行百里者，半于九十。本文目录如下：目录1概述2运行结果2.1算例：2.2运行结果3参考文献4Matlab代码实现1概述对于天然气网络，假设在一个水平管道里是稳定的等温气流，动能的变化忽略不计，在管道的整个长度内，摩擦系数和气体压缩因子都是恒定不变的。对于一个在高压网络的完全湍流，类比电力网络的支路功率方程
紫极星光·2023-06-11 03:38

天然气网络潮流计算模型研究（Matlab代码实现）

欢迎来到本博客❤️❤️博主优势：博客内容尽量做到思维缜密，逻辑清晰，为了方便读者。⛳️座右铭：行百里者，半于九十。本文目录如下：目录1概述2运行结果2.1算例：2.2运行结果3参考文献4Matlab代码实现1概述对于天然气网络，假设在一个水平管道里是稳定的等温气流，动能的变化忽略不计，在管道的整个长度内，摩擦系数和气体压缩因子都是恒定不变的。对于一个在高压网络的完全湍流，类比电力网络的支路功率方程
然哥依旧·2023-06-10 22:18

flink 流计算一条一条处理日志

[root@masterpyflink]#cattest.txtaaaaa111111bbbbb222222ccccc333333ddddd444444eeeee555555[root@masterpyflink]#cattest.py#-*-coding:utf-8-*-frompyflink.datastreamimportStreamExecutionEnvironmentfrompyfli
scan724·2023-06-10 21:48

学习笔记 | Storm学习纪录

前言storm是分布式实时大数据处理框架（流计算），此文是学习过程中的笔记，分享出来供有缘人参考~一、基础知识与Hadoop的对比主节点工作节点作业StormNimbusSupervisortopologyHadoopJobTrackerTaskTrackerMapper
LY丶Smile·2023-06-10 15:04

基于前推回代法的连续潮流计算研究【IEEE33节点】（Matlab代码实现）

本文目录如下：目录1概述2运行结果3参考文献4Matlab代码实现1概述目前的配电网潮流计算方法主要有改进的牛顿－拉夫逊法［1］、改进PQ解耦法［2］、回路阻抗法［3－4］、前推回代法［5－7］等。
紫极星光·2023-06-10 10:37

7.5寸_Wifi标签功耗电流计算-单面屏幕-1.8V的Flash测试

7.5寸黑白屏幕Wifi标签不工作的时候电流的消耗主要来自两部分：待机时，醒来监听时。经过测量，7.5寸黑白屏幕Wifi标签的待机电流是7.04uA,醒来监听的峰值电流是80.1mA。7.5寸黑白屏幕Wifi标签系统设定每间隔1秒醒来一次监听是否有唤醒数据。充电锂电池电池的容量是3000mAh。1小时待机电量：0.007x1=0.007mAh上图是是醒来30S（包括待机和醒来监听）从图中可以看出醒
皮克智能电子标签·2023-06-10 09:30

13.3寸_Wifi标签功耗电流计算-单面屏幕-1.8V的Flash测试

13.3寸Wifi标签不工作的时候电流的消耗主要来自两部分：待机时，醒来监听时。经过测量，13.3寸Wifi标签的待机电流是7.13uA,醒来监听的峰值电流是51.6mA。13.3寸Wifi标签系统设定每间隔1秒醒来一次监听是否有唤醒数据。充电锂电池电池的容量是4000mAh。1小时待机电量：0.00713x1=0.00713mAh从上面三个图的电流消耗图中（包括待机和醒来监听），我们以一分多钟的
皮克智能电子标签·2023-06-10 09:29

R语言机器学习方法在生态经济学领域中的应用

R语言是用于统计建模的主流计算机语言，用于机器学习十分方便，且学习曲线
zkzhzy·2023-06-09 15:11

交直流系统潮流计算（含5种控制模式）matlab代码

目录1主要内容2部分代码3程序结果4下载链接1主要内容该程序参考文献《交直流系统潮流计算及相互关联特性分析》，采用5种交直流潮流控制方式：1.定电流定电压2.定电流定熄弧角3.定功率定电压4.定功率定熄弧角
电力程序小学童·2023-06-09 14:30

大数据入门：Flink状态编程与容错机制

Flink流计算理
加米谷大数据张老师·2023-06-09 14:11

字节跳动流式数仓和实时服务分析的思考与实践

其中，以抖音、头条等为代表的产品以实时推荐和流计算为核心，这些都需要消耗大量的计算资源和存储资源。巨大的数据量和快速准确的计算需求，给技术架构带来了巨大的挑战
字节跳动云原生计算·2023-06-09 07:22

Flink 状态管理与 Checkpoint 机制

点击上方“zhisheng”，选择“设为星标”一、状态分类相对于其他流计算框架，Flink一个比较重要的特性就是其支持有状态计算。
zhisheng_blog·2023-06-08 23:23

基于牛顿拉夫逊的配电网潮流计算研究（Matlab代码实现）

欢迎来到本博客❤️❤️博主优势：博客内容尽量做到思维缜密，逻辑清晰，为了方便读者。⛳️座右铭：行百里者，半于九十。本文目录如下：目录1概述2运行结果2.1雅可比矩阵2.2节点电压2.3节点负荷3参考文献4Matlab代码实现1概述牛顿-拉夫逊法在数学上是求解非线性代数方程式的有效方法。其要点是把非线性方程式的求解过程变成反复地对相应的线性方程式进行求解的过程，即通常所称的逐次线性化过程。是数值计算
数学建模与科研·2023-06-08 21:26

交直流系统潮流计算及相互关联特性分析（Matlab代码实现）

欢迎来到本博客❤️❤️博主优势：博客内容尽量做到思维缜密，逻辑清晰，为了方便读者。⛳️座右铭：行百里者，半于九十。本文目录如下：目录1概述2运行结果2.1整流侧定电流，逆变侧定电压2.2整流侧定电流，逆变侧定熄弧角2.3整流侧定功率，逆变侧定电压2.4整流侧定功率，逆变侧定熄弧角2.5整流侧定触发角，逆变侧定电流3参考文献4Matlab代码实现1概述文献来源：随着交直流输电系统的网络结构日益复杂,
数学建模与科研·2023-06-08 21:49

零瑕疵全核心，这份RocketMQ笔记仅用330页直接封神

RocketMQ天生为金融互联网领域而生，追求高可靠、高可用、高并发、低延迟RocketMQ在阿里集团也被广泛应用在订单，交易，充值，流计算，消息推送，日志流式处理，binglog分发等场景其主要功能有
司腾·2023-06-08 18:01

内点法求最优潮流和微电网调度（风、光、蓄电池、燃油机）（Matlab实现）

通过对最优潮流的求解,最终达到优化已有资源、降低发电厂耗量成本、减少电网线路损耗、提高电力系统输电能力等目标,其相比较传统的潮流计算具有良好的经济性。
紫极星光·2023-06-08 03:56

流批一体数据交换 etl-engine 融合查询语法

支持消息流数据传输过程中动态产生的数据与多种类型数据库之间的流计算查询。融合查询语法遵循ANSISQL标准。样本SELECTt_u.u_id,t_u.u_name,t_u.u_ph
·2023-06-06 22:01

揭开神秘面纱，会stream流就会大数据

本文以javastream流计算为例，讲解一些基础的spark操作。另一个流行的大数据框架flink同理。准备工作测试数据,以下列分别表示姓名，年龄，部门，职位。复制代码张三,20,研发部
·2023-06-06 21:50

使用arthas在线调试测试环境

，现在遇到个bug，测试环境没有发送数据，我在本地启动后有新的预警日志产生，kafka没看到错误日志，而代码里没有其他更多的逻辑，所以我猜测就是每天只发送一次的这个逻辑发生了错误因为我前面日志都是用的流计算
·2023-04-20 18:25

含分布式电源的配网三相不平衡潮流计算程序（前推回代法）

目录1主要内容2部分代码3程序结果4下载链接1主要内容该程序主要采用前推回代法的三相不平衡潮流计算模型，采用对称分量法，并提出考虑相间互阻抗的精确网络损耗计算方法，采用IEEE33节点模型，通过改变branch
电力程序小学童·2023-04-20 17:09

基于 Flink 流计算实现的股票交易实时资产应用

一、背景本次赛题思路源自于真实工作场景的一个线上项目，该项目在经过一系列优化后已稳定上线，在该项目开发的过程中数据平台组和技术负责人提供了许多资源和指导意见，而项目的结果也让我意识到了流计算在实际生产中优化的作用
·2023-04-19 11:45

rip的详细介绍

一.动态路由静态路由:由网络管理员手工配置的路由条目动态路由:所有路由器运行相同的路由协议，之后，路由器之间彼此沟通，交流计算出未知网段的路由信息。
咖z·2023-04-19 04:45

Spark Dag Scheduler学习记录

简介spark作为实时及离线合为一体的大数据计算框架，由于其出色的批处理能力及高效的流计算能力，因此在大数据中依旧有着不可撼动的地位。这篇文章来记录一下sparkJob作业是如何被调度起来的。
淡泊宁静_3652·2023-04-18 19:13

面对海量数据，如何才能查得更快?

所以一般的做法是，用流计算或者是批计算，把原始数据再进行一次或者多次的过滤、汇聚和计算，把计算结果落到另外
来壹杯卡布奇诺·2023-04-15 14:00

软件开发零基础必备技能(大纲)

1、掌握一门主流计算机编程语言计算机语言是人与计算机之间传递信息的媒介。因此我们想要和计算机更好的交流，我们必须要掌握一门（主流）的计算机语言。
那你就试试·2023-04-15 03:11

含有分布式电源的三相不平衡配电网潮流计算【IEEE33节点】（Matlab代码实现）

本文目录如下：目录1概述2运行结果3参考文献4Matlab代码实现1概述配电网潮流计算是智能配电网实施中的基本要求,由于配电网三相参数不平衡，通常配网潮流计算采用三相不对称模型。
我爱Matlab编程·2023-04-13 16:09

笔记 2

静态路由:由网络管理员手工配置的路由条目动态路由:所有路由器运行相同的路由协议，之后，路由器之间彼此沟通，交流计算出未知网段的路由信息。
苦瓜般的微笑·2023-04-13 16:38

Flink window机制

问题window是解决流计算中的什么问题？怎么划分window？有哪几种window？window与时间属性之间的关系？window里面的数据何时被计算？window何时被清除？
FlyCynomys·2023-04-13 16:15
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他