hadoopflink流计算

IEEE33节点潮流计算matlab程序——改进牛顿法潮流计算

IEEE33节点潮流计算matlab程序——改进牛顿法潮流计算改进牛顿法的基本原理牛顿法是改进牛顿法的基础，对牛顿法作科学的近似，即雅可比矩阵做一些更改，使得每次计算得出的修正量都有所改变，但由于收敛精度恒定
电气_悟空·2021-10-19 20:05

流计算引擎数据一致性的本质

简介：本篇文章从流计算的本质出发，重点分析流计算领域中数据处理的一致性问题，同时对一致性问题进行简单的形式化定义，提供一个一窥当下流计算引擎发展脉络的视角，让大家对流计算引擎的认识更为深入，为可能的流计算技术选型提供一些参考
·2021-10-15 10:36

流计算引擎数据一致性的本质

简介：本篇文章从流计算的本质出发，重点分析流计算领域中数据处理的一致性问题，同时对一致性问题进行简单的形式化定义，提供一个一窥当下流计算引擎发展脉络的视角，让大家对流计算引擎的认识更为深入，为可能的流计算技术选型提供一些参考
阿里云云栖号·2021-10-15 10:47

Flink 1.14.0 内存优化你不懂？跟着土哥走就对了（万字长文+参数调优）

由于Flink在大数据流计算中占据非常重要的位置，毫不夸张的说，已经被所有一二线互联网大厂所使用，并且Flink组件在Apache社区持续占据热榜前五
在IT中穿梭旅行·2021-10-09 10:37

33张图解flink sql应用提交（建议收藏！）

上周有粉丝在群里问，在流计算平台编写完Flinksql后，为什么通过一键提交按钮，就可以将sql提交到yarn集群上面了？
在IT中穿梭旅行·2021-09-22 12:44

使用 Flink Hudi 构建流式数据湖

本文介绍了FlinkHudi通过流计算对原有基于mini-batch的增量计算模型不断优化演进。
·2021-09-08 18:30

Tapdata肖贝贝：实时数据引擎系列(三) - 流处理引擎

摘要：本文将选取市面上一些流计算框架包括Flink、Spark、Hazelcast，从场景需求出发，在核心功能、资源与性能、用户体验、框架完整性、维护性等方面展开分析和测评，剖析实时数据框架的特色。
·2021-09-01 19:14

大数据工程师入门系列 - 常用数据采集工具（Flume、Logstash 和 Fluentd）

提到数据分析，大部分人首先想到的都是Hadoop、流计算、机器学习等数据加工的方式。具体从整个过程来看，数据分析其实可以大致分为四个步骤：数据采集，数据存储，数据计算，数据可视化。
·2021-08-10 15:40

国内唯一，阿里云挺进 Forrester 数据流分析报告“强劲表现者”象限

阿里云入选强劲表现者象限日前，权威咨询机构Forrester发布了2021Q2全球数据流分析报告，阿里云凭借领先的实时计算产品、开发者友好度和大规模实践，挺进该报告的“强劲表现者”象限，刷新了国内公司在数据流计算领域的最好成绩
·2021-07-27 19:11

SparkStream mapWithState编程练习

如果要在各小批之间共享数据，或者保存到每批次的数据到一个集中变量中，就要用到mapWithState函数，在整个流计算任务中维护了一个key-valueState对象（应该也是一个RDD），根据本批次的任务更改
达微·2021-06-27 22:06

kafka快速的原因

kafka是大数据领域无处不在的消息中间件，目前广泛使用的企业内部的实时数据管道，并帮助企业构建自己的流计算应用程序。
我还不够强·2021-06-24 16:52

hadoop介绍

生态圈或框架平台高并发==多线程集群==分布式多进程把进程分布到不同机器将会涉及网络通信很麻烦因此hadoop诞生了hadoop数据存储hdfs数据分析mapreduce分析模型资源调度yern离线批量处理实时流计算迭代内存分析站内搜索
霍运浩·2021-06-21 23:20

Flink 实时计算在微博的应用

简介：微博通过将Flink实时流计算框架跟业务场景相结合，在平台化、服务化方面做了很大的工作，在开发效率、稳定性方面也做了很多优化。我们通过模块化设计和平台化开发，提高开发效率。
·2021-06-18 21:36

典型日志系统架构及其缺点

这个队列通常是企业内部的流数据总线从kafka出来，再用flink,kafkastream，或者sparkstreaming,sparkstructedstreaming,或者mlsql,或者streamsets或者nifi等等流计算系统
hongshen·2021-06-18 21:55

电力系统分析基础课程设计书

着重阐述电力系统的基本概念、电力系统元件的参数和数学模型、电力系统潮流计算、电力系统有功功率和频率调整、电力系统无功功率和电压调整、电力系统短路计算等基本内容。
溜达知识·2021-06-15 13:10

研究日记3

因为设计的时候，忽略了，光流计算有正负两个方向，导致现在不知道两个方向光流的两个subframe要怎么融合。
雨落枫华·2021-06-15 04:17

京东-java开发工程师技术面

到场不到五分钟就安排上了，好像人不多…自我介绍，问实习项目，讲讲spark，流计算怎么实现数据有序，job和stage概念，RDD的概念，什么是弹性，惰性，惰性有什么好处，collect算子作用，driver
淫生苦短·2021-06-11 07:34

matlab两节点电力系统潮流计算报告

两节点潮流计算报告，用Newton-Raphson（牛拉法）求解,MATLAB编程；计算过程为求导纳矩阵、节点注入功率、雅克比矩阵函数，然后迭代检验是否满足收敛条件文件：n459.com/file/25127180
小梦唠娱乐·2021-06-05 09:48

基于Flink+ClickHouse构建实时游戏数据分析最佳实践

简介：本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。
阿里云开发者·2021-05-27 13:24

Spark基础知识

的任务调度执行机制，减少了迭代计算时的I/O开销；Spark的设计遵循“一个软件栈满足不同应用场景”的理念，形成了一套完整的生态系统，既能够提供内存计算框架，也可以支持SQL即席查询（SparkSQL）、流计算
冰科技·2021-05-19 19:53

架构学习-消息队列

,安全模块,公共模块,之前拆分出来.初步形成微服务架构.消息队列要方便进行水平拓展,能起到削峰填谷的作用.其中ActiveMQ主要面向企业级使用,还有EAI或ESB,而Kafka为日志处理而生,重点在流计算领域
踏歌而行·2021-05-17 23:00

PySpark之Structured Streaming基本操作

PySpark之StructuredStreaming基本操作思想：将实时数据流视为一张正在不断添加的数据的表，可以把流计算等同于在一个静态表上的批处理查询，Spark会在不断添加数据的无界输入表上运行计算
张先生-您好·2021-05-16 10:20

STC15F2K60S2制作简易的电压表

0-30V，STC单片机数字电压表，被测电压经限流电阻接到AD检测端并由分流电阻分流，读出8位、2的8次方(256)的AD数据，由AD值计算出AD端电压，即分流点电压，由此电压计算出分流电流，再由此电流计算出输入电压
杏林洁白·2021-05-13 23:02

大数据与云计算整理

目录大数据大数据基础大数据概述大数据处理架构Hadoop大数据采集大数据存储分布式文件系统HDFS分布式数据库HBASENoSQL数据库云数据库大数据处理与分析MapReduceSpark流计算图计算数据可视化大数据应用云计算云概念云架构云组件云技术云端技术终端技术云安全信息管理与数据安全计算可用性互操作性和可移植性云应用云方案大数据大数据基础大数据概述数据产生方式经历的几个阶段运营式系统阶段用户
vircorns·2021-05-12 18:47

单进程版流计算实现说明

一、概念单进程版与Storm版的流计算实现有许多相似的概念，其中最重要的包括：Topology、Spout、Bolt。
quiterr·2021-05-12 02:38

PySpark之SparkStreaming基本操作

数据来源众多，格式复杂•数据量大，但是不十分关注存储，一旦经过处理，要么被丢弃，要么被归档存储•注重数据的整体价值，不过分关注个别数据•数据顺序颠倒，或者不完整，系统无法控制将要处理的新到达的数据元素的顺序流计算
张先生-您好·2021-05-11 15:15

V2X车路协同云控数据平台业务整理

目录v2x车路协同云控平台的WWH问题1、关于v2x的简单理解&思考2、关于车路协同理解&思考3、关于云控理解&思考4、v2x车路协同云控平台的整体实现架构5、中心云平台技术挑战-车路协同流计算引擎6、
a little daily·2021-05-08 23:19

spark原著

集群下节点故障和慢节点变为常态动态扩展与缩减资源现存在编程模型：MapReduce批处理计算模型Pregel图处理模型Strom/impala流式处理模型spark的不同之处是，设计一个统一的编程抽象模型spark优势：支持批处理，交互式，迭代和流计算
张晓天a·2021-04-24 20:49

实时流计算框架——Storm

CentOS安装官方下载地址http://storm.apache.org/downloads.html$wgethttp://mirrors.tuna.tsinghua.edu.cn/apache/storm/apache-storm-1.2.2/apache-storm-1.2.2.tar.gz$tar-zxvfapache-storm-1.2.2.tar.gz-C/usr/local/vim
_羊羽_·2021-04-21 08:37

Flink 流批一体的实践与探索

流批一体意味着计算引擎同时具备流计算的低延迟和批计算的高吞吐高稳定性，提供统一编程接口开发两种场景的应用并保证它们的底层执行逻辑是一致的。
阿里云技术·2021-04-19 18:28

Flink 状态管理与检查点机制

一、状态分类相对于其他流计算框架，Flink一个比较重要的特性就是其支持有状态计算。即你可以将中间的计算结果进行保存，并提供给后续的计算使用：[图片上传失败...
程序男保姆·2021-04-19 17:04

Flink 流批一体的实践与探索

流批一体意味着计算引擎同时具备流计算的低延迟和批计算的高吞吐高稳定性，提供统一编程接口开发两种场景的应用并保证它们的底层执行逻辑是一致的。
阿里云云栖号·2021-04-18 17:04

Flink 1.11 新特性：流批一体的 Hive 数仓

Flink1.11中流计算结合Hive批处理数仓，给离线数仓带来Flink流处理实时且Exactly-once的能力。另外，Flink1.11完善了Flink自身的Filesystemconne
longLiveData·2021-04-18 01:54

(转)Spark Streaming 流计算优化记录(5)-分区与内存的优化

8.不一定非得每秒处理一次由于SparkStreaming的原理是microbatch,因此当batch积累到一定数量时再发放到集群中计算,这样的数据吞吐量会更大些.这需要在StreamingContext中设置Duration参数.我们试着把Duration调成两秒,这样Spark就会在接收Kafka的模块中积累了2秒的数据后,在调度作业到集群中计算.结合上述做过的优化,跑了一下,结果如下:从统
达微·2021-04-17 17:28

Hive 终于等来了 Flink

其实比较也没啥意义，不同社区发展的目标总是会有差异，而且Flink在真正的实时流计算方面投入的精力很多。不过笔者想表达的是，
Flink中文社区·2021-04-15 10:58

大数据入门：Flink状态编程与容错机制

Flink流计算理
成都加米谷大数据·2021-04-13 11:02

Kafka高性能架构设计

1、概述Kafka是大数据领域无处不在的消息中间件，目前广泛使用在企业内部的实时数据管道，并帮助企业构建自己的流计算应用程序。
·2021-04-02 19:49

Kafka高性能架构设计

1、概述Kafka是大数据领域无处不在的消息中间件，目前广泛使用在企业内部的实时数据管道，并帮助企业构建自己的流计算应用程序。
·2021-04-02 19:42

Flink 必知必会：Flink Runtime Architecture

这些作业既可以是流计算作业，也可以是批处理作业，既可以跑在裸机上，也可以在Flink集群上跑，FlinkRuntime必须支持所有类型的作业，以及不同条件下运行的作业。
·2021-04-01 03:40

Flink 必知必会：Flink Runtime Architecture

这些作业既可以是流计算作业，也可以是批处理作业，既可以跑在裸机上，也可以在Flink集群上跑，FlinkRuntime必须支持所有类型的作业，以及不同条件下运行的作业。
·2021-03-31 21:38

一文带你了解批流一体的高效数据同步插件—FlinkX

目前已完成批流统一，离线计算与流计算的数据同步任务都可基于FlinkX实现。FlinkX将不同的数据源库抽象成不同的Reader插件，目标库抽象成
·2021-03-31 21:05

一文带你了解批流一体的高效数据同步插件—FlinkX

目前已完成批流统一，离线计算与流计算的数据同步任务都可基于FlinkX实现。FlinkX将不同的数据源库抽象成不同的Reader插件，目标库抽象成
·2021-03-30 22:06

Flink 必知必会经典课程四：Fault-tolerance in Flink

简介：本文由ApacheFlinkPMC,阿里巴巴高级技术专家李钰分享，主要从有状态的流计算、全局一致性快照、Flink的容错机制、Flink的状态管理四个方面介绍Flink的容错机制原理。
·2021-03-22 14:57

Flink 必知必会经典课程四：Fault-tolerance in Flink

简介：本文由ApacheFlinkPMC,阿里巴巴高级技术专家李钰分享，主要从有状态的流计算、全局一致性快照、Flink的容错机制、Flink的状态管理四个方面介绍Flink的容错机制原理。
·2021-03-19 22:20

关于流计算基本认识

关于流计算的概念：阿里云流计算使用教程在传统的数据处理流程中，总是先收集数据，然后将数据放到DB中。当人们需要的时候通过DB对数据做query，得到答案或进行相关的处理。
云计算小百科·2021-03-11 06:11

Flink中关于Window API 演示以及时间窗口详解

1.Flink中窗口的API分类在Flink流计算中，提供Window窗口API分为两种1）、针对KeyedStream窗口API：window第一步、数据流DataStream调用keyBy函数分组，
LBJ_小松鼠·2021-03-08 20:59

当数据库遇上流计算：流数据库的诞生！

数据库发展回顾数据库作为现代软件系统的基石，人们对它的研究由来已久，虽然到目前为止数据库领域已经先后产生过四位图灵奖得主，但是今天它仍然是计算机科学中最具活力和创新的领域之一。自上世纪70年代EdgarF.Codd提出关系模型以来，以IBMSystemR为原型的关系数据库迅速发展，并在众多行业应用中取得成功，甚至直到今天，关系数据库仍然是数据库市场的绝对主流。随着进入21世纪以来，由于互联网的兴起
·2021-02-26 10:09

消息队列概览

消息队列有很多好处，比如某些场景可以对消息队列组件临时横向扩容，来抵御抵御大流量，达到削峰填谷的效果；生产消费者的队列，来实现两边速率不一致的问题；还可以是其他的：添加流计算处理；作为发布/订阅系统实现一个微服务级系统间的观察者模式
·2021-02-25 00:38

消息队列概览

消息队列有很多好处，比如某些场景可以对消息队列组件临时横向扩容，来抵御抵御大流量，达到削峰填谷的效果；生产消费者的队列，来实现两边速率不一致的问题；还可以是其他的：添加流计算处理；作为发布/订阅系统实现一个微服务级系统间的观察者模式
·2021-02-25 00:17

【物理应用】基于matlab直角坐标的电力系统潮流计算【含Matlab源码 341期】

一、简介参照何仰赞电力系统分析（下）的牛拉法程序流程框图，将程序分为节点导纳矩阵的形成、判敛、不平衡量计算、雅可比矩阵计算、节点电压修正、计算功率等几个部分。二、源代码clear%先求节点导纳矩阵N1=30;%节点数L1=43;%支路数%N1=5;L1=7;B1=xlsread('XIANLU2.xlsx','B2:F44');%B1=xlsread('XIANLU.xlsx','B2:F44')
紫极神光·2021-02-19 21:06
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他