流计算

Windows系统下的Spark环境配置

一：Spark的介绍ApacheSpark是一个开源的分布式大数据处理引擎，它提供了一整套开发API，包括流计算和机器学习。
eeee~~·2024-09-05 11:19

阿里云日志服务sls的典型应用场景

日志服务的典型应用场景包括：数据采集与消费、数据清洗与流计算（ETL/StreamProcessing）、数据仓库对接（DataWarehouse）、日志实时查询与分析。
阿里云天池·2024-08-31 01:30

基于spark+hadoop+hive大数据分析的电影推荐系统的设计与实现

部分代码如下：**总结****大家可以帮忙点赞、收藏、关注、评论啦****有问题评论区交流**一、开发介绍1.1开发环境技术栈：spark+hadoop+hive离线ETL+在线数据分析(OLAP)+流计算
毕设木哥·2024-08-26 06:26

2024.2.19 阿里云Flink

一、Flink基本介绍Spark底层是微批处理,Flink底层则是实时流计算流式计算特点:数据是源源不断产生,两大问题,乱序和延迟Stateful:有状态Flink的三个部分Source:Transactions
白白的wj·2024-02-20 07:05

Flink 2.0 状态存算分离改造实践

主要分为以下四部分：Flink大状态管理痛点阿里云自研状态存储后端Gemini的存算分离实践存算分离的进一步探索批量化存算分离适用场景一、Flink大状态管理痛点1.1Flink状态管理状态管理是有状态流计算的核心
·2024-02-19 20:28

阿里云实时计算企业级状态存储引擎 Gemini 技术解读

本文整理自阿里云Flink存储引擎团队李晋忠，兰兆千，梅源关于阿里云实时计算企业级状态存储引擎Gemini的研究，内容主要分为以下五部分：流计算状态访问的痛点企业级状态存储引擎GeminiGemini性能评测
·2024-02-19 20:58

使用Flink完成流数据统计 | 京东云技术团队

一、统计流程所有流计算统计的流程都是：1、接入数据源2、进行多次数据转换操作(过滤、拆分、聚合计算等)3、计算结果的存储其中数据源可以是多个、数据转换的节点处理完数据可以发送到一个和多个下一个节点继续处理数据
·2024-02-19 15:51

02-flink基本架构

02-flink基本架构flink基本组件栈flink基本组件栈.pngAPI&Libraries同时提供了流计算和批计算的接口，同时在此基础上抽象出不同的应用类型的组件库Runtime核心层主要负责对上层不同接口提供基础服务
蜗牛写java·2024-02-14 13:54

Flink 1.7.0 安装、配置与使用

事件时间的语义使流计算的结果更加精确，尤其在事
编码前线·2024-02-13 22:57

Structured Streaming

SparkStreaming关系二、编写StructuredStreaming程序的基本步骤（一）实现步骤（二）运行测试三、输入源（一）File源（二）Kafka源（三）Socket源（四）Rate源四、输出操作（一）启动流计算
Francek Chen·2024-02-12 11:44

Flink 2.0 状态存算分离改造实践

主要分为以下四部分：Flink大状态管理痛点阿里云自研状态存储后端Gemini的存算分离实践存算分离的进一步探索批量化存算分离适用场景一、Flink大状态管理痛点1.1Flink状态管理状态管理是有状态流计算的核心
·2024-02-11 18:02

从一到无穷大 #23 《流计算系统图解》书评

本作品采用知识共享署名-非商业性使用-相同方式共享4.0国际许可协议进行许可。本作品(李兆龙博文,由李兆龙创作)，由李兆龙确认，转载请注明版权。文章目录引言内容总结引言春节假期回到家里断然是不会有看纸质书的时间的。造化弄人，二月三号早上十一点的飞机延误到一点多，原本三小时不到的阅读时间延长为五个小时，也给了我看完这本书的机会。第一次了解到这本书是Tison在朋友圈发了他写的书评[2]，开头便是：值
李兆龙的博客·2024-02-10 06:06

AXI数据流计算CRC8的代码

modulecrc8_coder_8bit(inputclk,inputrst_n,inputdin_last,inputdin_valid,input[7:0]din_data,outputregdout_last,outputregdout_valid,outputreg[7:0]dout_data);parameter[7:0]POLY=8'h07;reg[7:0]crc_remainder
冰冻土卫二·2024-02-08 07:42

AXI数据流计算CRC16的代码

modulecrc16_coder_8bit(inputclk,inputrst_n,inputdin_last,inputdin_valid,input[7:0]din_data,outputregdout_last,outputregdout_valid,outputreg[7:0]dout_data);parameter[15:0]POLY=16'h1021;//or16'h8005reg[
冰冻土卫二·2024-02-08 07:42

Flink 2.0 状态存算分离改造实践

主要分为以下四部分：Flink大状态管理痛点阿里云自研状态存储后端Gemini的存算分离实践存算分离的进一步探索批量化存算分离适用场景一、Flink大状态管理痛点1.1Flink状态管理状态管理是有状态流计算的核心
Apache Flink·2024-02-08 07:28

视频存储空间的计算：适用安防监控录像、视频会议录像、手机录像、短视频录像等场景

二、计算方法以下是我们总结的一些计算方法：码流计算法：这是最常用的方法之一，通过将码流（Mbps或Kbps为单位）乘以监控路数、监控天数、码流格式转换系数和压缩比系数，得到存储容量（G
威迪斯特·2024-02-05 06:49

Flink实时流计算入门系列——广播变量使用

总是被项目经理问：为什么你的Flink代码占用我这么多的集群资源啊？集群受不了，优化一下吧，程序员一听到优化的痛疼症，你懂的……image今天我们就讲解一个比较基础，且容易被人忽略的基础优化Flink程序的方法。Flink和Spark一样，都有支持广播变量这定义。广播变量，可以理解成为日常的广播，是一个公共的变量。广播变量创建后，它可以运行在集群中的任何function上，而不需要多次传递给集群节
晨冉1688·2024-02-05 06:19

使用 Flink Hudi 构建流式数据湖

摘要：本文介绍了FlinkHudi通过流计算对原有基于mini-batch的增量计算模型不断优化演进。
浪尖聊大数据-浪尖·2024-02-02 12:30

DolphinDB 智慧楼宇场景：门禁异常监测

作为一款高性能分布式时序数据库，DolphinDB提供了流数据表和流计算引擎用于实
DolphinDB智臾科技·2024-02-02 07:31

【三相潮流】基于仿射区间的，含分布式电源的配电网三相潮流算法

针对本课题要求，“基于仿射区间的含分布式电源的配电网三相潮流算法”，其中关于这方面的概念，主要从如下的三个方面角度考虑：理想状态下的，确定性潮流计算——即对应本课题的“含分布式电源的配电网三相潮流算法”
fpga和matlab·2024-02-01 09:53

Flink实战五_状态机制

回顾我们之前介绍的很多流计算的计算过程，有些计算方法，比如说我们之前多次使用的将stock.txt中的一行文本数据转换成Stock股票对象的map操作。
core512·2024-02-01 07:26

C语言文件操作

目录C语言文件操作C语言中的流与文件指针C语言中的流计算机中的读写操作与输入输出操作的关系文件指针C语言中的标准流C语言中的标准流文件类型程序文件数据文件文本文件二进制文件文件的打开和关闭文件的打开fopen
EPSDA·2024-01-31 14:59

java 加权平均_使用Java 8流计算加权平均值

您可以为此任务创建自己的收集器：staticCollectoraveragingWeighted(ToDoubleFunctionvalueFunction,ToIntFunctionweightFunction){classBox{doublenum=0;longdenom=0;}returnCollector.of(Box::new,(b,e)->{b.num+=valueFunction.a
培茛·2024-01-27 15:03

Flink 2.0 状态管理存算分离架构演进

内容主要分为以下五部分：引言为什么状态对Flink如此重要状态存储提升——社区和商业版状态存储状态管理存算分离架构——架构演进和挑战总结1.引言我们在这个时间点重新聊状态存储这个话题是因为状态存储是流计算的核心
Apache Flink·2024-01-27 07:46

Day 1322：架构师训练营学习总结（w13）

本周主要讲了Spark流计算、数据分析和机器学习。Spark的主要特点是DAG切分多阶段计算、内存存储中间结果、RDD的编程模型。RDD是Spark的核心概念。
kafkaliu·2024-01-25 22:18

Matlab|基于改进遗传算法的储能选址定容（可任意设定储能数量）

目录主要内容部分代码结果一览（以3个储能为例）下载链接主要内容该模型采用改进遗传算法优化配电网系统中储能选址位置和容量，程序以IEEE33节点系统为分析对象，以网损最小为目标，采用matpower实现系统潮流计算
科研工作站·2024-01-24 08:39

Stuuctured Streaming基础--学习笔记

Structuredstreaming介绍spark进行实时数据流计算时有两个工具：SparkStreaming：编写rdd代码处理数据流,可以解决非结构化的流式数据StructuredStreaming
祈愿lucky·2024-01-23 14:58

pyspark之Structured Streaming结果保存到Mysql数据库-socket例子统计(含批次)

frompyspark.sqlimportSparkSession,DataFramefrompyspark.sql.functionsimportexplode,split,lit"""实现将数据保存到mysql数据库，同时将流计算
heiqizero·2024-01-21 06:28

【python】EI顶刊复现：综合能源系统分析的统一能路理论(三)：稳态与动态潮流计算程序代码！

适用平台：python3.8；模块：pandas、numpy、scipy、matplotlib2程序基于统一能路理论，针对天然气网络和供热网络，借鉴电力系统潮流计算方法，提出了（7节点）气网-（6节点）
预测及优化·2024-01-20 03:15

数据库内核那些事｜一文Get PolarDB IMCI如何对半结构化数据进行高效分析

数据库，其列存索引（InMemoryColumnIndex，IMCI）推出完备虚拟列与列式JSON等功能，可以快速处理大数据和支持多种数据类型（包括结构化与半结构化数据），并提供高效的数据分析、查询与流计算能力
阿里云瑶池数据库·2024-01-18 23:39

工作十年总结的六条面试技巧，助力你拿到理想的offer

大数据开发的领域不同，面试的锚定点也不同，从我过往的经验来说，可以大致来将大数据领域的开发分为如下几种：离线开发：数据仓库、离线计算、ETL开发实时开发：流计算开发基础架构：组件二次开发，底层组件稳定性维护大数据运维方向数据平台开发一
KubeData·2024-01-17 02:12

《21天晋级大数据实战营》小结汇总

销售预测实验小结点击查看【DAY13】车联网应用之轨迹分析实验小结点击查看【DAY12】图引擎服务GES使用实验小结点击查看【DAY11】让编排变的简单-数据湖工厂实验小结点击查看【DAY9】1天精通实时流计算实验小结点击查看
技术火炬手·2024-01-16 12:48

【无标题】

静态路由：由网络管理员手工配置的路由条目动态路由：所有路由器运行相同的路由协议，之后，路由器之间彼此沟通，交流计算出未知网段的路由信息。
梦及天青·2024-01-16 03:21

【Matlab复现】基于自适应遗传算法的分布式电源优化配置

目录1主要内容2部分程序3程序结果4下载链接1主要内容该程序采用自适应遗传算法优化分布式电源的配置问题，以投资运行成本、网络损耗成本、购电成本和碳排放成本之和作为优化目标，潮流计算采用前推回代法进行计算
科研工作站·2024-01-15 08:57

PiflowX如何快速开发flink程序

自2015年开始，阿里巴巴开始调研开源流计算引擎，最终决定基于Flink打造新一代计算引擎，针对
暗影八度·2024-01-14 14:58

Flink 源码之OperatorChain

Flink源码分析系列文档目录前言OperatorChain是Flink中一个很重要的优化措施，能够将尽可能多的满足条件的数据处理操作在一个slot中串联完成，从而最小化线程执行上下文切换和网络通信，提高流计算系统性能
AlienPaul·2024-01-13 20:35

阿里云实时计算企业级状态存储引擎 Gemini 技术解读

本文整理自阿里云Flink存储引擎团队李晋忠，兰兆千，梅源关于阿里云实时计算企业级状态存储引擎Gemini的研究，内容主要分为以下五部分：流计算状态访问的痛点企业级状态存储引擎GeminiGemini性能评测
Apache Flink·2024-01-11 13:36

ProtoBuf 与 gRPC

gRPC是Google开源的RPC框架和库，已支持主流计算机语言。底层通信采用gR
糖果果老师·2024-01-10 03:22

微机原理笔记（2）

一、8086、8088CPU内部结构和外部引线（掌握）1、CPU的功能和结构当代主流计算机遵循的任然是冯诺依曼的“存储程序，程序控制”思想中央处理器（CPU）是控制计算机自动完成取出指令和执行指令任务的部件
小李学不完·2024-01-10 02:32

对现实世界处理和过程的抽象：计算与控制流

计算与控制流计算与流程对现实世界处理和过程的抽象各种类型的数据对象，可以通过各种运算组成复杂的表达式运算语句将表达式赋值给变量进行引用赋值语句用来实现处理和暂存表达式计算函数调用赋值控制流语句控制流语句用来组织语句描述过程顺序结构分支结构循环结构定义语句定义语句也用来组织语句
大象信步走来·2024-01-09 20:24

机器学习分布式架构

2.流计算（Storm，Spark，Flink）使用滑动窗口，在滑动窗口内的数据全部完成后再滑动到下一个时间窗口进行新一轮的数据处理，以分钟级别居多
小幸运Q·2024-01-09 17:27

水文模型（科普类）

其核心部分是管道汇流计算模块，提供了恒定流法、运动波法和动力波法三种水动力学方法。其中动力波法通过求解完整的圣维南方程组进行计算，能够处理蓄变、回水、进出口损失、逆流以及有压流。
GISer_Jing·2024-01-09 13:41

raft2020年更新_ECCV2020最佳论文解读之递归全对场变换(RAFT)光流计算模型

计算机视觉三大国际顶级会议之一的ECCV2020已经召开。今年ECCV共收到有效投稿5025篇，是ECCV2018论文投稿数量的二倍还要多，接收论文1361篇，接收率为27%，相比上届会议下降了约5%。在接收论文中，oral论文数为104篇，占有效投稿总数的2%，spotlight论文数目为161篇，占比约3%。其中，最佳论文奖由普林斯顿大学ZacharyTeed和JiaDeng摘得，论文题名为R
weixin_39788131·2024-01-09 10:27

4.2寸_Wifi标签功耗电流计算

4.2寸Wifi标签不工作的时候电流的消耗主要来自两部分：待机时，醒来监听时。经过测量，4.2寸Wifi标签的待机电流是3.1uA,醒来监听的峰值电流是32mA。4.2寸Wifi标签系统设定每间隔1秒醒来一次监听是否有唤醒数据。采用6颗2477纽扣电池并联的容量是6000mAh。1小时待机电量：0.0031x1=0.0031mAh从上面三个图的电流消耗图中（包括待机和醒来监听），我们以最后的图来算
深圳皮克智能技术有限公司·2024-01-08 12:03

MATLAB|电力系统潮流计算及不对称短路分析【程序+报告】

目录主要内容部分程序结果一览下载链接主要内容该资料是电力系统综合实践报告，主要内容如下：（1）根据选定的运行方式，按照手工计算潮流的方式在MATLAB环境下分步给出电网潮流计算程序，并给出计算结果，注意
科研工作站·2024-01-08 00:55

钢铁企业电力设计手册（上下册）总目录

《钢铁企业电力设计手册》总目录上册第1章高压供配电系统第2章负荷计算第3章供电系统中的有功和无功冲击负荷第4章短路电流计算第5章电压偏差和电压波动第6章电技术节能第7章自备电厂及柴油机组发电第8章电弧炉供电第
ctrigger·2024-01-07 01:13

Flink ＜--＞Kafka的使用介绍+with参数

Kafka数据管道是流计算系统中最常用的数据源（Source）和数据目的（Sink）。
Samooyou·2024-01-06 12:12

MatrixOne 1.1.0 Release

docs.matrixorigin.cnMatrixOne是一款分布式超融合异构数据库，MatrixOne旨在提供一个云原生、高性能、高弹性、高度兼容MySQL的HSTAP数据库，让用户面对事务、分析、时序、流计算等混合负载时
MatrixOrigin·2024-01-05 03:45

潮流计算专栏

书本上潮流计算都是从原理上进行介绍，对于新手编程实现较为困难。网上的资料有很碎片化，给学习上造成一定困难。
不设闹钟的罗罗·2024-01-04 03:34

GAMS系列分享7-电力系统最优潮流-5节点最优潮流

本节主要探讨5节点电力系统基于直流潮流的电力系统最优潮流计算。参考：GAMS系列分享6-电力系统最优潮流-3节点最优潮流.（编程一模一样），四舍五入任何规模大小的电力系统最优潮流你都会编程了。
不设闹钟的罗罗·2024-01-04 03:04
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他