流计算Flinkjava

算力技术创新驱动多场景应用演进

在工业互联网场景中，边缘计算通过分布式节点实现毫秒级响应，支撑智能制造产线的实时控制；智能安防系统依托深度学习模型与流计算技术，完成海量视频数据的动态解析；而科学计算领域通过分布式计算与模型压缩技术，将基因测序
智能计算研究中心·2025-03-19 11:06

【气象编程】利用ERA5数据计算涡度平流并绘图

利用ERA5数据计算涡度平流并绘图目录利用ERA5数据计算涡度平流并绘图1.官网示例（基于NCSS）存在问题2.解决方法1.官网示例（基于NCSS）metpy给出的涡度平流计算绘图代码链接:500hpa_vorticity_advection
水成文 鸿长飞·2025-03-13 17:38

基于粒子群算法的配电网重构：以IEEE33节点电网为例的潮流计算程序

这个程序主要是一个潮流计算程序，用于解决电力系统中的潮流问题。潮流计算是电力系统分析中的基本问题之一，它用于确定电力系统中各个节点的电压幅值和相位，以及各个支路的功率流动情况。
mzyEPTzp·2025-03-12 08:10

Flink如何做流计算？大数据世界的“实时魔法”

Flink如何做流计算？大数据世界的“实时魔法”揭秘✨嘿，各位小伙伴！今天咱们来聊聊Flink是怎么做流计算的。
狮歌~资深攻城狮·2025-03-04 02:05

阿里架构师推荐的消息中间件万字文档：RocketMQ+RabbitMQ+KafKa

RocketMQ思路起源于Kafka，它对消息的可靠传输及事务性做了优化，目前在阿里集团被广泛应用于交易、充值、流计算、消息推送、日志流式处理、binglog分发等场景市面上真正适合学习的RocketMQ
xiaohao718·2025-02-28 14:53

Spark技术系列（一）：初识Apache Spark——大数据处理的统一分析引擎

的局限性：磁盘迭代计算、中间结果落盘导致的性能瓶颈Spark诞生背景：UCBerkeleyAMPLab实验室为解决复杂迭代计算需求研发（2010年开源）技术定位：基于内存的通用分布式计算框架（支持批处理、流计算
数据大包哥·2025-02-28 09:06

华为云FusionInsight MRS FlinkSQL 复杂嵌套Json解析最佳实践

背景说明随着流计算的发展，挑战不再仅限于数据量和计算量，业务变得越来越复杂，开发者可能是资深的大数据从业者、初学Java的爱好者，或是不懂代码的数据分析者。
华为云技术精粹·2025-02-26 14:59

Flink 实践教程-入门（10）：Python作业的使用

作者：腾讯云流计算Oceanus团队流计算Oceanus简介流计算Oceanus是大数据产品生态体系的实时化分析利器，是基于ApacheFlink构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台
腾讯云大数据·2025-02-14 07:17

matlab中count是干什么,matlab编程潮流计算的count值与什么有？

clear;y(1,2)=1/(0。06+0。18i);y(1,3)=1/(0。06+0。18i);y(1,4)=1/(0。04+0。12i);y(1,5)=1/(0。02+0。06i);y(2,3)=1/(0。01+0。03i);y(2,5)=1/(0。08+0。24i);y(3,4)=1/(0。08+0。24i);y(4,5)=0;fori=1:5forj=i:5y(j,i)=y(i,j);e
weixin_39646706·2025-02-11 22:11

第12章 Flink

Flink是一种具有代表性的开源流处理架构，它实现了GoogleDataflow流计算模型，是一种兼具高吞吐、低延迟和高性能的实时流计算框架，并且同时支持批处理和流处理。
wyz191·2025-02-04 23:17

Kafka应用场景

序在学习一门新技术之前，我们需要先去了解一下这门技术的具体应用场景，使用它能够做什么，能够达到什么目的，学习kafka的初衷是用作消息队列；但是还可以使用KafkaStream进行一些实时的流计算，多用于大数据处理
串一串cc·2025-02-04 15:20

spark streaming python_Spark入门：Spark Streaming简介(Python版)

SparkStreaming设计SparkStreaming是Spark的核心组件之一，为Spark提供了可拓展、高吞吐、容错的流计算能力。如下图所示，SparkStreaming可整
weixin_39531582·2025-02-01 23:12

大数据Lambda架构

同时以流计算和批处理计算合并视图。Lambda架构的批处理层采用不可变存储模型，不断地往主数据集后追加新的数据。Lambda架构优缺点<
奋进学堂·2025-01-26 23:00

Apache PAIMON 学习

新一代实时数据湖技术，ApachePAIMON兼容ApacheFlink、Spark等主流计算引擎，并支持流批一体化处理、快速查询和性能优化，成为加速AI转型的重要工具。
潇锐killer·2025-01-16 22:54

Windows系统下的Spark环境配置

一：Spark的介绍ApacheSpark是一个开源的分布式大数据处理引擎，它提供了一整套开发API，包括流计算和机器学习。
eeee~~·2024-09-05 11:19

阿里云日志服务sls的典型应用场景

日志服务的典型应用场景包括：数据采集与消费、数据清洗与流计算（ETL/StreamProcessing）、数据仓库对接（DataWarehouse）、日志实时查询与分析。
阿里云天池·2024-08-31 01:30

基于spark+hadoop+hive大数据分析的电影推荐系统的设计与实现

部分代码如下：**总结****大家可以帮忙点赞、收藏、关注、评论啦****有问题评论区交流**一、开发介绍1.1开发环境技术栈：spark+hadoop+hive离线ETL+在线数据分析(OLAP)+流计算
毕设木哥·2024-08-26 06:26

2024.2.19 阿里云Flink

一、Flink基本介绍Spark底层是微批处理,Flink底层则是实时流计算流式计算特点:数据是源源不断产生,两大问题,乱序和延迟Stateful:有状态Flink的三个部分Source:Transactions
白白的wj·2024-02-20 07:05

Flink 2.0 状态存算分离改造实践

主要分为以下四部分：Flink大状态管理痛点阿里云自研状态存储后端Gemini的存算分离实践存算分离的进一步探索批量化存算分离适用场景一、Flink大状态管理痛点1.1Flink状态管理状态管理是有状态流计算的核心
·2024-02-19 20:28

阿里云实时计算企业级状态存储引擎 Gemini 技术解读

本文整理自阿里云Flink存储引擎团队李晋忠，兰兆千，梅源关于阿里云实时计算企业级状态存储引擎Gemini的研究，内容主要分为以下五部分：流计算状态访问的痛点企业级状态存储引擎GeminiGemini性能评测
·2024-02-19 20:58

使用Flink完成流数据统计 | 京东云技术团队

一、统计流程所有流计算统计的流程都是：1、接入数据源2、进行多次数据转换操作(过滤、拆分、聚合计算等)3、计算结果的存储其中数据源可以是多个、数据转换的节点处理完数据可以发送到一个和多个下一个节点继续处理数据
·2024-02-19 15:51

02-flink基本架构

02-flink基本架构flink基本组件栈flink基本组件栈.pngAPI&Libraries同时提供了流计算和批计算的接口，同时在此基础上抽象出不同的应用类型的组件库Runtime核心层主要负责对上层不同接口提供基础服务
蜗牛写java·2024-02-14 13:54

Flink 1.7.0 安装、配置与使用

事件时间的语义使流计算的结果更加精确，尤其在事
编码前线·2024-02-13 22:57

Structured Streaming

SparkStreaming关系二、编写StructuredStreaming程序的基本步骤（一）实现步骤（二）运行测试三、输入源（一）File源（二）Kafka源（三）Socket源（四）Rate源四、输出操作（一）启动流计算
Francek Chen·2024-02-12 11:44

Flink 2.0 状态存算分离改造实践

主要分为以下四部分：Flink大状态管理痛点阿里云自研状态存储后端Gemini的存算分离实践存算分离的进一步探索批量化存算分离适用场景一、Flink大状态管理痛点1.1Flink状态管理状态管理是有状态流计算的核心
·2024-02-11 18:02

从一到无穷大 #23 《流计算系统图解》书评

本作品采用知识共享署名-非商业性使用-相同方式共享4.0国际许可协议进行许可。本作品(李兆龙博文,由李兆龙创作)，由李兆龙确认，转载请注明版权。文章目录引言内容总结引言春节假期回到家里断然是不会有看纸质书的时间的。造化弄人，二月三号早上十一点的飞机延误到一点多，原本三小时不到的阅读时间延长为五个小时，也给了我看完这本书的机会。第一次了解到这本书是Tison在朋友圈发了他写的书评[2]，开头便是：值
李兆龙的博客·2024-02-10 06:06

AXI数据流计算CRC8的代码

modulecrc8_coder_8bit(inputclk,inputrst_n,inputdin_last,inputdin_valid,input[7:0]din_data,outputregdout_last,outputregdout_valid,outputreg[7:0]dout_data);parameter[7:0]POLY=8'h07;reg[7:0]crc_remainder
冰冻土卫二·2024-02-08 07:42

AXI数据流计算CRC16的代码

modulecrc16_coder_8bit(inputclk,inputrst_n,inputdin_last,inputdin_valid,input[7:0]din_data,outputregdout_last,outputregdout_valid,outputreg[7:0]dout_data);parameter[15:0]POLY=16'h1021;//or16'h8005reg[
冰冻土卫二·2024-02-08 07:42

Flink 2.0 状态存算分离改造实践

主要分为以下四部分：Flink大状态管理痛点阿里云自研状态存储后端Gemini的存算分离实践存算分离的进一步探索批量化存算分离适用场景一、Flink大状态管理痛点1.1Flink状态管理状态管理是有状态流计算的核心
Apache Flink·2024-02-08 07:28

视频存储空间的计算：适用安防监控录像、视频会议录像、手机录像、短视频录像等场景

二、计算方法以下是我们总结的一些计算方法：码流计算法：这是最常用的方法之一，通过将码流（Mbps或Kbps为单位）乘以监控路数、监控天数、码流格式转换系数和压缩比系数，得到存储容量（G
威迪斯特·2024-02-05 06:49

Flink实时流计算入门系列——广播变量使用

总是被项目经理问：为什么你的Flink代码占用我这么多的集群资源啊？集群受不了，优化一下吧，程序员一听到优化的痛疼症，你懂的……image今天我们就讲解一个比较基础，且容易被人忽略的基础优化Flink程序的方法。Flink和Spark一样，都有支持广播变量这定义。广播变量，可以理解成为日常的广播，是一个公共的变量。广播变量创建后，它可以运行在集群中的任何function上，而不需要多次传递给集群节
晨冉1688·2024-02-05 06:19

使用 Flink Hudi 构建流式数据湖

摘要：本文介绍了FlinkHudi通过流计算对原有基于mini-batch的增量计算模型不断优化演进。
浪尖聊大数据-浪尖·2024-02-02 12:30

DolphinDB 智慧楼宇场景：门禁异常监测

作为一款高性能分布式时序数据库，DolphinDB提供了流数据表和流计算引擎用于实
DolphinDB智臾科技·2024-02-02 07:31

【三相潮流】基于仿射区间的，含分布式电源的配电网三相潮流算法

针对本课题要求，“基于仿射区间的含分布式电源的配电网三相潮流算法”，其中关于这方面的概念，主要从如下的三个方面角度考虑：理想状态下的，确定性潮流计算——即对应本课题的“含分布式电源的配电网三相潮流算法”
fpga和matlab·2024-02-01 09:53

Flink实战五_状态机制

回顾我们之前介绍的很多流计算的计算过程，有些计算方法，比如说我们之前多次使用的将stock.txt中的一行文本数据转换成Stock股票对象的map操作。
core512·2024-02-01 07:26

C语言文件操作

目录C语言文件操作C语言中的流与文件指针C语言中的流计算机中的读写操作与输入输出操作的关系文件指针C语言中的标准流C语言中的标准流文件类型程序文件数据文件文本文件二进制文件文件的打开和关闭文件的打开fopen
EPSDA·2024-01-31 14:59

java 加权平均_使用Java 8流计算加权平均值

您可以为此任务创建自己的收集器：staticCollectoraveragingWeighted(ToDoubleFunctionvalueFunction,ToIntFunctionweightFunction){classBox{doublenum=0;longdenom=0;}returnCollector.of(Box::new,(b,e)->{b.num+=valueFunction.a
培茛·2024-01-27 15:03

Flink 2.0 状态管理存算分离架构演进

内容主要分为以下五部分：引言为什么状态对Flink如此重要状态存储提升——社区和商业版状态存储状态管理存算分离架构——架构演进和挑战总结1.引言我们在这个时间点重新聊状态存储这个话题是因为状态存储是流计算的核心
Apache Flink·2024-01-27 07:46

Day 1322：架构师训练营学习总结（w13）

本周主要讲了Spark流计算、数据分析和机器学习。Spark的主要特点是DAG切分多阶段计算、内存存储中间结果、RDD的编程模型。RDD是Spark的核心概念。
kafkaliu·2024-01-25 22:18

Matlab|基于改进遗传算法的储能选址定容（可任意设定储能数量）

目录主要内容部分代码结果一览（以3个储能为例）下载链接主要内容该模型采用改进遗传算法优化配电网系统中储能选址位置和容量，程序以IEEE33节点系统为分析对象，以网损最小为目标，采用matpower实现系统潮流计算
科研工作站·2024-01-24 08:39

Stuuctured Streaming基础--学习笔记

Structuredstreaming介绍spark进行实时数据流计算时有两个工具：SparkStreaming：编写rdd代码处理数据流,可以解决非结构化的流式数据StructuredStreaming
祈愿lucky·2024-01-23 14:58

pyspark之Structured Streaming结果保存到Mysql数据库-socket例子统计(含批次)

frompyspark.sqlimportSparkSession,DataFramefrompyspark.sql.functionsimportexplode,split,lit"""实现将数据保存到mysql数据库，同时将流计算
heiqizero·2024-01-21 06:28

【python】EI顶刊复现：综合能源系统分析的统一能路理论(三)：稳态与动态潮流计算程序代码！

适用平台：python3.8；模块：pandas、numpy、scipy、matplotlib2程序基于统一能路理论，针对天然气网络和供热网络，借鉴电力系统潮流计算方法，提出了（7节点）气网-（6节点）
预测及优化·2024-01-20 03:15

数据库内核那些事｜一文Get PolarDB IMCI如何对半结构化数据进行高效分析

数据库，其列存索引（InMemoryColumnIndex，IMCI）推出完备虚拟列与列式JSON等功能，可以快速处理大数据和支持多种数据类型（包括结构化与半结构化数据），并提供高效的数据分析、查询与流计算能力
阿里云瑶池数据库·2024-01-18 23:39

工作十年总结的六条面试技巧，助力你拿到理想的offer

大数据开发的领域不同，面试的锚定点也不同，从我过往的经验来说，可以大致来将大数据领域的开发分为如下几种：离线开发：数据仓库、离线计算、ETL开发实时开发：流计算开发基础架构：组件二次开发，底层组件稳定性维护大数据运维方向数据平台开发一
KubeData·2024-01-17 02:12

《21天晋级大数据实战营》小结汇总

销售预测实验小结点击查看【DAY13】车联网应用之轨迹分析实验小结点击查看【DAY12】图引擎服务GES使用实验小结点击查看【DAY11】让编排变的简单-数据湖工厂实验小结点击查看【DAY9】1天精通实时流计算实验小结点击查看
技术火炬手·2024-01-16 12:48

【无标题】

静态路由：由网络管理员手工配置的路由条目动态路由：所有路由器运行相同的路由协议，之后，路由器之间彼此沟通，交流计算出未知网段的路由信息。
梦及天青·2024-01-16 03:21

【Matlab复现】基于自适应遗传算法的分布式电源优化配置

目录1主要内容2部分程序3程序结果4下载链接1主要内容该程序采用自适应遗传算法优化分布式电源的配置问题，以投资运行成本、网络损耗成本、购电成本和碳排放成本之和作为优化目标，潮流计算采用前推回代法进行计算
科研工作站·2024-01-15 08:57

PiflowX如何快速开发flink程序

自2015年开始，阿里巴巴开始调研开源流计算引擎，最终决定基于Flink打造新一代计算引擎，针对
暗影八度·2024-01-14 14:58

Flink 源码之OperatorChain

Flink源码分析系列文档目录前言OperatorChain是Flink中一个很重要的优化措施，能够将尽可能多的满足条件的数据处理操作在一个slot中串联完成，从而最小化线程执行上下文切换和网络通信，提高流计算系统性能
AlienPaul·2024-01-13 20:35
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他