流计算

Spark Streaming基本概念

流计算是一种典型的大数据计算模式，可以实现对源源不断到达的流数据的实时处理分析。一、静态数据和流数据1，静态数据如果把数据存储系统比作一个“水库”，那么，存储在数据存储系
晓之以理的喵~~·2023-11-29 07:36

【软件测试】盘一盘工作中遇到的 MQ 异常测试

被广泛的应用在订单、交易、充值、流计算、消息推送、日志流处理等场
静姐说测试·2023-11-28 15:34

Flink实时流计算入门系列（一）

阿里巴巴双11大屏在峰值期间可以承担每秒超过4.72亿次的访问，这是多高的访问量……为什么学习Flink？image这几年大数据的飞速发展，出现了很多热门大数据计算框架，著名的Hadoop、Storm、Spark，他们都专注于各自的应用场景。Spark掀开了内存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。Spark的火热或多或少的掩盖了其他分布式计算的系统身影。就像Flink，也就在这个
晨冉1688·2023-11-27 17:17

实时监控：基于流计算 Oceanus ( Flink ) 实现系统和应用级实时监控

1解决方案描述1.1概述本方案结合腾讯云CKafka、流计算Ocea
腾讯云大数据·2023-11-25 06:41

通用矩阵乘(GEMM)优化(卷积加速/卷积优化)(FFT & Winograd& Strassen)

主流的加速方法有以下几种：im2col+GEMM：目前几乎所有的主流计算框架包括Caffe,MXNet等都实现了该方法.该方法把整个卷积过程转化成了GEMM过程，而GEMM在各种BLAS库中都是被极致优化的
hxxjxw·2023-11-24 18:31

基于流计算 Oceanus（Flink） CDC 做好数据集成场景

作者：黄龙，腾讯CSIG高级工程师数据时代，企业对技术创新和服务水准的要求不断提高，数据已成为企业极其重要的资产。无论是在在企业数据中台的建设，亦或者是打造一站式数据开发和数据治理的PASS平台。首先需要做的就是进行跨应用的数据融合计算，需要将数据从孤立的数据源中采集出来，汇集到可被计算平台高效访问的目的地。此过程称之为ETL。通常所说的同步大致分为离线全量ETL、离线增量+离线全量的ETL、实时
腾讯云大数据·2023-11-23 09:07

实时数仓：基于 Flink CDC 实现 Oracle 数据实时更新到 Kudu

首先在本地对OracleCDC进行调试通过，然后结合腾讯云产品流计算Oceanus、EMR（Kudu）实现了Oracle-Oceanus-Kudu一体
腾讯云大数据·2023-11-23 09:07

Flink 内核原理与实现-核心抽象

一、环境对象StreamExecutionEnvironment是Flink应用开发时的概念，表示流计算作业的执行环境，是作业开发的入口、数据源接口、生成和转换DataStre
857技术社区·2023-11-23 07:09

Sylph平台自定义数据源hdfs数据源

Sylph是一个一站式的大数据流计算平台，通过编译StreamSQL，sylph会自动生成ApacheFlink等分布式程序到ApacheYarn集群运行。
cherishpf·2023-11-22 14:24

Flink 常见问题定位指南

一、问题分析概览流计算作业通常运行时间长，数据吞吐量大，且对时延较为敏感。
pucheung·2023-11-22 09:21

DolphinDB 流计算优化实践：时延统计与性能调优

本文介绍如何对DolphinDB流计算任务进行全链路的时延统计，以及如何优化脚本以实现更低时延的实时计算：1.耗时统计在关键链路上记录处理的时刻，可以反映流计算各个环节的
DolphinDB智臾科技·2023-11-21 10:59

流计算 Oceanus | 巧用 Flink 构建高性能 ClickHouse 实时数仓

作者：董伟柯——腾讯云大数据产品中心高级工程师概述ApacheFlink是流式计算处理领域的领跑者。它凭借易用、高吞吐、低延迟、丰富的算子和原生状态支持等优势，多方位领先同领域的开源竞品。同样地，ClickHouse是OLAP在线分析领域的一颗冉冉新星，它拥有极其出众的查询性能，以及丰富的分析函数，可以助力分析师灵活而迅速地挖掘海量数据的价值。然而金无足赤，人无完人，每个组件都有自己擅长和不擅长的
腾讯云大数据·2023-11-21 07:19

matlab求节点导纳矩阵,MATLAB节点导纳矩阵计算

第一章导纳矩阵的计算简介1.1变压器的∏型等值电路在电力系统潮流计算中，往往要计算节点导纳矩阵，而我们计算节点导纳矩阵采用节点电压法来实现，如在变压器构成的电力系统中，需要将变压器模型转变成变压器∏型等值电路
weixin_39954889·2023-11-21 05:22

flink源码启动解析

flink是近来比较热门的实时流计算引擎，相信大家对于其使用并不陌生。
AnzLee888·2023-11-20 23:01

Flink1.17学习笔记（自用）

Flink是什么核心目标：数据流上的有状态计算Flink是一个框架和分布式处理引擎，用于对无界和有界数据进行有状态计算Flink和Streaming对比FlinkStreaming计算模型流计算微批处理时间语义事件时间
艾卡西亚暴雨o·2023-11-20 20:52

Flink 最锋利的武器：Flink SQL 入门和实战

自2015年开始，阿里巴巴开始调研开源流计算引擎，最终决定基于Flink打造新一代计算引擎，针对Flink存在的不足进行优化和改进，并且在2019年初将最终代码开源，也就是我们熟知的Blink。
tracy_668·2023-11-20 16:02

清华美女学霸的面试笔记，超详细

有丰富的面试经验、扎实的大数据、流计算、算法技术功底，每天为粉丝答疑，日更文章，内容硬核!关注公众号：3分钟秒懂大数据，回复：史上最全系列，领取全网最全面的大数
欣一2002·2023-11-20 09:12

Flink on RocksDB 参数调优指南

对于需要保存超大状态（远超于内存容量）的流计算场景来说，目前RocksDB[1]是Flink平台上官方实现的唯一选择。
pucheung·2023-11-18 19:59

Flink 内核原理与实现-状态原理

对于流计算而言，时间持续不断地产生，如果每次计算都是相互独立的，不依赖于上下游的事件，则是无状态计算。如果计算需要依赖于之前或者后续的事件，则是有状态计算。
857技术社区·2023-11-18 18:54

云上11.11｜腾讯云大数据产品双11盛惠 爆品首单1折起大回馈

11.11云上盛惠多款大数据产品特惠专场腾讯云BI、ElasticsearchService、流计算Oceanus、腾讯云数据仓库TCHouse-D、移动推送、数据湖计算DLC首月秒杀1元起、新客首购1.2
腾讯云大数据·2023-11-17 11:24

效率工具 001| 手把手教你满速下载百度网盘文件

PanDownload电脑版PanDownload手机版BaiduPCS-GoBaiduPCS-Web速盘最后想说的话百度网盘，曾用名百度云（BaiduCloud），是百度推出的一项个人云存储服务，覆盖中国大陆各大主流计算机和手机操作系统
pang-tong·2023-11-17 11:14

关于Flink的批处理和流处理的 Table & SQL API详解

1-TableAPI&SQL之入门案例以案例形式，讲解TableAPI和SQL基本使用，分别针对批处理和流计算使用TableAPI和SQL分析数据。
LBJ_小松鼠·2023-11-15 08:15

Paimon 与 Spark 的集成（一）

Paimon采用开放的数据格式和技术理念，可以与ApacheFlink/Spark/Trino等诸多业界主流计算引擎进行对接，共同推进StreamingLakehouse架构的普及和发展。
Apache Spark中国社区·2023-11-11 08:44

【OpenCV】计算视频的光流并跟踪物体calcOpticalFlowPyrLK

它实现的是Lucas-Kanade方法，这是一种常用的光流计算方法。光流是图像中物体运动的近似表示，它描述了图像中每个像素点在连续两帧之间的移动。
小殊小殊·2023-11-10 11:46

Flink 状态管理

一、状态分类相对于其他流计算框架，Flink一个比较重要的特性就是其支持有状态计算。
Cynicism_Kevin·2023-11-09 01:48

半导体保险丝/高速熔断器选型指导

高速熔断器额定电流计算1.工作负载电流IAL的计算高速熔断器作为保护半导体的器件，通过其本体的电流可能是直流，也可能是交流，或者是脉冲电流，因此计算等效工作电流是熔断器选型的第一步骤。
你的酸橘真甜～·2023-11-07 20:20

Flink 实践教程-进阶（11）：SQL 关联：Regular Join

作者：腾讯云流计算Oceanus团队流计算Oceanus简介流计算Oceanus是大数据产品生态体系的实时化分析利器，是基于ApacheFlink构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台
腾讯云大数据·2023-11-07 05:05

36 张图详解ElasticSearch 原理+实战知识点

大家好，我是土哥今天为大家带来流计算领域经常使用的组件ElasticSearch，本文通过原理+实战操教程带领大家快速学会ElasticSearch搜索引擎，以下内容全部经过实战操作，可以根据文档进行学习
3分钟秒懂大数据·2023-11-05 19:18

stream 流计算和for计算

/***普通方法*执行时间730*/@Testpublicvoidtest1(){longstart=System.currentTimeMillis();longsum=0;for(longi=1L;i<=1000000000L;i++){sum+=i;}System.out.println(sum);longend=System.currentTimeMillis();System.out.p
名字只是代号_45a3·2023-11-05 12:46

Flink（一） Flink是什么，特点和优势，应用场景

对于Spark-Streaming的流计算本质上还是批
plenilune-望月·2023-11-05 01:16

基于JAVA神马物流计算机毕业设计源码+数据库+lw文档+系统+部署

基于JAVA神马物流计算机毕业设计源码+数据库+lw文档+系统+部署基于JAVA神马物流计算机毕业设计源码+数据库+lw文档+系统+部署本源码技术栈：项目架构：B/S架构开发语言：Java语言开发软件：
仁和科技·2023-11-04 14:17

【Hydro】部分基流分割方法及程序代码说明

滤波法双参数滤波法Eckhardt滤波法二、其他基流分割方法基流指数（BFI）法时间步长（HYSEP）法PART法加里宁-阿里巴扬基流估算改进方法三、计算程序及代码SWATBaseflowProgram基流计算程序基本原理
KmBase·2023-11-03 18:22

流计算处理系统入门

时间可以划分成两种处理时间：数据抵达流计算系统开始进行处理的时间。数据被处理的时间。事件时间：被检测系统获得数据的时间。一般用时间戳的方式携带在数据中。处理时间晚于数据事件时间。
叩钉吧zz·2023-11-01 13:42

100TB级, 日增量1TB(100亿), OLTP OLAP混合场景数据库设计方向

标签PostgreSQL,LLVM,JIT,并行,列存储,GPU,向量计算,HLL,流计算,OSS对象存储结合背景总量100TB，日增量1TB(日增约100亿记录)左右。
weixin_34353714·2023-10-31 17:09

Spark的简介

半结构化,非结构化的数据都可以进行处理.3.HadoopSpark基础平台,包含计算,存储,调度纯计算工具（分布式）海量数据批处理（磁盘迭代计算）海量数据的批处理（内存迭代计算、交互式计算）、海量数据流计算对机器要求低
一只不起眼的猪·2023-10-30 08:40

一张Lambda大数据架构架构图

架构图大数据的架构包括了Lambda架构和Kappa架构，Lambda架构分解为三层：即批处理层、加速层和服务层；Kappa架构不同于Lambda同时计算流计算和批计算并合并视图，Kappa只会通过流计算一条的数据链路计算并产生视图
huaqianzkh·2023-10-25 16:50

运动目标检测方法综述

光流计算法大致可分为三类：（1）基于匹配的光流计算方法，包括基于特征和基于区域的两种。
凤鸣塔·2023-10-25 07:14

流计算概述（林子雨慕课课程）

文章目录11.流计算概述11.1流计算概述11.1.1数据的处理模型11.1.2流计算概念与典型框架11.2流计算处理流程11.3流计算的应用11.4开源流计算框架Storm11.4.1Storm简介11.4.2Storm
几窗花鸢·2023-10-24 04:16

Flink 最锋利的武器：Flink SQL 入门和实战

自2015年开始，阿里巴巴开始调研开源流计算引擎，最终决定基于Flink打造新一代计算引擎，针对Flink存在的不足进行优化和改进，并且在201
一方诸侯·2023-10-23 02:45

python-pandapower电力系统潮流计算（算例9：讲解开关和 画图讲解））

本系列讲解电力系统潮流计算和最优潮流等，用pandapower求解，语言为python。专栏订阅后，可以查看该专栏所有文章。希望学完这个专栏后完全掌握,建议从第一个算例看起。
总裁余(余登武)·2023-10-21 14:22

Flink: 窗口计算

文章目录Event-timeWindowEventTimeWatermark-水位线迟到数据Event-timeWindowEventTimeFlink在流计算的过程中，支持多种时间概念。
McGrady_Durant·2023-10-21 13:14

R语言的计量经济学技术

量经济学通常使用较小样本，但这种区别日渐模糊，机器学习在经济学领域、特别是经济学与其它学科的交叉领域表现日益突出，R语言是用于统计建模的主流计算机语言，在本次培训中，我们将从实际应用出发，重点从数据的收集与清洗
天青色等烟雨..·2023-10-21 05:30

FLink学习笔记：09-Flink 的状态编程应用

文章目录概述无状态流计算有状态流计算状态分类：算子状态(OperatorState)键控状态(KeyedState)ValueState[T]ListState[T]MapState[KU,VU]ReducingState
wangzhongyudie·2023-10-19 14:49

分布式计算模式：Stream

Stream工作原理Storm的工作原理知识扩展：流计算和批量计算的区别是什么？
海陆云·2023-10-19 05:16

Spark Streaming 原理与实践

目前流计算领域也出现了一些流处理工具，如Storm、Flink和KafkaStreams。但是这些工具都有自己独有的编程模型，并且支持的语
禅与计算机程序设计艺术·2023-10-19 04:12

重磅！ | Flink1.14新特性预览

欢迎加博主微信：threeknowbigdata，拉你进大数据群、Flink流计算群大家好，我是土哥。目前在某互联网大厂担任大数据算法工程师。
3分钟秒懂大数据·2023-10-18 17:46

数据分析小结：使用流计算 Oceanus(Flink) SQL 作业进行数据类型转换

作者：吴云涛，腾讯CSIG高级工程师在这个数据爆炸的时代，企业做数据分析也面临着新的挑战,如何能够更高效地做数据准备，从而缩短整个数据分析的周期，让数据更有时效性，增加数据的价值，就变得尤为重要。将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程（即ETL过程），则需要开发人员则需要掌握Spark、Flink等技能，使用的技术语言则是Java、Sc
腾讯云大数据·2023-10-18 17:38

电力系统潮流计算中的导纳矩阵计算，matlab源程序

电力系统导纳矩阵计算，MATLAB这学期在上大四专业选修课时，一个课后作业是写一个电力系统的导纳矩阵计算程序，我找了找资料肝了半天的程序如下图所示，希望能对大家有用。程序说明1.具有非标准变比的变压器处理如果变压器阻抗归算到非标准变比的K侧，则在参数输入脚本文件data中变压器参数第五列记为0；如果归算到非标准变比的1侧，则在参数输入脚本文件data中变压器参数第五列记为1。2.线路为双回线时，需
山高一小·2023-10-18 15:21

R技术分享：机器学习方法在生态经济学领域中的实践应用

R语言是用于统计建模的主流计算机语言，用于机器学习十分方便，且学习曲线
Yolo566Q·2023-10-18 11:52

R语言的计量经济学实践技术应用

计量经济学通常使用较小样本，但这种区别日渐模糊，机器学习在经济学领域、特别是经济学与其它学科的交叉领域表现日益突出，R语言是用于统计建模的主流计算机语言，在本次培训中，我们将从实际应用出发，重点从数据的收集与清洗
思考的小猴子·2023-10-18 11:16
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他