实时计算

什么是Spark开发？

1、核心开发：离线批处理/延迟性的交互式数据处理2、SQL查询：底层都是RDD和计算操作3、实时计算：底层都是RDD和计算操作
一个人一匹马·2023-12-27 17:54

MongoDB中的物化视图

但用户或前端应用需要等待数据库实时计算结果。视图返回结果中的部分定义可以预先计算完成，不需要每次进行计算。物化视图可以满足
威赞·2023-12-27 06:58

MongoDB视图

通过视图中查询的数据，并没有保存到数据库硬盘上，而是在查询时，实时计算得到。而物化视图，查询时数据直接从磁盘中读取。使用场景在系统开发应用中，
威赞·2023-12-26 02:55

聊聊GPU利用率那些事

但是，我们也不可否认还有非常多的应用场景对算力的需求不大，比如：AI推理场景，基本都是在线实时计算，要求延时低，batchsize小，计算量不大。AI开发机场景，团队内部共享GP
virtaitech·2023-12-25 15:37

Flink实时计算运用（七）Flink 自定义序列化Protobuf接入实现方案

1.自定义序列化接入方案（Protobuf）在实际应用场景中，会存在各种复杂传输对象，同时要求较高的传输处理性能，这就需要采用自定义的序列化方式做相应实现，这里以Protobuf为例做讲解。功能：kafka对同一Topic的生产与消费，采用Protobuf做序列化与反序列化传输，验证能否正常解析数据。通过protobuf脚本生成JAVA文件syntax="proto3";optionjava_pa
麦神-mirson·2023-12-24 08:49

Apache RocketMQ，构建云原生统一消息引擎

国际消息领域专家，致力于消息、实时计算、事件驱动等方向的研究与探索，推进RocketMQ云原生架构、超融合架构的演进。ApacheRocketMQ简介消息队列演进趋势操作系统、数据库、中
阿里云云原生·2023-12-24 07:15

Flink1.17版本安装部署

前言提示：这里可以添加本文要记录的大概内容：随着实时计算需求场景的增加，对计算引擎的实时计算要求也越来越高，而在实时计算方面表现优秀的当属flink，计算引擎从第一代mapreduce到第二代的Tez，
以茉萱·2023-12-24 02:18

本地缓存与分布式缓存

缓存之所以能够让系统“更快”，本质上做到了如下两点：●减小CPU消耗将原来需要实时计算的内容提前算好、把一些公用的数据进行复用，这可以减少CPU消耗，从而提升响应性能。
酱学编程·2023-12-23 15:34

Apache Paimon核心原理和Flink应用进阶

1.1简介Flink社区希望能够将Flink的Streaming实时计算能力和Lakehouse新架构优势进一步结合，推出新一代的StreamingLakehouse技术，促进数据在数据湖上真正实时流动起来
王知无(import_bigdata)·2023-12-22 11:57

从入门到放弃之「ClickHouse」

上报链路还不够稳定，所以最终实时计算产生的指标是会有所丢失的。数据存储使用的是ClickHouse，而我
phantom_111·2023-12-21 18:42

2023大数据应用开发赛题02套

安装配置子任务三：FlinkonYarn安装配置任务B：离线数据处理（25分）子任务一：数据抽取子任务二：数据清洗子任务三：指标计算任务C：数据挖掘（10分）子任务一：特征工程子任务二：推荐系统任务D：数据采集与实时计算
长风有续X·2023-12-21 17:54

2023大数据应用开发赛题03套

安装配置子任务三：Kafka安装配置任务B：离线数据处理（25分）子任务一：数据抽取子任务二：数据清洗子任务三：指标计算任务C：数据挖掘（10分）子任务一：特征工程子任务二：推荐系统任务D：数据采集与实时计算
长风有续X·2023-12-21 17:52

Elasticsearch集群腾讯云迁移到线下机房（无感迁移）

背景要求：公司原有大数据平台基于公有云构建，由于种种原因，现在需要迁移到自建机房，Elasticsearch集群承担了大数据平台主要的对外查询需求，也有部分实时计算需求基于Elasticsearch实现
小孟多·2023-12-21 09:58

亚信安慧AntDB 数据库：超融合数据库引领实时计算新时代

近期，亚信科技成功举办了以“数智驱动全栈赋能”为主题的2022年度系列产品发布会的“数据库专场”。在这次发布会上，亚信科技发布了AntDBV7.2数据库，这是一款“超融合一体流式引擎”的重要产品，并分享了在通信、交通等行业中的应用实践。当前，企业数据量呈指数级增长，业务需求日益复杂，用户对数据库的需求变得越来越精细化。在这种背景下，云计算和分布式计算能力崛起，成为技术底层支撑多业务架构的关键。在此
亚信安慧AntDB数据库·2023-12-19 11:48

flink时间系统系列之时间系统概述介绍

熟悉flink的同学(说明次系列篇幅不适合没有flink基础同学)都知道flink优于其他实时计算引擎的一个很重要的特点就是提供了EventTime这样一个概念，也就是我们所说的事件时间，能够让用户按照事件
Flink实战剖析·2023-12-19 11:49

Flink实时数仓项目—项目初了解

Flink实时数仓项目—项目初了解前言一、实时数仓分层介绍1.普通的实时计算与实时数仓比较2.实时电商数仓分层规划二、实时数仓需求概览1.离线计算和实时计算的比较2.实时需求种类2.1日常统计报表或分析图中需要包含当日部分
自学大数据的菜鸡·2023-12-18 14:46

YoloV8 架构与基于 YoloV8 的区域拖动的奶牛计数器

如今，任务分类、目标检测、分割和关键点检测是主要的实时计算机视觉应用。那么，大家认为它是如何发展起来的呢？首先，我们将简要讨论计算机视觉的主要问题。
小北的北·2023-12-18 02:58

拖拽元素JS实现方法

思路：onmousedown：鼠标按下的时候，记录鼠标所在的位置pageX,pageY记录鼠标相对于盒子的位置距离onmousemove：鼠标移动的时候，实时计算鼠标的位置-相对差量（鼠标对于盒子）来计算鼠标的位置
vivianXIa·2023-12-18 00:45

流批一体神器 Flink 之 Flink State 架构原理解析

刚过去的2020双11，阿里在Flink实时计算技术的驱动下全程保持了“如丝般顺滑”，基于Flink的阿里巴巴实时计算平台简直强·无敌。
zhisheng_blog·2023-12-17 14:32

TiDB一个大数据实时计算的存储利器

目录TiDB概述TiDB架构详解TiDB之TiKVTiDB如何部署具体安装流程下载二进制文件使用Docker镜像一些配置解析Server配置Performance配置Log配置PD配置TiDB概述TiDB是由中国PingCAP公司开发的，是一个开源的分布式NewSQL数据库。它最初的设计目标是解决传统关系型数据库的瓶颈和限制，实现高可用、可扩展和高性能的数据存储和处理。TiDB架构详解TiDB是一
29597739c454·2023-12-16 22:14

前端技术：vue+axios+mockJS实现购物车效果

2.点击单个商品上的加号减号进行数量的增加和减少，右边小计实时计算出这个商品的价格合计。3.点击单个商品上的删除按钮将商品从购物车中删
源码时代官方·2023-12-14 23:15

Flink 项目系列

实时电商实战项目:基于尚硅谷开源项目的Flink电商实战项目（全流程）大数据Flink电商数仓实战项目流程全解（一）_尚硅谷flinksql大数据项目实战-CSDN博客实时即未来，大数据项目车联网之创建Flink实时计算子工程
清风明月一壶酒·2023-12-14 16:22

Flink入门之概念介绍（一）

作为近几年甚是火爆的数据实时处理框架，吸引了一大批程序员的学习，更是凭借着流批一体化，高效实时数据计算，尤其是在数据量特别大的情况下，每秒钟的数据处理量高达7TB，受到了一大批企业的青睐，纷纷将Flink作为日常实时计算的核心
大数据程序员·2023-12-05 21:31

【Flink从入门到精通 01】流式处理概念

“Flink中流式处理的概念是实时计算的基石，也是你踏入Flink的第一步。”今天和大家一起聊聊流式处理的通用概念。如果还不清楚这些概念的同学，今天的分享一定会给你带来收获的。
编程理想国·2023-12-05 21:30

gRPC 负载均衡算法

目录一、负载均衡算法二、gRPC与负载均衡算法结合三、gRPC负载均衡算法1、轮询2、加权轮询(平滑加权轮询算法)3、负载均衡：随机4、最小链接数一、负载均衡算法不实时计算负载的算法：轮询、加权轮询、随机
xingjigongsi·2023-12-05 08:10

51综合程序03-DS1302时钟

DS1302时钟芯片的工作原理1.芯片特点2.引脚说明3.寄存器地址4.读数据的时序图5.写数据的时序图二、综合实例LCD1602显示DS1302时钟芯片一、DS1302时钟芯片的工作原理1.芯片特点实时计算年
turbosqi·2023-12-04 20:41

ng计算地址长度

需求：输入地址时候，会实时计算数组长度image.png超出长度提示超出了多少image.png方法calLength(address){ÏletallLen=address.line1.length;
简小咖·2023-12-03 13:57

激光跟踪仪在超大型工件空间测量中的应用，你了解多少？

它采用了先进的激光干涉测距和角度测量技术，基于球坐标法测量原理，通过发射激光并跟踪工件表面的反射光线，实时计算出工件的位置和形态参数，能够实现三维坐标的精密测量。
CHOTEST中图仪器·2023-12-03 10:16

第13期：表统计信息的计算

对统计信息的计算分为非持久化统计信息（实时计算）与持久化统计信息。
爱可生开源社区·2023-12-01 16:46

2019-02-01

大数据技术的产生以及发展谷歌的三篇论文分布式文件系统GFS大数据分布式计算框架mapreduceNoSQL数据库系统BigTable大数据计算离线计算——批处理计算（MapReduce、Spark）实时计算
奔跑的风2019·2023-12-01 04:34

数据中台·实时开发计算平台

本人从实时产品平台角度，阐述作为产品经理对实时计算平台需要关注到的内容。什么是数据中台·实时计算平台？实时计算（实时开发）是为构建一套一站式、高性能实时大数据处理平台，广泛适用于流式数据处理场景。
数据先生·2023-11-30 00:33

LTD251次升级 | 商机平台可筛选、浏览历史可查看 • 在线课程可秒杀购买 • 采购表单可实时计算价格与周期

1、新增商机类型筛选及历史浏览功能；2、 新增地址管理和物流公司管理功能；3、优化表单导出问题文件格式；4、 可定制实时计算价格的表单；5、 知识付费支持秒杀活动；01商机平台应用在上次升级中
LTD营销SaaS·2023-11-29 17:45

物联网数据的特点

；5.相对互联网应用，写多读少；6.用户关注的是一段时间的趋势，而不是某一特点时间点的值；7.数据是有保留期限的；8.数据的查询分析一定是基于时间段和地理区域的；9.除存储查询外，还往往需要各种统计和实时计算操作
laoge丶·2023-11-29 10:28

Spark Streaming基本概念

SparkStreaming是构建在Spark上的实时计算框架，它扩展了Spark处理大规模流式数据的能力。
晓之以理的喵~~·2023-11-29 07:36

大数据开发：实时数仓架构层次设计

在大数据实时计算处理领域，数据仓库提供重要的支持，从传统的离线数仓到实时数仓，大数据带动了相应的市场需求，而从架构层次来说，实时数仓也有新的值得挖掘的技术点。
成都加米谷大数据·2023-11-28 16:52

大数据和智能数据应用架构系列教程之：大数据与时间序列分析

本文将基于真实案例，从以下几个方面深入剖析大数据和时间序列分析相关的知识：数据产生背景介绍数据采集方式、处理方式及实时计算方式大数据分析中的数据特征、数据结构、数据挖掘、预测等技术细节
禅与计算机程序设计艺术·2023-11-28 00:23

2023年全国职业院校技能大赛-赛题第01套-GZ033 大数据应用开发

安装配置子任务三：HBase分布式安装配置任务B：离线数据处理（25分）子任务一：数据抽取子任务二：数据清洗子任务三：指标计算任务C：数据挖掘（10分）子任务一：特征工程子任务二：推荐系统任务D：数据采集与实时计算
你可知这世上再难遇我·2023-11-26 13:48

漫谈实时数仓架构

第一个分水岭是从无到有，随着以Storm为代表的实时计算框架出现，大数据从此摆脱了MapReduce单一的计算方式，有了当天算当天数据的能力。
晓阳的数据小站·2023-11-26 08:39

TiDB一个大数据实时计算的存储利器

目录TiDB概述TiDB架构详解TiDB之TiKVTiDB如何部署具体安装流程下载二进制文件使用Docker镜像一些配置解析Server配置Performance配置Log配置PD配置TiDB概述TiDB是由中国PingCAP公司开发的，是一个开源的分布式NewSQL数据库。它最初的设计目标是解决传统关系型数据库的瓶颈和限制，实现高可用、可扩展和高性能的数据存储和处理。TiDB架构详解TiDB是一
云台095·2023-11-26 04:59

实时计算 Flink 版总体介绍

简介：实时计算Flink版（AlibabaCloudRealtimeComputeforApacheFlink，PoweredbyVerverica）是阿里云基于ApacheFlink构建的企业级、高性能实时大数据处理系统
阿里云云栖号·2023-11-25 06:54

「Flink实时数据分析系列」1. 有状态流处理简介

StreamProcessingwithApacheFlink」作者|FabianHueskeandVasilikiKalavri翻译|吴邪大数据4年从业经验，目前就职于广州一家互联网公司，负责大数据基础平台自研、离线计算&实时计算研究校对
数据与智能·2023-11-25 06:49

轻量级模型YOLOv5-Lite基于自己的数据集【焊接质量检测】从零构建模型超详细教程

YOLOv5时期一度达到了鼎盛的阶段，v5本身也有：n、s、m、l和x这么多的分支，在不同的业务场景里面需要选择对应的模型，v5模型性能本身已经是非常出色的了，但是在一些边缘端算力较弱的设备上面还是难以满足实时计算的需求的
Together_CZ·2023-11-25 05:03

多联机空调能耗计算

其中，该方法包括：接收多联机上传的机组运行数据；根据所述机组运行数据实时计算得到第一能耗数据；利用神经网络模型对所述第一能耗数据进行修正，得到修正后的能耗数据。
Joanne Sherkay·2023-11-24 01:07

QTreeView使用总结15，自定义model，支持item可编辑

2，效果但是由于我这个示例，真实数据只有名称、三门课成绩，后面的展示数据都是根据这些实时计算出来的。因此只有真实数据支持修改，而且修改后其他推算型数据也会自动刷新。这点需要注意。
逆枫゛·2023-11-23 21:32

免费图书教材配套资料：Spark大数据技术与应用（第2版）

版）》课程内容全面介绍了Spark大数据技术的相关知识，内容包含包括Spark概述、Scala基础、Spark编程、Spark编程进阶、SparkSQL结构化数据文件处理、SparkStreaming实时计算框架
泰迪智能科技·2023-11-23 14:36

什么是美颜SDK？直播美颜SDK技术深度剖析

一、美颜SDK的基本概念美颜SDK是一种软件工具包，通过集成了丰富的图像处理算法和实时计算技术，使得开发者能够在其应用中轻松嵌入实时美颜效果。
美狐美颜sdk·2023-11-23 02:29

DataWorks实践笔记-从入门到精通

在这个基础上，有Datahub数据总线引擎，实时计算Flink引擎
qq_43548990·2023-11-22 13:58

Flink+Hologres 亿级用户实时UV精确去重最佳实践

UV、PV计算，因为业务需求不同，通常会分为两种场景：离线计算场景：以T+1为主，计算历史数据实时计算场景：实时计算日常新增的数据，对用户标签去重针对离线计算场景，Hologres基于RoaringBitmap
阿里云技术·2023-11-21 22:32

基于Flink打造实时计算平台为企业赋能

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！大数据真好玩点击右侧关注，大数据真好玩！本文是清香白莲在知乎的分享，很有借鉴意义，分享给大家。原文地址：https://zhuanlan.zhihu.com/p/143169143随着互联网技术的广泛使用，信息的实时性对业务的开展越来越重要，特别是业务的异常信息，没滞后一点带来的就是直
王知无(import_bigdata)·2023-11-21 10:40

DolphinDB 流计算优化实践：时延统计与性能调优

在实时计算中，端到端的响应延迟是衡量计算性能时最重要的指标。
DolphinDB智臾科技·2023-11-21 10:59
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他