实时计算

Ubuntu: 配置OpenCV环境

开源计算机视觉(OpenCV)是一个主要针对实时计算机视觉的编程函数库。

达柳斯·绍达华·宁·2024-09-09 11:35

pyflink 滚动窗口实例

菜鸟社长·2024-09-07 15:31

Apache Storm：入门了解

前言Storm是一个开源的分布式实时计算系统，它能够处理无边界的数据流，类似于Hadoop对于批量数据处理的作用，但是Storm更侧重于实时数据流的处理。

布说在见·2024-09-07 03:43

BMS中内阻补偿的使用

计算内阻：基于电流和电压的变化计算内阻，公式通常为：2.电压补偿动态补偿：在充放电过程中，实时计算电池的内阻，并根据内阻的变化动态调整电池的电压读数。

嵌入式学习菌·2024-08-30 13:46

大数据分析与大数据开发两者的区别是怎样的?

大数据分析大数据分析：主要负责现有数据价值提炼与挖掘，包括业务增长点挖掘，产品改进点挖掘，业务分析指标体系构建，业务分析报告出具等大数据开发：主要负责大数据平台与应用开发，包括数据仓库构建，离线计算、实时计算应用开发

泰迪智能科技01·2024-08-29 10:18

ARMS: 原来实时计算可以这么简单！

摘要：业务实时监控服务（ARMS）是一款阿里云应用性能管理（APM）类监控产品。借助本产品，您可以基于前端、应用、业务自定义等服务，迅速便捷地为企业构建秒级响应的业务监控能力。业务实时监控服务（ARMS）是一款阿里云应用性能管理（APM）类监控产品。借助本产品，您可以基于前端、应用、业务自定义等服务，迅速便捷地为企业构建秒级响应的业务监控能力。其中自定义监控作为该产品的时序计算和存储的基础，整合和

猫耳呀·2024-03-18 09:59

linux安装单机版spark3.5.0

一、spark介绍是一种通用的大数据计算框架，正如传统大数据技术Hadoop的MapReduce、Hive引擎，以及Storm流式实时计算引擎等.Spark主要用于大数据的计算二、spark下载spark3.5.0

爱上雪茄·2024-03-17 18:57

EMR StarRocks实战——Mysql数据实时同步到SR

文章摘抄阿里云EMR上的StarRocks实践：《基于实时计算Flink使用CTAS&CDAS功能同步MySQL数据至StarRocks》前言CTAS可以实现单表的结构和数据同步，CDAS可以实现整库同步或者同一库中的多表结构和数据同步

爱吃辣条byte·2024-02-28 09:49

5. 详解低门槛搭建个人量化平台- 自定义技术指标

本文继续讲解平台是怎样实现，快速简便地实时计算和显示技术指标的方法。鄙人之前走了不少弯路，以下几种场景实现及安装避坑方法，分别介绍给各位朋友，请借鉴或给予建议。一、最先尝试——t

阿岛格·2024-02-20 17:54

第三章基础数据和技术指标 | 波动率计算

波动率计算波动率计算历史波动率：自行采用不同算法，包括c2c、parkinson、garmanklass、rsy、yz隐含波动率：自行采用QuantLib/Mibian计算实时隐含波动率波动率VIX(恐慌指数）：自行编码模块实时计算

阿岛格·2024-02-20 17:23

阿里云实时计算企业级状态存储引擎 Gemini 技术解读

本文整理自阿里云Flink存储引擎团队李晋忠，兰兆千，梅源关于阿里云实时计算企业级状态存储引擎Gemini的研究，内容主要分为以下五部分：流计算状态访问的痛点企业级状态存储引擎GeminiGemini性能评测

·2024-02-19 20:58

日常节省 30%计算资源：阿里云实时计算 Flink 自动调优实践

摘要：本文整理自阿里云开发工程师，ApacheFlinkContributor钟旭阳，在FlinkForwardAsia2022生产实践的分享。本篇内容主要分为四个部分：历史背景框架简介案例介绍未来规划点击查看原文视频&演讲PPT一、历史背景批作业在算子实际处理数据时，可以提前感知到要处理的这部分数据有多大。从而可以根据数据量的大小，选择合适的资源处理数据。但流作业是一种long-running的

Apache Flink·2024-02-19 14:46

Flink 细粒度滑动窗口性能优化

以1分钟的频率实时计算App内各个子模块近24小时的PV和UV。我们需要用粒度为1440/1=1440的滑动窗口来实现它，但是细粒度的滑动窗口

hyunbar·2024-02-19 13:39

MapReduce

MapReduce的优缺点优点：易于编程良好的扩展性高容错性适合tb/pb级以上海量数据的离线处理缺点：不擅长实时计算不擅长流式计算不擅长DAG

诺冰1314·2024-02-19 10:46

基于Apache Flink的实时计算引擎Blink在阿里搜索中的应用

阿里巴巴是世界上最大的电子商务零售商。我们在2015年的年销售额总计3940亿美元，超过eBay和亚马逊之和。阿里巴巴搜索(个性化搜索和推荐平台)是客户的关键入口，并承载了大部分在线收入，因此搜索基础架构团队需要不断探索新技术来改进产品。在电子商务网站应用场景中，什么能造就一个强大的搜索引擎?答案就是尽可能的为每个用户提供实时相关和准确的结果。同样一个不容忽视的问题就是阿里巴巴的规模，当前很难找到

weixin_34186950·2024-02-15 01:50

基于 Apache Flink 的实时计算数据流业务引擎在京东零售的实践和落地

内容主要包括五个方面：京东零售实时计算的现状实时计算框架场景优化：TopN场景优化：动线分析场景优化：FLINK一站式机器学习点击查看更多技术内容一、京东零售实时计算的现状1.1现状技术门槛高、学习成本大

Apache Flink·2024-02-15 01:50

Flink在实时搜索引擎领域的应用

ApacheFlink是一个流处理框架，它可以处理大规模的流数据，并提供了实时计算能力。在实时搜索引擎领域，Flink可以用于实时处理搜索关键词、计算搜索结

禅与计算机程序设计艺术·2024-02-15 01:46

基于Kafka的实时计算引擎如何选择？

1.前言目前实时计算的业务场景越来越多，实时计算引擎技术及生态也越来越成熟。以Flink和Spark为首的实时计算引擎，成为实时计算场景的重点考虑对象。

java菜·2024-02-14 19:37

Flink SQL实战演练之CDC Connector

简介：公司实时项目组处理的业务数据以前是由业务团队把数据push到rabbitmq，然后我们通过flink转运到kafka，然后再做实时计算的，由于新业务逻辑变化会较大，导致推送过来的数据偶尔会出现偏差

Coder小咚·2024-02-13 10:43

Shiny-R语言轻松开发交互式web应用

Shiny应用程序会自动刷新计算结果，这与电子表格实时计算的效果类似。当用户修改输入时，输出值自动更新，而不需要在浏览器中手动刷新。

生信交流平台·2024-02-11 09:01

实时计算框架 Flink 在教育行业的应用实践

若想实现大规模数据的“即席查询”，就须用实时计算框架构建实时数仓来实现。本文通过一个教育行业的应用案例，剖析业务系统对实时计

Java架构师CAT·2024-02-10 09:20

6月24日实盘日记，如何实时查看基金收益。

基金小技巧：很多网友问我，小师哥，你为啥都能实时预估出购买基金的收益情况，其实，现在有很多相关实时计算收益的工具，大家都可以自己去找下。我是用了一个叫小武计算助手的小程序查询的。

小C说财·2024-02-10 03:45

使用Quartz实现定时任务

Quartz自动化配置定时任务在业务中，我们经常需要编写定时任务，通过每个周期来定时统计一些聚合类信息，比如银行类业务实现每天日终实现对账、生成统计报表等等，这些非实时计算的任务都可以放在系统非繁忙时段来执行

yongbuyanqi9467·2024-02-09 16:18

Apache Flink

前言最近在学习室内融合定位服务架构，业务架构上，涵盖了数据采集、处理、状态管理、实时计算和告警等多个方面，但有些问题：这套系统中包含了大量的有状态计算，目前是通过自设计内存对象进行管理，并利用Redis

DevDiary·2024-02-09 07:24

深入理解Spark的前世今生

Spark，是一种通用的大数据计算框架，正如传统大数据技术Hadoop的MapReduce、Hive引擎，以及Storm流式实时计算引擎等。

闲云野鹤~~~·2024-02-08 14:01

推荐系统的向量检索工具: Annoy & Faiss

例如：离线训练模型后，将item向量存储至某种数据库，然后线上推理时，模型实时计算输出user向量，然后通过Annoy或Faiss进行内积的最邻近检索。这篇文章将介绍两个常用的向量最邻近检索工具：A

我就算饿死也不做程序员·2024-02-08 10:37

【项目实战】Flink+InfluxDB+Grafana实现对YARN集群队列资源进行画像

一、Flink实时计算第一章：Flink快速入门1.Flink架构2.Flink应用场景3.FlinkVSSpark4.实时计算技术选型第二章：Flink项目构建与测试1.快速构建Flink项目2.第一个

大数据研习社·2024-02-08 08:56

涤生大数据实战：基于Flink+ODPS历史累计计算项目分析与优化（上）

离线计算任务节点叫做Odps节点，存储的离线表叫做Odps表；Flink:实时计算引擎，本文代码开发和测试均基于集团内部实时计算平台，代码细节可能会和Flin

涤生大数据·2024-02-08 08:55

大数据用户画像系统架构设计

文章目录一、用户画像数据仓库搭建、数据抽取部分二、大数据平台、用户画像集市分层设计、处理三、离线计算部分四、实时计算部分五、Solr/ES搜索引擎部分六、JavaWeb毫秒级实时用户画像接口服务七、用户画像实时展示异步触发获取

充电了么·2024-02-07 19:37

揭秘阿里云Flink智能诊断利器——Fllink Job Advisor

引言阿里云实时计算Flink作为一款专业级别的高性能实时大数据处理系统，它在各种业务场景中都发挥了关键的作用。丰富而复杂的上下游系统让它能够支撑实时数仓、实时风控、实时机器学习等多样化的应用场景。

阿里云大数据AI技术·2024-02-06 16:49

从卡牌类游戏初探游戏服务器

这类型的游戏不需要进行实时连接和实时计算，例如：部分卡牌游戏、横版卷轴如跑酷、部分回合制游戏、天梯积分奖励等，它们注重客户端的玩家体验。而对于实时网络对战的

Snippers·2024-02-06 01:42

0113 spring定时任务和异步线程池

场景常规做法改进做法计算每天的统计数据，比如日新增，日活跃，日留存等实时计算，计算和获取结果在同一个线程里完成分两个部分：1.触发计算；2.异步完成计算；sp

李福春carter·2024-02-05 21:38

海量数据处理商用短链接生成器平台 - 2

1集短链平台实战-Maven聚合工程创建微服务项目**简介：Maven聚合工程创建微服务项目实战**Maven聚合工程拆分dcloud-common公共依赖包dcloud-appFlink+Kafka实时计算

从零开始学习人工智能·2024-02-04 15:52

基于Flink的实时数仓建设

目录：一.实时计算初期二.实时数仓建设三.Lambda架构的实时数仓四.Kappa架构的实时数仓五.流批结合的实时数仓一、实时计算初期虽然实时计算在最近几年才火起来，但是在早期也有部分公司有实时计算的需求

园陌·2024-02-04 12:48

大数据技术未来发展前景及趋势分析

流大数据分析Storm:ApacheStorm是一种开源的分布式实时计算系统。Storm加速了流数据处理的过程，为Hadoop批处理提供实时数据处理。

丨程序之道丨·2024-02-04 12:54

oracle计算年龄

前言在我们日常实际业务中，可能需要根据某人出生日期、身份证号码来实时计算年龄，网上也有多种计算方法，但其实原理或者技巧基本一样。

原来是大表哥·2024-02-02 04:22

线段树1板子区间加

目录线段树的结构关系：int作为下标的：longlong作为下标的：类的构造函数写在类最后了，本板子没有将左右下标封装到节点中，而是实时计算的。

DBWG·2024-01-31 21:22

flink sql运用入门

1：下载#步骤2：启动集群#步骤3：提交作业（Job）#步骤4：停止集群#三、SQL客户端#1、准备sql涉及的lib包2、编写sql脚本3、webui查看总结前言目前我司项目中有实时大屏的需求，涉及实时计算部分的选型

yc_zlj·2024-01-31 11:21

实时计算平台

Flink实时计算平台架构Flink+kafka+clickHouse+mysql+postgresql

xfchn多多学习学习·2024-01-31 07:24

从Elasticsearch来看分布式系统架构设计

从Elasticsearch来看分布式系统架构设计-知乎分布式系统类型多，涉及面非常广，不同类型的系统有不同的特点，批量计算和实时计算就差别非常大。

大叶子不小·2024-01-26 10:11

星环科技基于第五代英特尔®至强®可扩展处理器的分布式向量数据库解决方案重磅发布

该方案利用第五代英特尔®至强®可扩展处理器带来的强大算力，实现了约2倍的代际性能提升，可有效满足大模型时代海量、高维向量的存储和计算需求，能够帮助企业更好地应对大模型时代海量、多维向量数据的高并发和实时计算等挑战

星环科技·2024-01-26 07:00

流式湖仓增强，Hologres + Flink 构建企业级实时数仓

2023年12月，由阿里云主办的实时计算闭门会在北京举行，阿里云实时数仓Hologres研发负责人姜伟华现场分享Hologres+Flink构建的企业级实时数仓，实现全链路的数据实时计算、实时写入、实时更新

Apache Flink·2024-01-26 06:15

阿里云Flink sql 基本使用手册

参考文档参考实时计算Flink版-帮助中心-阿里云https://help.aliyun.com/product/45029.html1维度表CREATETEMPORARYTABLEdatahub_source

中本聪·2024-01-26 06:38

阿里云 Flink 原理分析与应用：深入探索 MongoDB Schema Inference

团队归源老师关于阿里云Flink原理分析与应用：深入探索MongoDBSchemaInference的研究，内容主要分为以下四部分：MongoDB简介社区MongoDBCDC核心特性MongoDBCDC在阿里云Flink实时计算产品的实践总结一

Apache Flink·2024-01-26 06:25

金融评分卡项目—9.违约预测模型的后续工作

文章目录一、评分卡分数计算1.分数的分级二、模型的验证与监控1.模型的验证2.模型的监控三、评分卡的其他细节1.实时计算2.非实时计算3.拒绝推断四、申请评分卡的使用1.授信额度2.利率定价金融评分卡项目

哎呦-_-不错·2024-01-26 01:32

某马头条——day11+day12

实时计算和定时计算流式计算kafkaStream入门案例导入依赖org.apache.kafkakafka-streamsconnect-jsonorg.apache.kafkaorg.apache.kafkakafka-clients

北岭山脚鼠鼠·2024-01-26 01:01

开源计算机视觉库OpenCV详解

一、OpenCV简介OpenCV，全称为开源计算机视觉库，是一个为实时计算机视觉开发的跨平台库。它包含了数百种优化过的算法，覆盖了图像处理、计算机视觉和机

Dxy1239310216·2024-01-25 19:34

I.Flink中的状态

前言:实时计算如果任务失败导致中间状态丢失，将是一个可怕的事情，比如实时计算每天的pv，uv等指标，任务掉线之后中间状态也丢失了，那只能从凌晨数据重新计算。

莫噶·2024-01-23 18:29

大数据Flink实时大屏统计

今天我们就做一个最简单的模拟电商统计大屏的小例子，需求如下：1.实时计算出当天零点截止到当前时间

赵广陆·2024-01-22 19:56

数据湖技术之Paimon

一、简介Flink社区希望能够将Flink的Streaming实时计算能力和Lakehouse新架构优势进一步结合，推出新一代StreamingLakehouse技术，促进数据在数据湖上真正实时流动起来

小枫@码·2024-01-22 17:48

推荐频道