实时计算

Flink on yarn 实时日志收集到 kafka 打造日志检索系统

点击上方"JasonLee实时计算",选择"设为星标"再也不用担心错过重要文章后台回复"监控",获取grafana监控Flink最新的模板背景在Flinkonyarn的模式下,程序运行的日志会分散的存储在不同的
JasonLee实时计算·2024-01-22 08:33

Dinky安装和部署

概述Dinky是一个开箱即用、易扩展，以ApacheFlink为基础，连接OLAP和数据湖等众多框架的一站式实时计算平台，致力于流批一体和湖仓一体的探索与实践。
Appreciate(欣赏)·2024-01-22 08:28

大数据小白初探HDFS从零到入门（一）

目录1.前言2.大数据的诞生3.发展趋势及应用4.离线计算和实时计算5.大数据的特性1.前言前两天把Hbase的初级入门知识整理了下，在文章中提到了“HDFS”这个大数据的基础，有同事小伙伴想要了解下这方面的知识
北京-景枫·2024-01-21 20:55

【全局光照GI系统剖析_直接和间接光照_案例分享(附带场景下载链接)_场景】

Unity的URP渲染管线全局光照GI系统剖析全局照明(GlobalIllumination)GlobalIllumination小总结与扩展：光照关系图表GI系统直接光和间接光关系表格实时计算烘焙预计算上图项目场景源码链接全局照明
暴走约伯·2024-01-21 03:14

Flink窗口与水位线不得不说的秘密

在我们的这个Flink框架中，自Flink1.12.0正式发布流批一体统一运行之后，我们的实时计算框架真正步入了Flink的时代，flink实现了流批一体，那么在我们的flink计算中怎么实现我们的批处理
梧桐生湘云·2024-01-20 19:56

动态路由协议（RIP协议）

动态路由协议---基于拓扑实时计算、收敛、生成路由表路由器间共享、协商、计算，来获取实时的未知网段路由条目一、动态路由协议的缺点：1、路由器间需要协商、沟通、计算----占用硬件资源2、选路规则为一种算法
보고.싶다·2024-01-20 05:07

小红书如何实现高效推荐？解密背后的大数据计算平台架构

推荐是小红书非常核心且重要的场景之一，本文主要分享在推荐业务场景中小红书的实时计算应用。实时计算在推荐业务中的场景线上推荐流程小红书线上推荐的流程主要可以分为三步。第一步，从小红书用户每
yoku酱·2024-01-19 09:27

基于 Hologres+Flink 的曹操出行实时数仓建设

本文整理自曹操出行实时计算负责人林震基于Hologres+Flink的曹操出行实时数仓建设的分享，内容主要分为以下六部分：曹操出行业务背景介绍曹操出行业务痛点分析Hologres+Flink构建企业级实时数仓曹操出行实时数仓实践曹操出行业务成果分析未来展望一
Apache Flink·2024-01-19 08:54

一站式大数据平台XSailboat简介--Hadoop、Hive、Flink、DataStudio、数据服务、API网关、认证中心、数据可视化、离线分析、实时计算、应用引擎等

1.引言从2021年年底开始，笔者带领一个微型团队开始开发我们的大数据平台XSailboat，目前已经初步具备实用化条件，产品将持续性地开发、完善、迭代升级。在接下来的一段时间，笔者将陆续编写一些关于大数据平台实现相关的技术文档，有兴趣的从事大数据相关的同学，可以关注收藏一下，交流一下开发技术。如果对我们的大数据平台XSailboat感兴趣的同学比较多，希望将其应用于学习或商业项目中，我们可以在条
OkGogooXSailboat·2024-01-19 06:26

Dinky为大数据框架Flink提供交互式平台，让你学习 FlinkSQL 更加轻松，并且掌握Flink技能！

它是一个基于ApacheFlink的一站式实时计算平台，致力于流批一体和湖仓一体的探索与实践。作为一个开箱即用、易扩展的平台，Dinky可以方便地连接OLAP、数据湖等众多框架。
知识分享小能手·2024-01-18 17:59

小红书推荐大数据在阿里云上的实践

本篇内容主要分三个部分，在第一部分讲一下实时计算在推荐业务中的使用场景。第二部分讲一下小红书是怎么使用Flink的一些新的功能。
aliyunhologres·2024-01-18 05:55

Flink的ListState在小规模场景下的缓存提速和接口优化丰富的实践

1.背景笔者的大数据平台XSailboat中包含以DAG方式可视化的离线分析和实时计算的开发、运维功能。
OkGogooXSailboat·2024-01-17 18:36

Aviator表达式扩展--数组、列表负向序号索引以及自己的JSON库支持方括号([])赋值

1.背景笔者开发的大数据大数据平台XSailboat中的DataStudio模块包含基于DAG图的实时计算可视化开发功能，实现了Flink计算任务的可视化开发（想要了解更多，可以查看《Flink的DAG
OkGogooXSailboat·2024-01-17 18:36

Flink的Reduce算子，Name-Position形式的Row数据在使用保存点/检查点重新启动的时候，变成了Position-Based形式的Row解决

1.背景大数据平台XSailboat提供了基于ApacheFlink的实时计算管道开发功能。DataStudio的实时计算管道开发功能中提供了分区规约节点(keyBy+reduce)。
OkGogooXSailboat·2024-01-17 18:05

【总结】Dinky学习笔记

概述Dinky是一个开箱即用、易扩展，以ApacheFlink为基础，连接OLAP和数据湖等众多框架的一站式实时计算平台，致力于流批一体和湖仓一体的探索与实践官网：Dinky核心特性沉浸式：提供专业的DataStudio
THE WHY·2024-01-17 04:11

Flink实例：状态管理State 过期时间TTL

1State过期时间TTL使用flink进行实时计算中，会遇到一些状态数不断累积，导致状态量越来越大的情形。
大数据供成屎·2024-01-17 01:44

结构化流(Structured Streaming)

我们称之为无界数据对于无界数据，我们一般采用流式处理方案（实时计算）特点：1-数据没有明确的结束，也就是数据大小不固定2-数据是源源不
小希 fighting·2024-01-16 07:25

FPGA_ZYNQ （PS端）开发流程（Xilinx软件工具介绍）

【前言】1.1XilinxZynqSoC系列针对不同的应用领域，Xilinx公司设计开发了各种逻辑资源规模和集成各种外设功能的ZynqSOC器件，包括专为成本优化的Zynq-7000平台，面向高性能实时计算应用领域的
伊宇韵·2024-01-14 15:59

PiflowX如何快速开发flink程序

如何快速开发flink程序参考资料Flink最锋利的武器：FlinkSQL入门和实战|附完整实现代码-腾讯云开发者社区-腾讯云(tencent.com)FlinkSQL背景FlinkSQL是Flink实时计算为简化计算模型
暗影八度·2024-01-14 14:58

计算机毕业设计吊炸天spark+hive+nlp慕课在线教育课程数据分析可视化大屏 知识图谱课程推荐系统 课程爬虫 文本分类 LSTM情感分析 大数据毕业设计

将.csv上传到hdfs中，并使用hive建表后导入.csv数据；9个指标，一半使用spark/scala去做实时计算分析。一半使用hive_sql进行分层离线处
计算机毕业设计大神·2024-01-14 09:48

美团点评实时数仓平台演进与实践

主要内容为以下三个方面：实时计算演进与业务实践基于Flink的实时数仓平台未来发展与思考一、美团点评实时计算演进美团点评实时计算演进历程在2016年，美团点评就
笔名辉哥·2024-01-14 02:50

Spark Streaming

人们对于大数据的实时性处理要求也在不断提高，传统的MapReduce等批处理框架在某些特定领域，例如实时用户推荐、用户行为分析这些应用场景上逐渐不能满足人们对实时性的需求，因此诞生了一批如S3、Samza、Storm、Flink等流式分析、实时计算框架
奋斗的蛐蛐·2024-01-13 06:13

数据治理实践：元数据管理架构的演变

我们开始意识到，虽然我们构建了高度可扩展的数据存储，实时计算等等能力，但是我们的团队仍然在浪费时间寻找合适的数据集来进行分析。也就是我们缺乏对数据资产的管理。
大数据流动·2024-01-11 21:11

数据治理实践：元数据管理架构的演变（从1.0-4.0)

我们开始意识到，虽然我们构建了高度可扩展的数据存储，实时计算等等能力，但是我们的团队仍然在浪费时间寻找合适的数据集来进行分析。也就是我们缺乏对数据资产的管理。
智慧化智能化数字化方案·2024-01-11 21:39

雷达水位监测系统是监测什么的？

其内置软件当中有特质的算法，实时计算输出断面流量及累计流量，可用于防汛、污染勘察、环境保护勘察、
thhj123·2024-01-11 20:21

阿里云实时计算企业级状态存储引擎 Gemini 技术解读

本文整理自阿里云Flink存储引擎团队李晋忠，兰兆千，梅源关于阿里云实时计算企业级状态存储引擎Gemini的研究，内容主要分为以下五部分：流计算状态访问的痛点企业级状态存储引擎GeminiGemini性能评测
Apache Flink·2024-01-11 13:36

基于Hologres+Flink的曹操出行实时数仓建设作者：林震｜曹操出行实时计算负责人

作者：林震｜曹操出行实时计算负责人曹操出行业务背景介绍曹操出行创立于2015年5月21日，是吉利控股集团布局“新能源汽车共享生态”的战略性投资业务，以“科技重塑绿色共享出行”为使命，将全球领先的互联网、
阿里云大数据AI技术·2024-01-11 09:40

刚性配准与非刚性配准

前言“配准”这个词其实应用的场景很多，例如在AR设备上进行定位需要用到的图像配准，需要提前存储图像的特征信息，然后用AR设备的摄像头实时计算图像特征并进行匹配，配准成功后进行跟踪。
瓴龍·2024-01-11 04:37

骑砍战团MOD开发(34)-光照系统

一.Direct3D光照类型Direct3D将光源分为3种类型,点光源,方向光源,聚光灯源.Direct3D内部会根据光源类型进行2D渲染管线实时计算.Direct3D将光照参数封装在D3DLight9
霸王•吕布·2024-01-09 20:22

阿里云大数据ACA及ACP复习题（81~100)

（B）A:大数据计算服务MaxComputeB:QuickBI数据可视化分析平台C:实时计算Flink版D:云原生数据仓库（分析型数据库）AnalyticDB**解析**：阿里云实时计算Flink版（AlibabaCloudRealtimeComputeforApacheFlink
周周的奇妙编程·2024-01-09 08:20

流式湖仓增强，Hologres + Flink 构建企业级实时数仓

实时计算在企业大数据平台的比重也在不断提高，部分行业已经达到了50%。Hologres+Flink通过众多的丰富企业级能力，替换开源复杂的各类技术组件，减少多种技术栈学习、多种集群运维、
Elivis Hu·2024-01-08 22:52

服务器内存不足怎么办？会有什么影响？

它是服务器上的超高速存储介质，可以快速读取和写入数据，提供给CPU进行实时计算和操作。服务器内存通常安装在主板上的DIMM（双列直插式内存模块）模块中，也称为RAM棒。
德迅云安全-甲锵·2024-01-08 05:51

Chunjun纯钧(Flinkx)同步任务开发通用配置参数详解

Chunjun纯钧(Flinkx)是一款稳定、易用、高效、批流一体的数据集成框架，目前基于实时计算引擎Flink实现多种异构数据源之间的数据同步与计算，支持JSON模版配置任务，兼容FlinkSQL语法
张飞的猪大数据·2024-01-07 12:13

Spark大数据分析与实战笔记（第二章 Spark基础-05）

前言在大数据处理和分析领域，Spark被广泛应用于解决海量数据处理和实时计算的挑战。作为一个快速、可扩展且易于使用的分布式计算框架，Spark为开发人员提供了丰富的API和工具来处理和分析大规
想你依然心痛·2024-01-07 06:33

实时数仓模型

为了计算一些实时指标，就在原来离线数仓的基础上增加了一个实时计算的链路，并对数据源做流式改造（即把数据发送到消息队列），实时计算去订阅消息队列，直接完成指标增量的计算，推送到下游的数据服务中去，由数据服务层完成离线
jero_lei·2024-01-06 23:48

impala + kudu | 大数据实时计算踩坑优化指南

一开始需要全量导入kudu，这时候我们先用sqoop把关系数据库数据导入临时表，再用impala从临时表导入kudu目标表由于sqoop从关系型数据直接以parquet格式导入hive会有问题，这里默认hive的表都是text格式；每次导完到临时表，需要做invalidatemetadata表操作，不然后面直接导入kudu的时候会查不到数据.除了查询，建议所有impala操作都在impala-sh
王知无(import_bigdata)·2024-01-04 23:41

流式湖仓增强，Hologres + Flink构建企业级实时数仓

2023年12月，由阿里云主办的实时计算闭门会在北京举行，阿里云实时数仓Hologres研发负责人姜伟华现场分享Hologres+Flink构建的企业级实时数仓，实现全链路的数据实时计算、实时写入、实时更新
阿里云大数据AI技术·2024-01-04 16:07

实时计算大作业kafka+zookeeper+storm+dataV

第一章总体需求1.1.课题背景近年来，大数据称为热门词汇，大数据分析随着互联网技术的发展愈加深入电商营销之中，越来越多的电商企业利用大数据分析技术，利用信息化对产业发展营销方向进行确定，对电子商务行业大数据的特性和背后价值进行深入挖掘，打破传统营销的空间、人群等限制，在电商场景、渠道客户等各个方面洞察用户的精准营销，从而实现个性化营销与服务等，为企业发展注入新的活力。而在大数据分析与电商营销的融合
别被算法PUA·2024-01-04 14:23

docker搭建Dinky —— 筑梦之路

简介Dinky是一个开箱即用、易扩展，以ApacheFlink为基础，连接OLAP和数据湖等众多框架的一站式实时计算平台，致力于流批一体和湖仓一体的探索与实践。
筑梦之路·2024-01-04 03:40

Flink应用介绍

前言：Flink自2014年开源以来，网上对Flink的介绍不可胜数；作为一个灵活的实时计算框架，Flink到底能用来做什么？
i7杨·2024-01-04 03:37

计算机毕业设计吊打导师hadoop+spark+hive知识图谱医生推荐系统 医生数据分析可视化大屏 医生爬虫 医疗可视化 医生大数据 机器学习 大数据毕业设计

中的医生数据进行数据分析，使用高德地图解析地理位置，并将结果转入.csv文件同时上传到hdfs文件系统；3.使用hive建库建表，导入.csv数据集；4.一半指标使用离线数仓hive_sql分析，一半指标使用实时数仓实时计算
计算机毕业设计大神·2024-01-03 07:53

引领大数据进入新时代，腾讯发布第四代数智融合计算平台“天工”

作为国内算力最强、实时计算量最大的腾讯公司，当仁不让。
爱踢边鼓·2024-01-02 12:10

Flink的优势

总之，实时计算的业务需求，一般都会用Flink进行开发。
有味青年·2024-01-01 13:01

[Flink] Flink的waterMark的通俗理解

导读Flink为实时计算提供了三种时间，即事件时间（eventtime）、摄入时间（ingestiontime）和处理时间（processingtime）。
延眠万里·2024-01-01 05:37

Spark Streaming

目录一、流计算概述（一）静态数据和流数据（二）批量计算和实时计算（三）流计算概念（四）流计算框架（五）流计算处理流程二、SparkStreaming（一）SparkStreaming设计（二）SparkStreaming
Francek Chen·2023-12-30 06:54

TSINGSEE青犀智能分析网关V4人体行为检测算法在视频监控中的应用

在智能视频监控行业中，人体行为检测算法可以应用于许多方面，以下是一些主要的应用：1、人员计数与密度分析通过人流量检测算法，可以实时计算人员数量并进行密度分析。这对于公共场所的
TSINGSEE·2023-12-29 01:25

DolphinDB 即时编译（JIT）详解

DolphinDB是基于高性能时序数据库，支持复杂分析与流式处理的实时计算平台，内置了丰富的计算功能和强大多范式编程语言。
DolphinDB智臾科技·2023-12-28 15:39

Flink 在有赞实时计算的实践

第四部分是将实时计算SQL化，界面化的一些实践。最后的话就
有赞技术团队·2023-12-28 15:11

集度汽车 Flink on native k8s 的应用与实践

本篇内容主要分为四个部分：1.集度实时计算发展2.FlinkSQL实时入仓实践3.Flink计算平台建设4.未来规划Tips：点击「阅读原文」查看原文视频&演讲ppt01集度实时计算发展2021年3月集度汽车成立
Apache Flink·2023-12-28 15:05

UBX M8T-10 DSP开发和NMEA解析

l无约束惯性导航(UDR)解决方案持续测量与监测车辆加速度及其方向变化，再通过传感器融合技术将测量数据与GNSS数据进行整合，实时计算并优化分析出更精准的位置结果。
汪汪星河·2023-12-28 10:30
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他