流式计算Heron

使用 Prometheus 监控 eKuiper 规则运行状态

eKuiper的规则是一个持续运行的流式计算任务。规则用于处理无界的数据流，正常情况下，规则启动后会一直运行，不断产生运行状态数据。直到规则被手动停止或出现不可恢复的错误后停止。
·2022-09-20 20:23

大数据之Flink计算框架

OLTP实时计算(流式计算)OLAP离线计算(批量计算)Flink运行环境：StandAlone自己单独运行Hadoop-Yarn
飘然生·2022-09-16 13:08

深度解读！新一代大数据引擎Flink厉害在哪？（附实现原理细节）

本文系统地介绍了流式计算的相关知识，并着重介绍了Flink的实现原理细节，便于大家快速地理解和掌握流式计算，并基于Flink完成业务开发。一、流式计算和批处理批处理在大数据世界有着
架构师小秘圈·2022-09-08 10:56

Flink面试题大全(建议收藏)

Flink因为其天然的流式计算特性以及强大的处理性能成为炙手可热的大数据处理框架。
无精疯·2022-09-08 10:23

kafka超全学习总结

Kafka快速入门选择Kafka原因:Kafka吞吐量比较高,在我们的系统中,文章是核心数据,每天会发布很多文章数据,产生很多用户行为因为我们的系统中会有一个实时行为计算的逻辑,会使用KAFKA提供的实时流式计算功能因为我们团队中之前有小伙伴用过
Code攻城狮·2022-08-26 21:06

湖仓一体技术解读｜流式计算实现秒级数据入湖

数据入湖的时效性直接影响整体数据应用效果，基于湖仓一体架构的巨杉数据库通过对接业界主流的Flink,Spark和Storm等主流的流式框架，实现实时生产数据的高速入湖，原汁原味的将数据保留在巨杉数据库中。SequoiaDB是巨杉数据库通过10年的不断迭代，从多模数据湖架构演进出来的“湖仓一体”架构产品。SequoiaDB的“湖仓一体”结合了数据湖与数据仓库，是一个融合的基础设施环境，支持从原始数据
巨杉数据库SequoiaDB·2022-08-25 14:17

Spark Streaming 快速入门系列（一）一文带你了解Spark Streaming

文章目录SparkStreaming介绍SparkStreaming入门SparkStreaming原理SparkStreaming操作SparkStreaming介绍导读1，流式计算的场景2，流式计算框架
Alienware^·2022-08-24 15:49

Spark Streaming(一)

SparkStreaming(一)导读介绍入门原理操作TableofContents1.SparkStreaming介绍2.SparkStreaming入门2.原理3.操作1.SparkStreaming介绍导读流式计算的场景流式计算框架
威风少侠·2022-08-24 14:57

Spark Streaming中流式计算的困境与解决之道

Sparkstreaming在各种流程处理框架生态中占着举足轻重的位置，但是不可避免地也会面对网络波动带来的数据延迟的问题，所以必须要进行增量数据的累加。在更新Spark应用的时候或者其他不可避免的异常宕机的时候，增量累加会带来重复消费的问题，在一些需要严格保证exactonce的场景下，这个时候我们就需要进行离线修复，从而保证exactonce语义，本文将针对这个问题，提供一些常见的解决方案和处
数大招疯·2022-08-21 09:27

Flink编译与安装

一直对流式计算心驰神往,flink似乎是一个神器,可惜那些文档写得太玄乎,一些概念性的东西,有一种似懂非懂的感觉所以决定实际操作一下对于flink的状态,窗口,source,task的之类的概念,一直似懂非懂
猪猪_123123123123·2022-08-21 08:52

使用流式计算引擎 eKuiper 处理 Protocol Buffers 数据

ProtocolBuffers(Protobuf)是一种语言中立、平台中立的可扩展机制，用于序列化结构化数据的二进制传输格式。相比常规数据传输格式（如JSON或XML），Protobuf更加高效和快速并节省传输带宽，因此得到了广泛的应用。在云边协同架构中，往往既需要发送数据到云端，同时也需要接收云端发送过来的数据，进行云边协同计算。大规模的云边协同计算传输的数据总量巨大，在公网带宽资源有限而且昂贵
·2022-08-18 16:53

重磅升级！TDengine3.0 正式发布

我们先来整体看一下3.0的几大亮点：可以支持10亿个设备采集的数据、100个节点支持存储与计算分离，引入计算节点，并重构了整个计算引擎完善并优化了对消息队列、流式计算和缓存
·2022-08-17 16:10

flink实战--flinkSQL数据写入hudi

ApacheHudi是目前最流行的数据湖解决方案之一，DataLakeAnalytics集成了Hudi服务高效的数据MERGE（UPDATE/DELETE）场景，ApacheFlink作为目前最流行的流计算框架，在流式计算场景有天然的优势
阿华田512·2022-07-29 10:25

ClickHouse 之 SummingMergeTree/AggregatingMergeTree 实现准实时看板（qbit）

有点flink流式计算的味道。初始化测试数据生成创建库CREATEDAT
·2022-06-20 21:45

阿里言：出乎意料，“字节跳动”居然是这么做数据迁移的

的特点能够熟悉数据迁移中的数据包装和转换能够完成文章数据的全量和增量迁移能够完成热点文章数据的迁移1为什么需要自动同步因为MySQL保存着我们爬取的以及自建的数据，对于爬取的数据，数据量比较大，使用mysql存储会影响mysql的性能，并且我们需要对数据进行流式计算
m0_55849656·2022-06-16 12:49

【技术干货】代码示例：使用 Apache Flink 连接 TDengine

除了核心的时序数据库功能外，TDengine还提供缓存、数据订阅、流式计算等大数据平台所需要的系列功能。
·2022-05-27 20:12

Flink 1.15 新功能架构解析：高效稳定的通用增量 Checkpoint

Flink，作为流式计算的标杆，其端到端延迟包括容错的快慢主要取决于检查点机制（Checkpointing），所以如何将Checkpoint做得高效稳定是Flink流计算的首要任务。
·2022-05-27 10:52

Apache APISIX 在雪球双活架构演进中的生产与实践

其中实时行情服务对接了多种上游数据源，通过数据流式计算、存储、分发，为投资者提供稳定的数据服务。实时行情一直是雪球业务系统中的资源消耗大户，持续在高水位运行。雪球内部一项重要的工作就是持续进行稳
雪球工程师团队·2022-05-24 14:00

狂神说 JUC并发编程

进程和线程并发和并行线程状态wait和sleepSynchronized与LockCopyOnWriteArrayListCallable常用辅助类ReadWriteLockBlockingQueue线程池四大函数式接口流式计算
RainHey·2022-05-22 07:27

数据应用流水线-数据应用

数据计算：支持数据的分布式批量加工计算以及流式计算，支撑流批一体化计算。数据服务：支持对数据加工后的数据提供client、RestAPI、jdbc等多种数据服务方式。数据消
long-king·2022-05-22 07:48

减少计算、简化架构——TDengine在灌区信息化平台中的应用

小T导读：禹为科技在现代灌区信息化平台的建设过程中，经历了数据库&定时任务的架构、以流式计算为核心的架构和以TDengineDatabase为核心的架构三个阶段，最终选用TDengine帮助其对水位、流量
涛思数据（TDengine）·2022-05-11 13:46

Apache Flink 在蔚来汽车的应用

实时计算在蔚来的发展历程实时计算平台实时看板CDP实时数仓其他应用场景点击查看直播回放&演讲PDF一、实时计算在蔚来的发展历程18年5月份左右，我们开始接触实时计算的概念，最初是用SparkStreaming做一些简单的流式计算数据的处理
·2022-04-22 14:05

TDengine学习笔记-安装

相关目录与文件写在最后TDengine简介官方描述TDengine是涛思数据面对高速增长的物联网大数据市场和技术挑战推出的创新性的大数据处理产品，它不依赖任何第三方软件，也不是优化或包装了一个开源的数据库或流式计算产品
DBA大董·2022-04-14 21:23

Flink原理解析

1.Flink是什么Flink是新一代分布式流式计算引擎，用于对海量数据进行实时处理和计算，具备快速容错（支持每条消息恰好处理一次）、流批一体、低延时、支持数据乱序的特点。
冯子玉·2022-04-08 04:22

日志中台不重不丢实现浅谈

数据产生到最终业务应用中各个环节的稳定性建设，包括：数据上报时效性优化、接入持久化的思考、数据流式计算过程中的不重不丢建设等。全文4047字，预计阅读时间12分钟
·2022-04-07 16:53

10.Flink实时项目之订单维度表关联

外部数据源的查询常常是流式计算的性能瓶颈，所以我们在查询hbase维度数据的基础上做一些优化及封装。phoenix查询封装phoenix作为hbase的一个上层sql封装，或者叫
选手一号位·2022-03-31 23:00

减少计算、简化架构——TDengine在灌区信息化平台中的应用

小T导读：禹为科技在现代灌区信息化平台的建设过程中，经历了数据库&定时任务的架构、以流式计算为核心的架构和以TDengine为核心的架构三个阶段，最终选用TDengine帮助其对水位、流量、水量等实时指标数据分析
·2022-03-30 13:13

Java如何使用实时流式计算处理？

最近如果拉过austin项目代码的同学，可能就会发现多了一个austin-stream模块。其实并不会意外，因为这一切都在计划当中进行。这个模块主要是接入流式处理平台（flink），用于实时计算清洗数据给到业务以及系统维护者更方便去使用消息推送平台austin。这篇文章主要来聊聊接入的背景以及我浅薄的经验吧01、为什么流式处理平台我在老东家有过处理数据相关的经验，也看到过站内广告「效果数据」的发展
归于人海中的宇·2022-03-30 08:23

Java如何使用实时流式计算处理？

我是3y，一年CRUD经验用十年的markdown程序员‍常年被誉为职业八股文选手最近如果拉过austin项目代码的同学，可能就会发现多了一个austin-stream模块。其实并不会意外，因为这一切都在计划当中进行。这个模块主要是接入流式处理平台（flink），用于实时计算清洗数据给到业务以及系统维护者更方便去使用消息推送平台austin。这篇文章主要来聊聊接入的背景以及我浅薄的经验吧01、为什
Java3y·2022-03-29 08:00

【学习笔记】大数据技术之Hadoop（MapReduces）

1.1MapReduce定义1.2MapReduce优缺点1.2.1优点1）MapReduce易于编程2）良好的扩展性3）高容错性4）适合PB级以上海量数据的离线处理1.2.2缺点1）不擅长实时计算2）不擅长流式计算
prague6695·2022-03-25 07:13

图数据库的易用性—GES与Flink的对接

数字化时代，业务的实时处理需求越来越迫切，实时预警、实时风控、实时推荐等，Flink作为新一代流批统一的计算引擎，具有独特的天然流式计算特性和更为先进的架构设计的特点，它可以从不同的第三方存储引擎中读取数据
·2022-03-24 10:33

快速了解Stream流

快速了解Stream流一.函数式接口1.函数型接口Function2.断定性接口Predicate3.消费型接口Consumer4.供给型接口Supplier二.Stream流式计算1.生成串行流2.stream
Jumanji_·2022-03-18 04:59

Java中parallelStream的使用

众所周知，stream流式计算是Java8中新添的一种新特性，可以把stream流理解为串行的流式计算，而pa
@听风者·2022-03-14 11:06

Kafka原理1

文章目录KafkaKafka使用场景消息传递MessagingwebsiteActivitytracking网站活动跟踪LogAggregation日志聚合应用指标监控数据集成+流式计算Kafka的安装
右耳听风·2022-03-07 14:38

六十三、Spark-读取数据并写入数据库

支持的数据源-JDBC需求说明：使用Spark流式计算将数据写入MySQL，并读取数据库信息进行打印文章目录支持的数据源-JDBC项目主体架构pom.xml依赖创建数据库业务逻辑完整代码程序运行项目总结项目主体架构
托马斯-酷涛·2022-03-06 07:44

Realtime Data Processing at Facebook

概要这篇论文发表于2016年，主要是介绍Facebook内部的流式计算平台的设计与思考，对于流式计算的关键特性的实现选型上进行深度对比分析。流式计算系统5个衡量指标文中提到有5个重要的考量部分易用性。
Aitozi·2022-02-21 00:00

Flink 面试通关手册

Flink因为其天然的流式计算特性以及强大的处理性能成为炙手可热的大数据处理框架。
王知无·2022-02-18 16:59

浅谈-实时计算框架

我们首先来简单看一下计算任务的大致流程：首先先说下批量计算和流式计算：图中显示了一个计算的基本流程，receiver处负责从数据源接收数据，并发送给下游的task，数据由task处理后由sink端输出。
差不多先生_简书·2022-02-13 04:00

第一章 Streaming101

尽管这股流式计算的浪潮是由
哲学家之死·2022-02-07 12:41

实时作业转离线作业的几种场景及方案

作者：闻乃松将Flink流式计算引擎作为实时计算作业的标配带来的重大挑战之一是资源占用问题，因为大量的Flink作业一旦启动，将一直占用分配的CPU和内存资源，而不会自动释放（除非是批处理模式），并且不会随着处理负载自动伸缩
·2022-01-15 11:06

Storm核心组件、编程模型

Storm简介storm是用来做实时计算的框架，所以介绍storm之前需要知道什么是流式计算。
__豆约翰__·2021-12-03 13:33

招聘：MLops Lead

招聘：MLopsLead公司：量化私募基金，业绩良好地点：北京推荐奖：5000关键词：MLops，岗位职责：管理量化算法工程团队，负责：1.搭建量化计算平台：支持深度学习模型的低延时（微秒级）流式计算2
·2021-12-02 12:53

基于EMR OLAP的开源实时数仓解决方案之ClickHouse事务实现

简介：Flink和ClickHouse分别是实时流式计算和OLAP领域的翘楚，很多互联网、广告、游戏等客户都将两者联合使用于构建用户画像、实时BI报表、应用监控指标查询、监控等业务，形成了实时数仓解决方案
·2021-12-01 14:11

taosAdapter正式发布：支持从OpenTSDB向TDengine无缝迁移

除核心的快10倍以上的时序数据库功能外，还提供缓存、数据订阅、流式计算等功能，最大程度减少研发和运维的复杂度，且核心代码包括集群功能全部开源。自TDengine于2019年7月宣布
·2021-11-30 14:40

量化招聘：算法工程Leader

百万量化招聘：算法工程Leader公司：成立多年量化对冲基金公司，文化好推荐奖：1万地点：北京关键词：机器学习算法，搜广推工程搭建薪资：200-300万+奖金岗位职责：搭建量化计算平台，支持低延时流式计算搭建量化的数据分析平台
·2021-11-18 18:22

Flink简介和开发总结

核心是一个分布式、高性能、高可用、实时性的流式计算框架Flink起源于Stratosphere项目,2014年4月Stratosphere的代码被复制并捐赠给了Apache软件基金会,2014年12月，
李潘杜若·2021-11-12 17:30

flink 状态编程和容错机制

流式计算分为无状态和有状态两种情况。无状态的计算观察每个独立事件，并根据最后一个事件输出结果。例如，流处理应用程序从传感器接收温度读数，并在温度超过90度时发出警告。
song_quan_·2021-11-09 10:30

阿里云ACA认证考试攻略

计算引擎（三类）：离线计算、流式计算、在线计算。MaxCompute：由阿里云自主研发，提供针对TB/PB级数据、实时性要求不高的分布式处理能力，应用于数据分析、挖掘、商业智能等领域。
·2021-11-02 17:57

Java8中Stream的一些神操作

Java8对集合提供了一种流式计算的方式，这种风格将要处理的元素集合看作一种流，流在管道中传输，并且可以在管道的节点上进行处理，比如筛选，排序，聚合等。
·2021-11-02 14:21

Kafka Streams流式原理解析

前言本篇文章会从Kafka的核心流式计算原理进行分析，KafkaStreamsLow-levelprocessorAPI和核心概念，以及常见的应用场景分析流式计算通过业务场景去分析流式计算的业务场景：双十一时实时滚动的订单量
踩踩踩从踩·2021-10-31 12:43
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他