流式计算Heron

流式处理框架storm浅析（上篇）

本文来自网易云社区作者：汪建伟前言前一段时间参与哨兵流式监控功能设计，调研了两个可以做流式计算的框架：storm和sparkstreaming，我负责storm的调研工作。
网易数帆·2021-03-10 14:43

如何理解Flink中Window？

Window概述Streaming流式计算是一种被设计用于处理无限数据集的数据处理引擎，而无限数据集是指一种不断增长的本质上无限的数据集，而window是一种切割无限数据为有限块进行处理的手段。
Perkinl·2021-03-03 13:27

分布式实时计算—从霍普金大学数据错误谈谈如何保证实时计算数据准确性

原文作者：实时流式计算原文地址：从霍普金大学数据错误谈谈如何保证实时计算数据准确性目录一、Kafka1、Produce端消息传递1、Consumer端消息传递3、精确一次二、Flink作为全球新冠疫情数据的实时统计的权威
测试狗一枚·2021-02-18 22:17

【问题排查】Flink使用lambda表达式异常

07/12/2017-07-12_Flink%E4%BD%BF%E7%94%A8lambda%E8%A1%A8%E8%BE%BE%E5%BC%8F/Java8出来之后，lambda表达式由于简单易读，在流式计算中的使用开始变得普遍
liuhensiyuhua·2021-02-10 15:37

一文详解Flink Exactly-Once

其实做到端到端的精确一次处理主要考虑两个方面：怎么保证数据不丢失怎么保证数据不重复背景通常情况下，流式计算系统都会为用户提供数据处理的可靠模式功能，用来表明在实际生产运行中会对数据处理做哪些保障
·2021-02-05 16:38

Flink/Blink 原理漫谈（六）容错机制（fault tolerance）详解

原理漫谈（二）流表对偶性和distinct详解Flink/Blink原理漫谈（三）state有状态计算机制详解Flink/Blink原理漫谈（四）window机制详解Flink/Blink原理漫谈（五）流式计算的持续查询实现详解
Foools·2021-02-02 10:55

Flink/Blink 原理漫谈（五）流式计算的持续查询实现 详解

原理漫谈（二）流表对偶性和distinct详解Flink/Blink原理漫谈（三）state有状态计算机制详解Flink/Blink原理漫谈（四）window机制详解Flink/Blink原理漫谈（五）流式计算的持续查询实现详解
Foools·2021-02-02 10:50

Flink/Blink 原理漫谈（四）window机制详解

原理漫谈（二）流表对偶性和distinct详解Flink/Blink原理漫谈（三）state有状态计算机制详解Flink/Blink原理漫谈（四）window机制详解Flink/Blink原理漫谈（五）流式计算的持续查询实现详解
Foools·2021-02-02 10:29

Flink/Blink 原理漫谈（三）state 有状态计算机制 详解

原理漫谈（二）流表对偶性和distinct详解Flink/Blink原理漫谈（三）state有状态计算机制详解Flink/Blink原理漫谈（四）window机制详解Flink/Blink原理漫谈（五）流式计算的持续查询实现详解
Foools·2021-02-02 10:44

Flink/Blink 原理漫谈（二）流表对偶性和distinct详解

原理漫谈（二）流表对偶性和distinct详解Flink/Blink原理漫谈（三）state有状态计算机制详解Flink/Blink原理漫谈（四）window机制详解Flink/Blink原理漫谈（五）流式计算的持续查询实现详解
Foools·2021-02-02 10:43

Flink/Blink 原理漫谈（一）时间，watermark详解

原理漫谈（二）流表对偶性和distinct详解Flink/Blink原理漫谈（三）state有状态计算机制详解Flink/Blink原理漫谈（四）window机制详解Flink/Blink原理漫谈（五）流式计算的持续查询实现详解
Foools·2021-02-02 10:30

Flink/Blink 原理漫谈（零）运行时的组件

原理漫谈（二）流表对偶性和distinct详解Flink/Blink原理漫谈（三）state有状态计算机制详解Flink/Blink原理漫谈（四）window机制详解Flink/Blink原理漫谈（五）流式计算的持续查询实现详解
Foools·2021-02-02 10:43

Spring Boot 集成 Kafka Stream

本章介绍SpringBoot集成KafkaStreams进行流式计算。SpringBoot集成Kafka的基本配置和用法在“SpringBoot集成Kafka”有介绍，这里不再详述。
攻城狮·正·2021-01-30 00:27

Kafka Stream 简介及基本运用(含案例)

目录1、KafkaStream背景1.1KafkaStream是什么1.2什么是流式计算1.3为什么要有KafkaStream2、KafkaStream如何解决流式系统中关键问题2.1KTable和KSteam2.2
萧渊之·2021-01-20 12:06

Leave a dent in the world：陶建辉，52岁程序员与TDengine一起成长的四年

TDengine将数据库、缓存、消息队列、流式计算等功能完全融合在一起。由于针对物联网大数据特点做了各种优化，TDengine的数据插入、查询的性能比通用的大数据平台好
涛思数据·2021-01-19 14:25

Flink常用的DataSet 和 DataStream API

1、现状Flink并没有安全支持所谓的“流批一体”，即编写一套代码，可以同时支持流式计算和批量计算的场景。目前版本1.10依然采用DataSet和DataStream两套API来适配不同的应用场景。
王知无-大数据技术与架构·2021-01-17 19:43

Kuiper 1.1.0 正式发布 - 超轻量 IoT 边缘流处理

Kuiper设计的一个主要目标就是将在云端运行的实时流式计算框架（比如ApacheSpark，ApacheStorm和ApacheFlink等）迁移到边缘端。Kuiper参考了上
EMQX·2021-01-14 14:07

Flink Window API

Window概述Streaming流式计算是一种被设计用于处理无限数据集的数据处理引擎，而无限数据集是指一种不断增长的本质上无限的数据集，而window是一种切割无限数据为有限块进行处理的手段。
寒 暄·2021-01-08 17:45

2021年要做的大事，25个大数据必知领域全面开启更新

目前入选的框架和技术方向包括不限于：「Iceberg」、「Flink」、「Heron」、「Druid」、「Kylin」、「Kudu」、「Redis最新」、「Elasticsearch」、「Hive」、「
王知无-大数据技术与架构·2021-01-04 00:00

Kafka Stream 简介及基本运用(含案例)

目录1、KafkaStream背景1.1KafkaStream是什么1.2什么是流式计算1.3为什么要有KafkaStream2、KafkaStream如何解决流式系统中关键问题2.1KTable和KSteam2.2
萧渊之·2020-12-31 21:27

Flink for java之四：Time and Window

一、TimeFlink主要是做流式计算，数据是通过滚动（rolling）过来的，就像溪流一样，源源不断地进来。
吾系司机·2020-12-31 17:30

Spark项目落地实战以及日常大数据开发注意事项

Spark简介基于内存的分布式集群计算平台可适配Python、Java、Scala、SQL拓展功能：机器学习、流式计算、图计算Spark特点高效内存计算引擎DAG图比MapReduce快10～100倍易用提供丰富的
Eric·2020-12-28 12:58

Spark项目落地实战以及日常大数据开发注意事项

Spark简介基于内存的分布式集群计算平台可适配Python、Java、Scala、SQL拓展功能：机器学习、流式计算、图计算Spark特点高效内存计算引擎DAG图比MapReduce快10～100倍易用提供丰富的
Eric·2020-12-28 11:33

Kuiper 1.0.2 正式发布 - 超轻量 IoT 边缘流处理

Kuiper设计的一个主要目标就是将在云端运行的实时流式计算框架（比如ApacheSpark，ApacheStorm和ApacheFlink等）迁移到边缘端。Kuiper参考
EMQX·2020-12-24 10:09

快手基于 Apache Flink 的优化实践

首先介绍流式计算的基本概念，然后介绍Flink的关键技术，最后讲讲Flink在快手生产实践中的一些应用，包括实时指标计算和快速failover。
ApacheFlink·2020-12-21 11:01

快手基于 Apache Flink 的优化实践

首先介绍流式计算的基本概念，然后介绍Flink的关键技术，最后讲讲Flink在快手生产实践中的一些应用，包括实时指标计算和快速failover。
ApacheFlink·2020-12-21 10:50

HashData与HDFS的高效数据交换

同时，HDFS之上衍生了很多针对不同技术要求的分布式计算框架，使其适用于非结构化数据的清洗规整、流式计算和机器学习等场景。
HashData·2020-12-10 14:52

大数据的普及讲解

对象存储系统...32)分布式关系型数据库...33)分析型数据库...44)搜索引擎...45)图数据库...46)列存储数据库...47)文档数据库...48)键值存储数据库...42.数据计算...51)流式计算
华叶6018·2020-12-03 10:13

Java程序员说：世界上有三个伟大的发明【火、轮子、kafka】

在流式计算中，Kafka一般用来缓存数据，例如Flink通过消费Kafka的数据进行计算。关于Kafka，我们最先需要了解的是以下四点：ApacheKafka是一个开源「消息」系统，由Scala写成
Mr.Z·2020-11-24 21:37

快手基于 Apache Flink 的优化实践

首先介绍流式计算的基本概念，然后介绍Flink的关键技术，最后讲讲Flink在快手生产实践中的一些应用，包括实时指标计算和快速failover。
阿里云云栖号·2020-11-24 15:00

Java程序员说：世界上有三个伟大的发明【火、轮子、kafka】

在流式计算中，Kafka一般用来缓存数据，例如Flink通过消费Kafka的数据进行计算。关于Kafka，我们最先需要了解的是以下四点：ApacheKafka是一个开源「消息」系统，由Scala写成
Mr.Z·2020-11-23 22:32

将CSV的数据发送到kafka(java版)

github.com/zq2599/blog_demos内容：所有原创文章分类汇总及配套源码，涉及Java、Docker、Kubernetes、DevOPS等；为什么将CSV的数据发到kafkaflink做流式计算时
程序员欣宸·2020-11-20 10:07

Kuiper 1.0.0 正式发布 - 超轻量 IoT 边缘流处理

Kuiper设计的一个主要目标就是将在云端运行的实时流式计算框架（比如ApacheSpark，ApacheStorm和ApacheFlink等）迁移到边缘端。Kuiper参考
EMQX·2020-11-19 11:09

Kuiper 1.0.1 正式发布 - 超轻量 IoT 边缘流处理

Kuiper设计的一个主要目标就是将在云端运行的实时流式计算框架（比如ApacheSpark，ApacheStorm和ApacheFlink等）迁移到边缘端。Kuiper参考
EMQX·2020-11-19 10:52

快手基于 Apache Flink 的优化实践

首先介绍流式计算的基本概念，然后介绍Flink的关键技术，最后讲讲Flink在快手生产实践中的一些应用，包括实时指标计算和快速failover。
Ververica·2020-11-18 22:46

将CSV的数据发送到kafka(java版)

github.com/zq2599/blog_demos内容：所有原创文章分类汇总及配套源码，涉及Java、Docker、Kubernetes、DevOPS等；为什么将CSV的数据发到kafkaflink做流式计算时
程序员欣宸·2020-11-16 13:46

Java将CSV的数据发送到kafka的示例

为什么将CSV的数据发到kafkaflink做流式计算时，选用kafka消息作为数据源是常用手段，因此在学习和开发flink过程中，也会将数据集文件中的记录发送到kafka，来模拟不间断数据；整个流程如下
·2020-11-16 10:26

Structured Streaming

第1章StructuredStreaming概述从spark2.0开始,spark引入了一套新的流式计算模型:StructuredStreaming.该组件进一步降低了处理数据的延迟时间,它实现了“有且仅有一次
wm_43827516·2020-11-15 21:48

如何生成 Flink 作业的交互式火焰图？

前言Flink是目前最流行的大数据及流式计算框架之一，用户可以使用Java/Scala/Python的DataStream接口或者标准SQL语言来快速实现一个分布式高可用的流式应用，通过内部的JavaJIT
ApacheFlink·2020-11-13 11:19

实时计算

小红书如何实现高效推荐flink入门-流式计算概念Flink-Kafka-ConnectorFlink结合Kafka实战Flink实战项目之实时热销排行什么是K8S
天线嘟嘟茄·2020-11-11 16:14

流式处理框架storm浅析（上篇）

本文来自网易云社区作者：汪建伟前言前一段时间参与哨兵流式监控功能设计，调研了两个可以做流式计算的框架：storm和sparkstreaming，我负责storm的调研工作。
yijian2595·2020-10-09 20:59

2019年终总结

盘点去年定了要深入研究流式计算及系统架构，现在看来，流式计算只粗略看了点flink，系统架构方面貌似也没有太多的长进，文章也写的越来越像流水账了，感觉有点惭愧。
codecraft·2020-10-09 19:01

Flink流计算的概念

流式计算的世界观：时间不停万物不停在批量的时代，我们只记录关键的信息，只在乎当前，不在乎状态是如何一步步变化至当状态的，所以说批时代我们计算所面向的数据是静态的。
Natasha·2020-10-09 13:47

全员“橙标”时代再临，征服易烊千玺、张靓颖们的Heron Preston可不止有仙鹤

笔者最近看综艺留意到了一个似乎淡出大家视野一段时间的品牌突然开始大面积出现在各大节目上。这个有着显眼橙色标识，爱用俄语的品牌HeronPreston开始频繁出现在吴亦凡、张靓颖、易烊千玺等等明星爱豆大腕儿身上，节目内外都爱穿。这就让我们不得不再重新审视HeronPreston，挖掘一下HeronPreston为什么那么受明星喜爱，他的设计语言是什么？看一看除了橙标+俄语+仙鹤的组合拳依旧打的响亮，
YOHO潮流志·2020-10-08 00:00

全员“橙标”时代再临，征服易烊千玺、张靓颖们的Heron Preston可不止有仙鹤

笔者最近看综艺留意到了一个似乎淡出大家视野一段时间的品牌突然开始大面积出现在各大节目上。这个有着显眼橙色标识，爱用俄语的品牌HeronPreston开始频繁出现在吴亦凡、张靓颖、易烊千玺等等明星爱豆大腕儿身上，节目内外都爱穿。这就让我们不得不再重新审视HeronPreston，挖掘一下HeronPreston为什么那么受明星喜爱，他的设计语言是什么？看一看除了橙标+俄语+仙鹤的组合拳依旧打的响亮，
YOHO潮流志·2020-10-08 00:00

如何将炫酷的报表直接截图发送邮件——在Superset 0.37使用Schedule Email功能

安装过程遇到的任何问题请关注“实时流式计算”随时与我联系。所有的离线安装包已经整理好，请后台回复“superset0928”下载。
xiangwang2206·2020-09-28 10:23

如何将炫酷的报表直接截图发送邮件——在Superset 0.37使用Schedule Email功能

安装过程遇到的任何问题请关注“实时流式计算”随时与我联系。所有的离线安装包已经整理好，请后台回复“superset0928”下载。
独孤风·2020-09-28 10:00

设计模式第二篇，链式方法模式

链式方法也叫做流式方法，是一种相对比较新的概念，经常在流式计算或者类似的场景当中出现。
TechFlow2019·2020-09-25 11:00

大数据（Spark-Spark Streaming的架构及原理）

流式计算数据的时效性日常工作中，我们一般会先把数据储存在一张表中，然后对这张表的数据进行加工、分析。既然数据要储存在表中，就有时效性这个概念。
chouhanyi2822·2020-09-16 11:45

storm架构原理及集群部署

Storm流式计算1.概念1.1离线计算和实时计算离线计算：批量获取数据、批量传输数据、周期性批量计算数据、数据展示代表技术：Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据
@ange·2020-09-16 11:13
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他