流式计算Heron 第15页

实时流计算、Spark Streaming、Kafka、Redis、Exactly-once、实时去重

http://lxw1234.com/archives/2018/02/901.htm在实时流式计算中，最重要的是在任何情况下，消息不重复、不丢失，即Exactly-once。

lin502·2020-07-02 08:40

Flink 流式计算框架（学习一）

开源流计算引擎，兼顾性能和可靠性。Flink数据集类型有边数据集：最终不再发生改变无边数据集：不断产生数据Flink的两种执行模型a.流计算数据不断产生，一直处于计算状态b.批处理完成一定时间段的计算任务后，释放资源Flink的特性a.开源，分布式b.结果精准，即使是无序数据或者延迟数据c.有状态以及容错。维护精准一次的应用状态(保持每次计算的结果，向后传递，实现累加。容错：replace，计算错

ljj234567·2020-07-02 06:46

三十三期百度技术沙龙笔记整理

_朝晖_·2020-07-01 22:12

storm知识点

storm知识点关于Storm与JStorm的调度算法的讨论Storm性能优化例子图书Storm技术内幕与大数据实践192页Storm：大数据流式计算及应用实践storm1.0.0性能提升Storm1.0.0

Jason__Zhou·2020-07-01 14:44

高性能高并发系统的稳定性保障

作者：肖飞，于2011年8月份加入京东，曾亲身参与到京东的应用性能监控、统一日志、流式计算、内存缓存、四层防攻击等一些基础技术平台的研发和搭建工作，经历了京东的技术系统从简单粗放向复杂精细化的演变过程。

天府云创·2020-07-01 09:26

Spark每日半小时（33）——结构化流式编程：流式查询的启动、管理、监控以及Checkpointing

启动流式查询一旦定义了最终结果DataFrame/Dataset，剩下的的就是开始流式计算。为此，我们必须使用Dataset.writeStream()方法返回的的DataStreamWriter。

DK_ing·2020-07-01 08:29

字节跳动李本超：一年成为 Committer，我与 Flink 社区的故事

首先简单做个自我介绍，我是李本超，是字节跳动基础架构流式计算方向的工程师，主要负责FlinkSQL方向。最近非常有幸受邀成为ApacheFlinkCommitter。

Ververica·2020-07-01 06:50

流式处理术语解释 Exactly-once与Effectively-once

该领域主要的流处理引擎（SPE）包括ApacheStorm、ApacheFlink、Heron、ApacheKafka（KafkaStreams）以及ApacheSpark（SparkStreaming

纸绘·2020-07-01 05:36

大数据架构变迁

大数据1.0时代，Lambda架构比较流行，首先有个数据总线，通常是Kafka，后面对接批处理计算和流式计算。见过几个企业的架构，数据采集后，直接进入Kafka，然后线上经常不稳定。

clive0x·2020-07-01 04:13

阿里巴巴的26款超神Java开源项目！

1.分布式应用服务开发的一站式解决方案SpringCloudAlibaba2.JDBC连接池、监控组件Druid3.Java的JSON处理器fastjson4.服务框架Dubbo5.企业级流式计算

Python编程社区·2020-07-01 04:47

flink延时监控

流式计算中处理延迟是一个非常重要的监控metricflink中通过开启配置metrics.latency.interval来开启latency后就可以在metric中看到askManagerJobMetricGroup

hyy1568786·2020-07-01 02:08

Storm核心组件、编程模型

Storm简介storm是用来做实时计算的框架，所以介绍storm之前需要知道什么是流式计算。

数据萌新·2020-07-01 00:42

mapreduce杂谈

下面对近期所学的一些mapreduce的相关知识稍稍进行一个总结【1】常见的计算框架mapreduce离线计算框架storm流式计算框架（进行实时计算）spark内存计算框架（进行快速计算）【2】mapreduce

先生_吕·2020-06-30 21:35

什么是实时流式计算？

实时流式计算，也就是RealTime,Streaming,Analyse,在不同的领域有不同的定义,这里我们说的是大数据领域的实时流式计算。

美帝程序员·2020-06-30 18:43

小米流式平台架构演进与实践

小米业务线众多，从信息流，电商，广告到金融等覆盖了众多领域，小米流式平台为小米集团各业务提供一体化的流式数据解决方案，主要包括数据采集，数据集成和流式计算三个模块。

zhaowei121·2020-06-30 15:40

Strom、SparkStreaming以及Flink三种流式框架了解

本文主要是想了解下Storm、Flink、SparkStreaming这三种流式计算框架的区别以及它们适合的应用场景。

淡定一生2333·2020-06-30 12:38

【图文教程】五分钟内搞一个双十一数据大屏_实时看到自己的业务访问情况

说起实时大屏，都会想到最典型的流式计算架构：数据采集：将来自各源头数据实时采集中间存储：利用类KafkaQueue进行生产系统和消费系统解耦实时计算：环节中最重要环节，订阅实时数据，通过计算规则对窗口中数据进行运算结果存储

云栖精选·2020-06-30 10:31

java实现spark streaming与kafka集成进行流式计算

java实现sparkstreaming与kafka集成进行流式计算2017/6/26补充：接手了搜索系统，这半年有了很多新的心得，懒改这篇粗鄙之文，大家看综合看这篇新博文来理解下面的粗鄙代码吧，http

_吴天德·2020-06-30 10:34

Java大数据学习

学习规划总共分为五大部分，分别是：大数据技术基础离线计算Hadoop流式计算Storm内存计算Spark机器

WizradMyL·2020-06-30 04:23

Storm简介及计算模型

Storm概述Storm是一个开源的分布式实时流式计算系统特点：-分布式：水平扩展，自动容错-实时：低延迟(毫秒级)-流式:数据不间断流入、流出-DAG：SpoutBolt组成DAG计算模型-易用：像写单机程序一样简单

行者无疆_super·2020-06-29 20:23

分布式处理框架MapReduce

MapReduce概述MapReduce源自于谷歌的论文，是谷歌MapReduce的克隆版优点：海量数据离线处理；易开发（容错性、扩展性）；易运行缺点：实时流式计算MapReduce编程模型wordcount

Aimerwhy·2020-06-29 17:43

图数据流的模型、算法和系统

然后通过总结分析早期图的流式计算以及已有的少量图数据流

唐名威·2020-06-29 16:57

Flink State 最佳实践

State概念回顾我们先回顾一下到底什么是state，流式计算的数据往往是转瞬即逝，当然，真实

Ververica·2020-06-29 14:47

Java 8 新特性

Java8新特性1.写在前面自学Java已经快要一年了，一直用的都是Java8，在虎牙实习参与的项目中，大量地使用到了Java8的新特性：Lambda表达式和Stream流式计算，它们脱离了数据库层面的运算

ZZZhonngger·2020-06-29 08:44

分布式系统的面试题1

就是都没怎么搞过分布式系统，现在互联网公司，一般都是做分布式的系统，大家都不是做底层的分布式系统，分布式存储系统，hadoophdfs，分布式计算系统，hadoopmapreduce，spark，分布式流式计算系统

施智沂·2020-06-29 00:07

效率提升50倍，轻松处理大数据

流计算典型架构解决痛点阿里云流计算可以提供BlinkSQL协助用户简单轻松完成流式计算逻辑的处理。同时，受限

煊琰·2020-06-29 00:12

Flink原理，实战与性能优化读书笔记(一)

1.Flink使用有状态流式计算模型实现了高吞吐，低延迟，高性能兼具实时流式计算框架。什么是有状态计算？

小凯Alex·2020-06-28 21:20

Apache Kafka Stream

KafkaStreams流计算定义一般流式计算会与批量计算相比较。在流式计算模型中，输入是持续的，可以认为在时间上是无界的，也就意味着，永远拿不到全量数据去做计算。

麦田里的守望者··2020-06-28 20:03

流式计算--整合kafka+flume+storm

本篇博客基于之前搭建的kafka集群和storm集群1.数据流向日志系统=>flume=>kafka=>storm2.安装flume1.我们在storm01上安装flume1.6.0,上传安装包2.解压到/export/servers/flume，首先创建文件夹flume命令：sudotar-zxvfapache-flume-1.6.0-bin.tar.gz-C/export/servers/fl

时空恋旅人·2020-06-28 20:27

storm drpc分布式本地和远程调用模式讲解

我们回顾一下前面学习的storm知识，知道storm是一个分布式的流式计算框架，由1台nimbus和多台supervisor

weixin_34405332·2020-06-28 18:26

为什么阿里会选择 Flink 作为新一代流式计算引擎？

本文由【AI前线】原创，ID：ai-front，原文链接：t.cn/ROISIr3【AI前线导读】2017年10月19日，阿里巴巴的高级技术专家王绍翾（花名“大沙”）将为QCon上海的听众带来一场以大数据实时流计算与人工智能为主题的专题演讲，本专题将邀请来自腾讯、阿里、Facebook、Uber、Streamlio的多位一线专家分析实时流计算和人工智能领域的最新的技术成果、应用和趋势。本文整理自I

weixin_34187862·2020-06-28 13:12

如何基于日志，同步实现数据的一致性和实时抽取?

本文根据DBAplus社群第85期线上分享整理而成讲师介绍王东宜信技术研发中心架构师目前就职于宜信技术研发中心，任架构师，负责流式计算和大数据业务产品解决方案。

weixin_34004750·2020-06-28 09:35

基于Flink流处理的动态实时超大规模用户行为分析

在这里我们将介绍网络安全中基于流式计算框架Flink并搭载机器学习算法的超大

weixin_33831673·2020-06-28 06:36

kafka学习笔记

在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。Kafka是一个分布式消息队列：生产者、消费者的功能。

weixin_30399055·2020-06-27 19:44

大数据流处理框架介绍

实时流处理简单概述：实时是说整个流处理相应时间较短，流式计算是说数据是源源不断的，没有尽头的。

小王同学88·2020-06-27 12:57

大数据日志分析系统-spark进行日志计算

需要满足的项目需求：用spark进行实时统计，从kafka中获取数据，流式计算每分钟一次将计算结果存入es，供客户进行查询。

朋好友5·2020-06-27 08:15

【storm-kafka】storm和kafka结合处理流式数据

Storm的部署管理非常简单，而且，在同类的流式计算工具，Storm的性能也是非常出众的。关于kafkaKafka是一种高吞吐量的分布式发布订阅消息系统

Poy丶華·2020-06-27 06:48

Flink 面试通关手册

Flink因为其天然的流式计算特性以及强大的处理性能成为炙手可热的大数据处理框架。

大数据技术与架构·2020-06-27 06:45

Spark Streaming一个简单例子

它允许用户使用一套和批处理非常接近的API来编写流式计算应用，这样就可以大量重用批处理的技术甚至代码。和Spark的基于RDD的概念很相似，SparkS

千里草竹·2020-06-27 05:55

慢SQL，压垮团队的最后一根稻草No.92

至于离线数据分析，在线规则引擎模板执行，流式计算等不在本次讨论范畴。重SQL开发的场景先看一个例子吧。用经典的ControllerServiceDAO开发模式描述。

一名叫大蕉的程序员·2020-06-26 22:31

Flink 调优：Checkpoint 配置

有了这些基础，你就可以在流式计算中对FlinkCheckpoint进行配置了，下文会详细介绍各种配置方式，以及配置原则。1.Checkpoint的配置在Flink应用程序中配置Che

GatsbyNewton·2020-06-26 22:44

Flink 从 0 到 1 学习 —— Apache Flink 介绍

Flink是一种流式计算框架，为什么我会接触到Flink呢？

MayMatrix·2020-06-26 20:57

流式计算strom,Strom解决的问题,实现实时计算系统要解决那些问题,离线计算是什么,流式计算什么,离线和实时计算区别,strom应用场景,Strorm架构图和编程模型（来自学习资料）

1、背景-流式计算与storm2011年在海量数据处理领域，Hadoop是人们津津乐道的技术，Hadoop不仅可以用来存储海量数据，还以用来计算海量数据。

to.to·2020-06-26 20:05

项目小结：基于 flink-connector-kafka-0.8_2.11 实现 exactly-once 语义

Flink作为新一代的流式计算框架，提供了exactly-once语义，但是其仅仅支持Flink内部数据流转的exactly-once语义，如需保证整条数据链路（即上下游交互）的完整exactly-once

super_man_0820·2020-06-26 16:16

Spark-core之RDD核心概念

一、Spark包括什么spark的核心是SparkCore，其中上面的SparkSql对接的是Hive等结构化查询，SparkStreaming是对接的流式计算，后面的那两个也是主要用在科学任务中，但是他们的基础都是

student__software·2020-06-26 15:15

parallelSteam高性能：并行计算惹的祸

Java中提供了ForkJoinPool并发流式计算框架，推荐系统中也大量使用parallelSteam进行业务处理，提高系统处理能力，如：批量获取StatusForkJoinPool相比之前Java6

阿拉斯加大闸蟹·2020-06-26 12:15

1号店电商峰值与流式计算

摘要：1号店结合自己的业务需求，在力求降低成本的前提下，最终采纳Storm计算框架来实现自己的分布式流计算平台。本文中详细阐释了这一过程中的最佳技术实践。京东618、1号店711，还有全民购物狂欢节双11，电商促销的浪潮此起彼伏。然而，在买家和卖家欢呼雀跃的同时，电商平台正在经历着非常严峻的考验。面对一天之内犹如洪水般的网购流量，哪怕出现几分钟的闪失，都可能造成众多笔订单的损失，以及无法挽回的销售

技术笔记·2020-06-26 04:37

大数据学习路径

solr搜索→hadoop体系→HDFS→mapreduce→hbase→zookeeper→hive→flume→sqoop→项目实战一第二阶段机器学习R语言→mahout→项目实战二第三阶段storm流式计算

金罗老师·2020-06-25 21:30

Flume架构与应用

-Flume定义Flume是分布式，高可用，基于流式计算的，用于收集、聚合、移动大量日志数据的框架。

一叶知秋--·2020-06-25 20:07

大数据之Storm/实时数据处理视频教程-李强强-专题视频课程

大数据之Storm/实时数据处理视频教程—28人已学习课程介绍大数据Storm实时数据处理视频培训课程：Strom是一个老牌的实时数据处理框架，在SparkStreaming流行前，Storm统治者整个流式计算的江湖

qq_40139556·2020-06-25 17:26

推荐频道

流式计算Heron