流式计算Heron

Spark Streaming如何使用checkpoint容错

在互联网场景下，经常会有各种实时的数据处理，这种处理方式也就是流式计算，延迟通常也在毫秒级或者秒级，比较有代表性的几个开源框架，分别是Storm，SparkStreaming和Filnk。
h254532699·2017-01-11 13:39

Spark Streaming如何使用checkpoint容错

阅读更多在互联网场景下，经常会有各种实时的数据处理，这种处理方式也就是流式计算，延迟通常也在毫秒级或者秒级，比较有代表性的几个开源框架，分别是Storm，SparkStreaming和Filnk。
qindongliang1922·2017-01-06 21:00

Spark Streaming如何使用checkpoint容错

阅读更多在互联网场景下，经常会有各种实时的数据处理，这种处理方式也就是流式计算，延迟通常也在毫秒级或者秒级，比较有代表性的几个开源框架，分别是Storm，SparkStreaming和Filnk。
qindongliang1922·2017-01-06 21:00

如何在spark-streaming中获取通过kafka传递的flume信息header

flume+kafka+spark-streaming，应该说这一套架构已经成为流式计算的标配了。如何整合我这里就不赘述了。
a95473004·2016-12-27 16:57

高性能高并发系统的稳定性保障

作者：肖飞，于2011年8月份加入京东，曾亲身参与到京东的应用性能监控、统一日志、流式计算、内存缓存、四层防攻击等一些基础技术平台的研发和搭建工作，经历了京东的技术系统从简单粗放向复杂精细化的演变过程。
天府云创·2016-12-21 15:02

如何基于日志，同步实现数据的一致性和实时抽取?

作者：王东宜信技术研发中心架构师目前就职于宜信技术研发中心，任架构师，负责流式计算和大数据业务产品解决方案。
小码哥·2016-12-19 03:00

Heron —— 核心组件学习

理解Heron的运行原理很重要，下面学习Heron的核心组件。
DangerousM·2016-11-23 15:28

Heron ——将原来的storm更新到heron中

Twitter设计heron架构的时候，就是完全以兼容storm而设计的。所以以前的storm工程就可以很容易平移到heron中，需要做的就是调整tolopogy的Maven配置文件pom.xml。
DangerousM·2016-11-23 14:58

Heron 单节点运行 —— 基本环境配置

因为heron用到Bazel管理工具的要求必须是JDK1.8版本，所以可以直接下JDK1.8进行安装。JDK安装下载解压到/usr/local目录下，然后进行环境变量配置，有两个
DangerousM·2016-11-23 13:41

Heron——基础环境及安装

Heron是Twitter为了更好的进行实时计算的项目，主要是为了替换和改善Storm的不足而设计。
DangerousM·2016-11-23 12:44

hadoop、storm和spark的区别、比较

为了区别hadoop和Storm，该部分将回答如下问题：1.hadoop、Storm各是什么运算2.Storm为什么被称之为流式计算系统3.hadoop适合什么场景，什么情况下使用hadoop4.什么是吞吐量首先整体认识
bitcarmanlee·2016-11-05 21:05

spark streaming

SparkStreaming是将流式计算分解成一系列短小的批处理作业。
lmem·2016-11-05 21:18

郭川：我恐惧过、绝望过、崩溃过，但从没放弃过

Heron|AlexColville-收听-（点击音频或视频，即可收听）中国航海家郭川是最早参与“为你读诗”的嘉宾之一。
为你读诗·2016-10-28 00:00

【Hadoop入门学习系列之四】MapReduce 2.0应用场景和原理、基本架构和编程模型

2.MapReduce的特色—不擅长的方面实时计算spark像MySQL一样，在毫秒级或者秒级内返回结果流式计算stormMapR
shengmingqijiquan·2016-10-24 15:00

Spark学习笔记--Spark基础知识

SparkStreaming是Spark提供的对实时数据进行流式计算的组件Spark是一个用于集群计算的通用计算框架，因此被应用于各种各样的应用程序2、从上层来看，每个saprk应用都有一个驱动器程序（
夜晓楼·2016-09-08 22:56

编译Twitter的Heron时一直报错“heron/bazel_configure.py", line 25, in import semver ImportError: No module

今天编译heron的时候，从官方git到的源码bazel_configure的时候一直报错如下：Traceback(mostrecentcalllast):File"/comexData/package
Comex·2016-08-29 01:00

Strom学习（二）----Storm计算模型

阅读更多Storm计算模型是一个DAG的计算模型，而且Storm是把DAG和流式计算结合起来。
雨落千木·2016-08-28 22:00

Storm部署

Storm的部署管理非常简单，而且，在同类的流式计算工具，S
大兔齐齐·2016-08-26 13:17

Spark2.0 Structured Streaming

你可以像在使用静态RDD数据一样来编写你的流式计算过程。当流数据连续不断的产生时，SparkSQL将会增量的，持续不断的处理这些数据并将结果更新到结果集中。
董云龙·2016-08-07 23:45

spark近实时流式计算平台

阅读更多流星实时数据开发平台一个实时地干离线的活的流式计算平台！基于hivesql，能进行任何复杂业务的sql运算。UV，PV，新UV，跟踪类指标，在线时长、在线人数等等，都可以算。并且是0误差。
ForNebula·2016-07-14 19:00

spark近实时流式计算平台

阅读更多流星实时数据开发平台一个实时地干离线的活的流式计算平台！基于hivesql，能进行任何复杂业务的sql运算。UV，PV，新UV，跟踪类指标，在线时长、在线人数等等，都可以算。并且是0误差。
ForNebula·2016-07-14 19:00

spark近实时流式计算平台

阅读更多流星实时数据开发平台一个实时地干离线的活的流式计算平台！基于hivesql，能进行任何复杂业务的sql运算。UV，PV，新UV，跟踪类指标，在线时长、在线人数等等，都可以算。并且是0误差。
ForNebula·2016-07-14 19:00

封仲淹：如何优雅地使用Disruptor

个人简介封仲淹（纪君祥），阿里巴巴中间件平台技术部高级技术专家，花名纪君祥，阿里巴巴JStorm核心作者之一，ApacheStormPMC，流式计算权威人士之一，从事分布式计算，分布式存储多年，目前专注于实时计算和流式计算
InfoQ·2016-07-06 00:00

Hadoop周刊—第 172 期

Hadoop周刊—第172期 Hadoop周刊第172期  启明星辰平台和大数据总体组编译  2016年5月22日 本周主要关注流式计算——Twitter和Cloudera介绍了他们新的流式计算框架，有文章介绍了
成都心情·2016-06-09 00:00

Spark学习——Spark Streaming：大规模流式数据处理

http://www.csdn.net/article/2014-01-27/2818282-Spark-Streaming-big-data摘要：SparkStreaming是大规模流式数据处理的新贵，将流式计算分解成一系列短小的批处理作业
sbq63683210·2016-06-07 23:00

大数据与机器学习周报 第10期：Twitter Heron正式开源

业界新闻《重磅|TwitterHeron正式开源》：去年，Twitter对外宣布了新的分布式流计算系统Heron，随后消息称Twitter已经用Heron替换了Storm。
丁涛·2016-05-31 00:00

Spark定制班第17课：Spark Streaming资源动态申请和动态控制消费速率原理剖析

Twitter最近推出了会秒杀Storm的Heron，非常值得关注。因为Heron能有更好的资源分配、 更低的延迟。Heron在语义上
andyshar·2016-05-29 07:00

Storm深度分析及其正式版本思考

Storm本身也在不断的发展，Twitter对其不断的探索，且深一步的开发了Heron框架。社区也在憋了5年后发布了第一个正式版本。
JasonLeeLz·2016-05-10 21:03

Storm深度分析及其正式版本思考

Storm本身也在不断的发展，Twitter对其不断的探索，且深一步的开发了Heron框架。社区也在憋了5年后发布了第一个正式版本。
lzljs3620320·2016-05-10 21:00

解密SparkStreaming另类实验及SparkStreaming本质解析(第一篇)

SparkStreaming在线另类实验瞬间理解SparkStreaming运行本质SparkStreaming背景介绍当今社会处于一个大数据的时代，而SparkStreaming是SparkCode之上的一个流式计算子框架
xiaojun220·2016-05-03 18:00

MapReduce\Tez\Storm\Spark四个框架的异同

3）Storm:MapReduce也不适合进行流式计算、实时分析，比如广告
zly9923218·2016-04-28 16:00

AutoHotKey脚本：给定三角形三边边长计算三角形面积

今天写了一个AutoHotKey脚本，功能是在鼠标选中一段格式为“[数字,数字,数字]”的文字后，按下热键“Alt+Shift+T”，脚本自动根据海伦公式（Heron'sformula）计算以这三个数字为边长的三角形面积
北风其凉·2016-04-26 19:00

spark streaming原理与实践

它允许用户使用一套和批处理非常接近的API来编写流式计算应用，这样就可以大量重用批处理应用的技术甚至代码。Spark streaming使用离散化流（discretized  stream）作为抽象
jim_cainiaoxiaolang·2016-04-15 09:00

hadoop、storm和spark的区别、比较

为了区别hadoop和Storm，该部分将回答如下问题：1.hadoop、Storm各是什么运算2.Storm为什么被称之为流式计算系统3.hadoop适合什么场景，什么情况下使用hadoop4.什么是吞吐量首先整体认识
AlbertFly·2016-04-14 20:00

hadoop、storm和spark的区别、比较

为了区别hadoop和Storm，该部分将回答如下问题：1.hadoop、Storm各是什么运算2.Storm为什么被称之为流式计算系统3.hadoop适合什么场景，什么情况下使用hadoop4.什么是吞吐量首先整体认识
poisions·2016-04-11 11:00

Storm入门学习随记

Storm是开源的、分布式、流式计算系统什么是分布式呢？就是将一个任务拆解给多个计算机去执行，让许多机器共通完成同一个任
weixin_30249203·2016-04-08 22:00

Twitter Heron:流式计算Storm的升级版

会议上发表了一篇名为TwitterHeron:StreamProcessingatScale的论文，该文列出了Storm系统的几点不足之处，并重点介绍了Twitter公司最近开发并已经内部使用的的大数据流式计算系统
Glory_Z·2016-04-04 17:59

大数据工程师技能图谱

原文链接：http://toutiao.com/a6267290210372747522/一、大数据通用处理平台1、Spark2、Flink3、Hadoop二、流式计算1、Storm/JStorm2、SparkStreaming3
tterminator·2016-03-31 13:00

大数据

hadoop、Stormhttp://www.aboutyun.com/thread-6858-1-1.html可以带着下面问题来阅读本文章：1.hadoop、Storm各是什么运算2.Storm为什么被称之为流式计算系统
kevin.wang·2016-03-30 10:00

Storm集群组件和编程模型

Storm工作原理：    Storm是一个开源的分布式实时计算系统，常被称为流式计算框架。什么是流式计算呢？通俗来讲，流式计算顾名思义：数据流源源不断的来，一边来，一边计算结果，再进入下一个流。
u010022051·2016-03-25 09:00

hadoop面试记录（三）

数据加工前置条件如何控制3介绍对半结构化数据和非结构化数据的处理经验4对流式计算storm的认识，项目中应用到storm的应用场景简介5,6,7,8,9原谅
等待救赎·2016-03-23 23:00

浅谈Storm流式处理框架

Storm带着流式计算的标签华丽丽滴出场了，看看它的一些卖点：分布式系统：
libing13810124573·2016-03-22 17:00

Storm集群组件和编程模型

Storm工作原理：Storm是一个开源的分布式实时计算系统，常被称为流式计算框架。什么是流式计算呢？通俗来讲，流式计算顾名思义：数据流源源不断的来，一边来，一边计算结果，再进入下一个流。
钟艾伶·2016-03-22 10:34

Storm集群组件和编程模型

Storm工作原理：Storm是一个开源的分布式实时计算系统，常被称为流式计算框架。什么是流式计算呢？通俗来讲，流式计算顾名思义：数据流源源不断的来，一边来，一边计算结果，再进入下一个流。
钟艾伶·2016-03-22 10:34

Storm集群组件和编程模型

Storm工作原理：    Storm是一个开源的分布式实时计算系统，常被称为流式计算框架。什么是流式计算呢？通俗来讲，流式计算顾名思义：数据流源源不断的来，一边来，一边计算结果，再进入下一个流。
u010926964·2016-03-22 10:00

Storm集群组件和编程模型

Storm工作原理：    Storm是一个开源的分布式实时计算系统，常被称为流式计算框架。什么是流式计算呢？通俗来讲，流式计算顾名思义：数据流源源不断的来，一边来，一边计算结果，再进入下一个流。
u010850027·2016-03-22 10:00

storm流式处理框架

Storm带着流式计算的标签华丽丽滴出场了，看看它的一些卖点：分布式系统：
bitcarmanlee·2016-03-18 23:00

浅谈Storm流式处理框架

Storm带着流式计算的标签华丽丽滴出场了，看看它的一些卖点：分布式系统：可横向拓展,
老樊Lu码·2016-03-18 11:27

浅谈Storm流式处理框架

Storm带着流式计算的标签华丽丽滴出场了，看看它的一些卖点：分布
fanyun_01·2016-03-18 11:00

msup 蚂蚁开放日游记之 全链路监控

topic1:全链路监控示意图，参考oneapm作者介绍第一个是，测试领域工作了7年的，刘扬，从事的领域是系统级的监控，要点：实时监控实时监控系统涵盖了，界面展示层，流式计算层，索引层，日志api抓取其中对日志分析中有一个名词叫日志类聚
titer1·2016-03-13 08:00
上一页 19 20 21 22 23 24 25 26 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他