spout

Storm - 事务管理

spout并行分批创建供bolt
chong023·2016-01-20 12:45

Storm - 事务管理

NOTE:事务性拓扑是一个构建于标准Storm spout和bolt之上的抽象概念。设计在事务性拓扑中，Storm以并行和顺序处理混合的方式处理元组。spout并行分批创建供bo
chong023·2016-01-20 12:45

Storm数据流模型的分析及讨论

Storm基本概念Storm是一个开源的实时计算系统，它提供了一系列的基本元素用于进行计算：Topology、Stream、Spout、Bolt等等。
chong023·2016-01-20 11:36

Storm数据流模型的分析及讨论

Storm基本概念Storm是一个开源的实时计算系统，它提供了一系列的基本元素用于进行计算：Topology、Stream、Spout、Bolt等等。
chong023·2016-01-20 11:36

【Storm入门指南】第七章 在 Storm 中使用非 JVM 语言

Storm是用Java实现的，你之前所看到的本书那些示例spout和bolt也是用Java来编码的。所以能用能用Python、Ruby或者JavaScript来编写呢？答案是肯定的。
顺顺顺子·2016-01-19 17:43

流式大数据处理的三种框架：Storm，Spark和Samza

一个拓扑中包括spout和bolt两种角色，其中spout发送消息，负责将数据流以tuple元组的形式发送出去；而bolt则负责转换这些数据流，在bolt中可以完
chong023·2016-01-19 17:38

流式大数据处理的三种框架：Storm，Spark和Samza

一个拓扑中包括spout和bolt两种角色，其中spout发送消息，负责将数据流以tuple元组的形式发送出去；而bolt则负责转换这些数据流，在bolt中可以完
chong023·2016-01-19 17:38

Storm的初步学习总结（二）

Storm的DRPC书写和正常的storm处理程序类似，只不过spout和传结果到客户端的bolt都已经给好了，需要书写的只是中间处理的bolt。服务器端代码如
焦躁不安的程序鑫·2016-01-16 20:00

storm的数据源编程单元Spout学习整理

Spout呢，是Topology中数据流的源头，也是Storm针对数据源的编程单元。一般数据的来源，是通过外部数据源来读取数据项(Tuple)，并读取的数据项传输至作业的其他组件。
超大的雪童子·2016-01-12 22:00

storm的作业单元：Topology

那么，组件根据作用的不同，在Storm中分为两类:Spout组件和Bolt组件。而Topology就是这两类组件通过数据流连接的一种计算逻辑结构。
超大的雪童子·2016-01-10 21:00

五、DRPC

DRPC其实不能算是storm本身的一个特性，它是通过组合storm的原语spout，bolt，topology而成的一种模式(pattern)。本来应
u013360022·2015-12-31 11:00

三、消息的可靠处理

1、消息被完全处理的含义当树创建完毕，并且树中的每一个消息都已经被处理时，Storm认为来自Spout的元组是“完全处理”的。当一个元组的消息树在指定的超时范围内不能被完全处理，则元组被认为是失败的。
u013360022·2015-12-28 16:00

二、Topology的并行度

每一个Spout和Bolt会被当作很多task在整个集群里面执行。默认情况下每一个tas
u013360022·2015-12-28 14:00

一、storm基础概念

同样，Storm也对数据的实时计算提供了简单Spout和Bolt原语。Storm适用的场景：(1)、流数据处理：Storm可以用来用来处理源源不断的消息，并将处理之
u013360022·2015-12-27 17:00

storm简述最为清楚的文章

Understanding-the-parallelism-of-a-Storm-topology.htmlConfigconf=newConfig(); conf.setNumWorkers(2);//usetwoworkerprocesses topologyBuilder.setSpout("blue-spout
lingzhiwangcn·2015-12-25 10:00

Storm DRPC实现机制分析剖析

        DRPC是建立在Storm基本概念（Topology、Spout、Bolt、Stream等）之上的高层抽象，个人理解它的目标是在Storm集群之上提供一种分布式的RPC框架，以便能够利用
afreon·2015-12-16 17:00

Apache Storm技术实战之1 -- nimbus启动场景分析

stormcluster中有以下各种进程1.nimbus2.zookeeper3.supervisor4.worker进程之间的逻辑关系如下图所示，其中executor是运行于进程worker中的线程用于执行spout
general_du·2015-12-11 18:57

Storm的事务总结

本文主要参考Storm官方文档我们利用前面所说的Storm可靠性机制，可以很容易的提供至少一次的处理(atleastonceprocessing)：也就是在一个tuple超时或者fail的时候，Storm会调用Spout
wb81074·2015-12-11 17:00

Storm可靠性总结

本文主要参考了Storm的可靠性文档Storm的可靠性是通过一个叫做Acker的模块来实现的，它会跟踪Spout、Bolt发送tuple时所形成的tuple树，看tuple树是成功处理（tuple叶子是否被都被处理
wb81074·2015-12-11 10:00

Storm的消息处理保障机制

本文译自：http://storm.apache.org/documentation/Guaranteeing-message-processing.htmlStorm会保证每个来自Spout的消息会被完全处理
fireofstar·2015-12-07 19:42

Storm的消息处理保障机制

本文译自：http://storm.apache.org/documentation/Guaranteeing-message-processing.htmlStorm会保证每个来自Spout的消息会被完全处理
FireOfStar·2015-12-07 19:00

Flume、Kafka、Storm结合

Todo:对Flume的sink进行重构，调用kafka的消费生产者(producer)发送消息;在Sotrm的spout中继承IRichSpout接口，调用kafka的消息消费者(Consumer)来接收消息
Man_华·2015-11-27 16:00

Storm开发过程中的问题与建议

（一）topology层级建议设不要设置过多storm讲究是流式计算，spout发送数据，下游的bolt处理数据，数据的处理计算就像流水线作业一样，每一个节点完成特定的工序；但是这种流水作业的深度不易过长
Kevin.Yang·2015-11-26 21:32

Storm Local 模式 数单词

一、Spout代码大放送public static class SentenceSpout extends BaseRichSpout {         SpoutOutputCollector spoutOutputCollector
momisabuilder·2015-11-24 15:00

Storm集群中执行的各种组件及其并行

在Storm中，一个task就是执行在集群中的一个Spout或Bolt实例。      为了方便理解Storm怎样并行处理我们分给它的任务,这里我先
·2015-11-13 05:28

Don't be a dick!

An exclamation--said very quickly--that you can spout at anyone or anything at the slightest suggestion
·2015-11-12 23:04

Storm学习笔记

1.如何让一个spout并行读取多个流？ 方法：任何spout、bolts组件都可以访问TopologyContext。利用这个特性可以让Spouts的实例之间划分流。
·2015-11-12 22:12

Make Mint Bubble Bath

body-care/229618.htm Measure 1 cup of liquid peppermint castile soap in a large measuring cup with pour spout
·2015-11-12 17:11

理解Storm可靠性消息

 在spout发送的时候，函数原型  public List<Integer> emit(List<Object> tuple, Obje
·2015-11-11 13:59

测试Storm的多源头锚定

过程, Spout 发送msgid 1-10 一级Bolt， msgid1的tuple做为基本组合tuple, 其他8个和一组合, 然后发送给二级Bolt， 同时单个msgid对应的tuple都ack
·2015-11-11 13:59

storm学习之入门篇（二）

Strom的简单实现   Spout的实现 对文件的改变进行分开的监听，并监视目录下有无新日志文件添加。 在数据得到了字段的说明后，将其转换成tuple。
·2015-11-11 01:30

storm-编程入门

nbsp;                       Spout
·2015-11-02 13:41

Storm运维：关于nextTuple

http://www.cnblogs.com/panfeng412/p/storm-spout-common-issues.htmlhttp://blog.itpub.net/29754888/viewspace
强子哥哥·2015-11-02 09:00

KafkaSpout的处理流程

需要给spout的每个task指定任务，也就是把Kafka里的消息分配给spout task去读取。这时候，就会有以下问题： 是否一个Ka
·2015-10-31 11:25

Storm实战之WordCount

这个例子很简单，核心组件包括：一个spout，两个bolt，一个Topology。spout从一个路径读取文件，然后readLine，向bolt发射，一个文件处理完毕后，重命名，以不再重复处理。
u010022051·2015-10-29 10:00

Storm calculate pv

所以把spout的数目设定为1. 把文件路径存储在config 的map中了，其实是想使用参数进行传递，这样更友好。 读取完之后把它存储
·2015-10-28 08:13

流式大数据处理的三种框架：Storm，Spark和Samza

一个拓扑中包括spout和bol
lazycatw·2015-10-22 21:42

Storm内部通信机制分析

一、任务执行及通信的单元Storm中关于任务执行及通信的三个概念：Worker（进程）、Executor（线程）和Task（Spout、Bolt）1、  一个worker进程执行的是一个Topology
zhouchaofei2010·2015-10-16 05:00

第一个Storm的程序例子

 -----------------------------WordSpout  package com.hzw.storm.Spout; import java.util.Map;import java.util.Random
强子哥哥·2015-10-12 20:00

storm-kafka（storm spout作为kafka的消费端）

storm是grovvy写的kafka是scala写的storm-kafkastorm连接kafkaconsumer的插件下载地址：https://github.com/wurstmeister/storm-kafka-0.8-plus除了需要storm和kafka相关jar包还需要google-collections-1.0.jar以及zookeeper相关包curator-framework-
jethai·2015-10-09 16:55

storm-kafka（storm spout作为kafka的消费端）

storm是grovvy写的kafka是scala写的storm-kafka storm连接kafkaconsumer的插件下载地址：https://github.com/wurstmeister/storm-kafka-0.8-plus除了需要storm和kafka相关jar包还需要google-collections-1.0.jar以及zookeeper相关包curator-framework
jethai·2015-10-09 16:55

storm-starter中的RollingTopWords代码解析

Spout部分略过不提。用的是TestWordSpout。1.RollingCountBolt带有两个参数windowLengthInSeconds和emitFrequencyInSeconds。
wdasdaw·2015-10-04 15:00

Storm之Spout、Bolt、Topology组件

1.Spout实现 Strom使用元组作为数据模型，元组就是一组命名的值，元组中的每个字段都可以是任何类型的对象。Storm支持所有基本类型，string和byte数组作为元组字段值。
wdasdaw·2015-10-04 14:00

Storm和Akka的比较

【Storm】==>tuple||bolt||spout||topologyStormisadistributed,real-timecomputationsystem.OnaStormcluster,
can_do·2015-09-21 21:00

Storm和Akka的比较

【Storm】==>tuple||bolt||spout||topologyStormisadistributed,real-timecomputationsystem.OnaStormcluster,
can_do·2015-09-21 21:00

Storm和Akka的比较

【Storm】==>tuple||bolt||spout||topologyStormisadistributed,real-timecomputationsystem.OnaStormcluster,
can_do·2015-09-21 21:00

Storm使用手册

Storm集群工作节点，接受Nimbus分配的任务，管理WorkerWorker：Supervisor下的工作进程，具体任务执行Task：Worker下的工作线程Topology：实时计算逻辑，计算拓扑，由spout
DASlab·2015-09-18 13:42

跟我学习Storm_Storm基本概念

Task：worker中每一个spout/bolt的线程称为一个task。在Storm0.8之后，task不再与物
虾皮·2015-09-17 15:00

Storm如何保证可靠的消息处理

内容简介Storm可以保证从Spout发出的每个消息都能被完全处理。Storm的
Jack47·2015-09-16 07:00

storm小总结（持续更新）

task：具体一个 spout/bolt的实例。
敏事慎言·2015-09-04 11:00
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他