BOLT

Storm里的Stream grouping

Streamgrouping:ShuffleGrouping: 随机分组，随机分发stream里的tuple，并保证每个bolt能接收到的tuple数目大致相等。
zyqJustin·2015-04-13 17:00

Storm之spout,bolt编写

Storm，核心代码使用clojure书写，实用程序使用python开发，使用java开发拓扑。 Nimbus节点接收到请求，对提交的拓扑进行分片，分成一个个的task,并将task和supervisor相关的信息提交到zookeeper集群上，supervisor会去zookeeper集群上领自己的task,通知自己的worker进程进行Task的处理。 Spout的主要方法： op
·2015-04-12 13:00

Storm DRPC实现机制分析

 DRPC是建立在Storm基本概念（Topology、Spout、Bolt、Stream等）之上的高层抽象，个人理解它的目标是在Storm集群之上提供一种分布式的RPC框架，以便能够利用Storm快速的实现
longzhun·2015-04-07 10:00

Storm DRPC实现机制分析

 DRPC是建立在Storm基本概念（Topology、Spout、Bolt、Stream等）之上的高层抽象，个人理解它的目标是在Storm集群之上提供一种分布式的RPC框架，以便能够利用Storm快速的实现
longzhun·2015-04-07 10:00

Storm拓扑，组件之spout、bolt，并行策略

软件版本：Storm：0.9.3，Redis：2.8.19；jedis：2.6.2；参考：http://storm.apache.org/documentation/Understanding-the-parallelism-of-a-Storm-topology.html一、Storm原理Storm简述：Storm中有两个组件：nimbus和supervisor，nimbus主要负责分配资源和s
fansy1990·2015-03-27 00:32

Storm拓扑，组件之spout、bolt，并行策略

软件版本：Storm：0.9.3，Redis：2.8.19；jedis：2.6.2；参考：http://storm.apache.org/documentation/Understanding-the-parallelism-of-a-Storm-topology.html一、Storm原理  Storm简述：Storm中有两个组件：nimbus和supervisor，nimbus主要负责分配资源
fansy1990·2015-03-27 00:00

在Strom中使用C++开发Bolt总结

原创文章，欢迎转载！请注明原文地址：http://blog.csdn.net/jmppok/article/details/16827837参考1：storm下运行C++程序(一)http://blog.csdn.net/jmppok/article/details/15501947参考2：Storm下运行C++（二）http://blog.csdn.net/jmppok/article/deta
jmppok·2015-03-25 10:00

Strom Topology执行分析：worker数，Bolt实例数，executor数，task数

原创文章，转载请注明出处：http://blog.csdn.net/jmppok/article/details/17244599在创建Storm的Topology时，我们通常使用如下代码：builder.setBolt("cpp",newCppBolt(),3).setNumTasks(5).noneGrouping(pre_name); Configconf=newConfig(); con
jmppok·2015-03-25 10:00

Storm DRPC 使用

DRPC方式调用.可以理解为Storm是一个集群,DRPC提供了集群中处理功能的访问接口.其实即使不通过DRPC，而是通过在Topoloye中的spout中建立一个TCP/HTTP监听来接收数据，在最后一个Bolt
jmppok·2015-03-25 10:00

storm下运行C++程序(一)

有段时间了，也搭建了一个简单的环境，很欣赏它的一些理念，考虑到很多程序是C++实现的，如果要使用该平台的话，需要为这些程序实现一个接口，方便统一在storm中运行，折腾了几天，初步成功的实现了一个C++的bolt
jmppok·2015-03-25 10:00

storm配置：设置worker进程内存大小

但我在使用过程中，由于会在Bolt中加载大量数据，768M内存无法满足需求，会导致内存溢出程序崩溃。经过研究发现，可以通过在Str
jmppok·2015-03-25 10:00

strom及DRPC性能测试与改进

http://blog.csdn.net/jmppok/article/details/18075313参考1:storm性能测试报告参考2:StormDRPC使用参考3:StormDRPC使用及访问C++Bolt
jmppok·2015-03-25 10:00

Storm弹性计算：实时调整Topology并发数

比如增加Topology的worker数，修改Bolt，Spout的并行执行数量parallelism等，从
jmppok·2015-03-25 10:00

Storm DRPC 使用及访问C++ Bolt问题的解决方法

blog.csdn.net/jmppok/article/details/16840231参考1：storm下运行C++程序(一)参考2：Storm下运行C++（二）参考3：在Strom中使用C++开发Bolt
jmppok·2015-03-25 10:00

Storm中数据的输入输出

初学Storm的小伙伴可能会有这样的问题：我写了Spout和Bolt，创建了Topology,提交到了Cluster中，然后呢？怎么访问并使用这个Topology呢？
jmppok·2015-03-25 10:00

Storm实时计算：流操作入门编程实践

简单介绍编程实践过程中需要理解的Storm中的几个概念：TopologyStorm中Topology的概念类似于Hadoop中的MapReduceJob，是一个用来编排、容纳一组计算逻辑组件（Spout、Bolt
抓哇小王子·2015-03-13 09:06

stream group

      流分组： spout和bolt通讯的方式成为流分组。
chengjianxiaoxue·2015-03-05 15:00

storm UI没有topology stats没有spout与bolt的stats

  我这边的问题是这样的： 启动集群后，spout与bolt的stats，用的版本：storm0.9.2 错误原因：版本太低UIbug处理方式：升级版本到0.9.3 出现截图如下：    
chengjianxiaoxue·2015-03-05 12:00

storm并行度

task是storm中进行计算的最小的运行单位，表示的是spout、bolt的运行实例。 程序执行的最大粒度的运行单位是进程。在supervisor中，运行task的进程称作worker。 
chengjianxiaoxue·2015-03-04 20:00

storm日志bebug问题

请在spout和bolt的prepare方法中读取配置文件。任何资源类的初始化都需要放到prepare方法中（比如数据库连接，和读取文件索引类等）。程序部
如风达·2015-03-02 15:00

topology.max.spout.pending详解

2.topology.max.spout.pending的意义在于，缓存spout发送出去的tuple，当下流的bolt还有topology.max.spout
cjun1990·2015-01-28 15:00

Bolt接口各个方法的执行顺序

在storm-user中看到的一个关于StormBolt内部实现的执行顺序的问题,觉得对理解Bolt内部实现有帮助,记录一下.prepare方法在worker初始化task的时候调用. execute方法在每次有
如风达·2015-01-26 18:00

storm DRPC例子

这个topology然后计算结果，在topology的最后一个叫做ReturnResults的bolt会连接到DRPC服务器，并且把这个调用的结果发送给DRPC服务器(通过那个唯一的
追寻北极·2015-01-21 08:27

JStorm之Topology提交客户端

  一个topology包含一或多个spoutbolt，spout负责在数据源获得数据并发送给bolt，每个bolt负责做完处理后发给下一个bolt。
lihm0_1·2015-01-16 15:00

nginx+uwsgi部署fabric-bolt

配置nginx.confvim nginx.conf         location / {            root /www/fabric-bolt/lib/python2.7/site-packages
zxcbvbbbbb·2015-01-09 10:55

nginx+uwsgi部署fabric-bolt

配置nginx.confvim nginx.conf          location / {             root /www/fabric-bolt/lib/python2.7/site-packages
zxcbvbbbbb·2015-01-09 10:55

nginx+uwsgi部署fabric-bolt

配置nginx.confvim nginx.conf          location / {             root /www/fabric-bolt/lib/python2.7/site-packages
zxcbvbbbbb·2015-01-09 10:55

Strom: mongdb spout /bolt trending topics

            References https://github.com/nathanmarz/storm-contrib http://eugenedvorkin.com/implementing-top-10-most-popular-articles-in-real-time-with-storm-and-
ylzhj02·2015-01-04 18:00

storm两个案例(1单词计数本地执行 2累加集群执行 3集群关闭storm任务写法)

 1 如何监听到文件夹内新增了文件2如何监听到原文件内容数据做了变更3 为了有两个bolt一个用于切分 一个用于统计单词个数为何不写在一起呢？？   
chengjianxiaoxue·2014-12-28 17:00

Strom及DRPC性能测试与改进

Strom及DRPC性能测试与改进参考1:storm性能测试报告参考2:StormDRPC使用参考3:StormDRPC使用及访问C++Bolt问题的解决方法参考4:Storm多语言支持之ShellBolt
qileilove·2014-12-08 20:00

Storm中的可靠性

   我们知道Storm有一个很重要的特性，那就是StormAPI能够保证它的一个Tuple能够被完全处理，这一点尤为重要，其实storm中的可靠性是由spout和bolt组件共同完成的，下面就从spout
suifeng3051·2014-12-02 19:00

Storm实时计算：流操作入门编程实践

简单介绍编程实践过程中需要理解的Storm中的几个概念：TopologyStorm中Topology的概念类似于Hadoop中的MapReduceJob，是一个用来编排、容纳一组计算逻辑组件（Spout、Bolt
Yanjun·2014-11-28 05:00

Storm【Storm0.9.3】－ ACK 框架有意的补充

将像AckerBolt发射一个消息，这个消息的内容为《RootID，消息ID》AckerBolt将会为该消息创建一条跟踪项3：Bolt产生要发射的消息的
止静·2014-11-19 18:00

Storm集群中运行的各种组件及其并行

在Storm中，一个task就是运行在集群中的一个Spout或Bolt实例。   
suifeng3051·2014-11-13 16:00

storm spout bolt api基本介绍

注：转帖请注明，原帖地址：http://blog.csdn.net/xeseo/article/details/17750379  ComponentStorm中，Spout和Bolt都是其Component
wangjin161·2014-11-03 20:00

storm 实时

首先创建一个Topology主类， 然后spout是从kafka就收的数据流 KafkaSpout， 第一个bolt会从前面的spout接收数据，做一些初步的处理，传输给下一个bolt 不适应重量级的计算
xiangjinqi·2014-10-30 16:00

storm grouping

这种混排分组意味着来自Spout的输入将混排，或随机分发给此Bolt中的任务。shuffle grouping对各个task的tuple分配的比较均匀。
hansha2·2014-10-28 10:00

storm学习1

数据之间有关系（聚合等）：如日志pv/uv统计、访问热点统计DGA计算模型tuple:数据处理单元stream:持续的tuple流spout：从外部获取数据，输出原始tuplebolt：接收spout/bolt
幻想vs理想·2014-10-26 16:00

Storm的基本知识

元组会用于后面提到的Bolt方法的execute方法。2.Spou
Android路上的人·2014-10-22 09:20

Storm的基本知识

元组会用于后面提到的Bolt方法的execute方法。2
Androidlushangderen·2014-10-22 09:00

storm的ack和fail<转>

spout产生的每一个tuple,storm都会进行跟踪,这里面涉及到ack/fail的处理,如果一个tuple处理成功,会调用spout的ack方法,如果失败,会调用fail方法.而在处理tuple的每一个bolt
yongjian_luo·2014-10-10 18:00

Stom概念

自己实现一个实时计算系统要考虑哪些问题1.低延迟、高性能、分布式（单机已无法满足要求）、可扩展、容错2.容易在上面开发应用程序，消息不丢失败、消息严格有序 Storm优势1.简单的编程模型类似于MapReduce的Spout/Bolt2
elf8848·2014-10-09 10:00

Stom概念

自己实现一个实时计算系统要考虑哪些问题1.低延迟、高性能、分布式（单机已无法满足要求）、可扩展、容错2.容易在上面开发应用程序，消息不丢失败、消息严格有序Storm优势1.简单的编程模型类似于MapReduce的Spout/Bolt2
大阳阳·2014-10-09 10:00

用 Javascript 实现一个简易 BrainF**k 解释器

原文地址：http://xcoder.in/2014/10/08/brainf**k/首先祝贺自己在CodeWars升级到3Kyu，以及感谢@Bolt_白衣苍狗童鞋让我知道有CodeWars这么个好玩的东西
死月·2014-10-08 00:00

Storm术语简介

Task：worker中每一个spout/bolt的线程称为一个task.在storm0.8之后，task不再与物理线程对应，同一个spout/bolt的task可能会共享一个物理线程
Cap_zhou·2014-09-26 10:00

storm 0.9.2单机性能测试

Topology结构：spout输出80万数据（csv格式）；bolt1解析csv，拆分各信息段；bolt2按bolt1中某个字段汇总，累加记数后入库（入库触发频率：60s）。  
GoldenRoc·2014-09-23 12:00

Storm介绍

spout把数据传给bolt组件，bolt组件可以对数据完成某种转化。bolt组件可以把数据持久化，或者传送到其他的bolt。可以把Storm集群想象成一
莫问viva·2014-09-23 11:00

Storm实践3【TopN封装版】 - 1： 简要介绍

阅读目的: 优化之前的封装  最新版本的StormTOPN整体的构造如下：              依然包含如下的几个package：            1Spout：模拟发射数据        2bolt
止静·2014-09-13 13:00

storm-topology

spout和bolt都可以产生数据流，但是grouping可以决定如何选择下一个处理stream。 Shufle Grouping &n
wind35·2014-09-11 09:00

Storm[TOPN -排序] - RollingCountBolt

package com.cc.storm.bolt; import java.util.HashMap; import java.util.HashSet; import java.util.Map;
止静·2014-09-03 18:00
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他