E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
BOLT
storm 的三种计算语义
2.at-least-once:是用acker机制实现的,我们需要实现spout的两个方法:fail和ack,在topology上增加一个ackerbolt,spout和
bolt
发出的每一个tuple都会被将跟踪信息写到
cjfeii
·
2015-07-30 16:31
大数据
storm 的三种计算语义
2.at-least-once:是用acker机制实现的,我们需要实现spout的两个方法:fail和ack,在topology上增加一个ackerbolt,spout和
bolt
发出的每一个tuple都会被将跟踪信息写到
cjfeii
·
2015-07-30 16:00
storm原理介绍
一原理介绍二配置三并行度一storm拓扑的并行度可以从以下4个维度进行设置二并行度的设置方法三示例四分组五可靠性一spout二
bolt
一、原理介绍待补充二、配置完整的默认配置文件见下面defaluts.yaml
lujinhong2
·
2015-07-29 18:00
Storm介绍(一)
内容简介本文介绍了Storm的起源和Storm作者的八卦,然后介绍了Storm的特点和Storm模型的基本原理,着重介绍了Storm中的基本概念(Spout,
Bolt
,Stream,Tuple等)和对应的编程接口
Jack47
·
2015-07-25 18:00
storm基础框架分析
背景前期收到的问题:1、在Topology中我们可以指定spout、
bolt
的并行度,在提交Topology时Storm如何将spout、
bolt
自动发布到每个服务器并且控制服务的CPU、磁盘等资源的?
foreach_break
·
2015-07-22 23:00
storm如何保证at least once语义?
背景前期收到的问题:1、在Topology中我们可以指定spout、
bolt
的并行度,在提交Topology时Storm如何将spout、
bolt
自动发布到每个服务器并且控制服务的CPU、磁盘等资源的?
foreach_break
·
2015-07-21 21:00
关于Storm的几点困惑释疑
一、Storm的文档中提及为Spout和
Bolt
单元设置的“线程数量”为“初始线程数量”,难道还可以改变?
AllInCode
·
2015-07-07 16:35
大数据
关于Storm的几点困惑释疑
一、Storm的文档中提及为Spout和
Bolt
单元设置的“线程数量”为“初始线程数量”,难道还可以改变?
DSLZTX
·
2015-07-07 16:00
Storm中进程,线程,任务和实例的关系
以一个具体的例子来阐述“Storm中进程,线程,任务和实例的关系”假设现在有一个Topology实例,在该Topology实例中,配置为整个Topology实例服务的进程数量为10,配置了Spout单元和
Bolt
DSLZTX
·
2015-07-07 14:00
Storm中的基本概念
Spout:Topology中的输入数据流,连接数据源,将各类数据源转换成tuple结构的数据,并序列化,向
Bolt
输出转化后的数据流。
yuanman2002
·
2015-07-02 09:00
storm
Storm Topology 提交到集群
问题:当完成Topology各个组件的定义之后(写好了**Spout.java 和 **
Bolt
.java)如何将Topology提交到集群中去?
·
2015-07-01 17:00
storm
Storm 配置图文解析
sample-topology| |------------------------|Task1Task2Task3 ||WorkerProcess1||T1T2T3 ||+--------+||Spout=>
Bolt
cheungmine
·
2015-07-01 11:00
Bolt
的生命周期
1、在定义Topology实例过程中,定义好Spout实例和
Bolt
实例2、在提交Topology实例给Nimbus的过程中,会调用TopologyBuilder实例的createTopology()方法
AllInCode
·
2015-06-30 09:33
大数据
Spout的生命周期
1、在定义Topology实例过程中,定义好Spout实例和
Bolt
实例2、在提交Topology实例给Nimbus的过程中,会调用TopologyBuilder实例的createTopology()方法
AllInCode
·
2015-06-29 22:04
大数据
Spout的生命周期
1、在定义Topology实例过程中,定义好Spout实例和
Bolt
实例2、在提交Topology实例给Nimbus的过程中,会调用TopologyBuilder实例的createTopology()方法
DSLZTX
·
2015-06-29 22:00
Storm中的process,thread,task和spout对象实例,
bolt
对象实例
Storm中的process,thread和task的介绍可见文章《Storm的基本架构和编程流程》,那么关于spout对象实例和
bolt
对象实例与这些(process,thread,task)的关系是怎么样的
AllInCode
·
2015-06-29 16:11
大数据
Storm中的process,thread,task和spout对象实例,
bolt
对象实例
Storm中的process,thread和task的介绍可见文章《Storm的基本架构和编程流程》,那么关于spout对象实例和
bolt
对象实例与这些(process,thread,task)的关系是怎么样的
DSLZTX
·
2015-06-29 16:00
六、Storm的高级原语之Transactional Topology
○是一个每个tuple仅被处理一次的框架 ○由Storm0.7引入,于Storm0.9被弃用,被triden取而代之 ○底层依靠spout\
bolt
\topology\stream抽象的一个特性
datapro
·
2015-06-24 17:00
storm
transactional
topology
storm 与mysql整合问题
首先说明下问题的情况,1、我storm环境已经搭建完成,在本地测试wordcount是没问题的,2、我在wordcount中加入一个MysqlBolt,此
Bolt
只是简单的把wordcount的结果存入
晨磊
·
2015-06-22 15:00
五、Storm入门之
Bolt
你将在这一章学到
bolt
生命周期,一些
bolt
设计策略,以及几个有关这些内容的例子。
Bolt
生命周期
Bolt
是这样一种组件,它把元组作为输入,然后产生新的元组作为输出。
datapro
·
2015-06-18 01:00
storm
bolt
三、Storm入门之Topology(拓扑结构)
一个数据流组指定了每个
bolt
会消费哪些数据流,以及如何消费它们。NOTE:一个节点能够发布一个以上的数据流,一个数据流组允许我们选择接收哪个。数据流组在定义拓
datapro
·
2015-06-17 23:00
storm
topology
storm之8:并行度
3、executor(线程):指某个spout或者
bolt
的总线程数量,这些线程会被随机平均的分配到各个worker。4、task(spout/
bolt
实
·
2015-06-17 11:00
storm
一、初识Storm
、Storm基本概念:Nimbus:负责资源分配和任务调度Supervisor:负责Nimbus分配的任务,启动和停止属于自己管理的worker进程Worker:运行具体处理逻辑的组件进程Spout/
Bolt
datapro
·
2015-06-16 19:00
storm
Spout的实现步骤
· 声明Spout和
Bolt
之间的分组,并决定tuple发送给
Bolt
的途径。Spout的具体编码在ListingThree中显示。
超人学院
·
2015-06-12 16:00
hadoop
storm
超人学院
Android 下的 bolts tasks
1.github地址Bolts-Android2.gradle中引用dependencies{ compile'com.parse.
bolt
wuyuxing24
·
2015-06-11 21:00
android
异步
bolts-task
Stream Grouping类型
StreamGrouping定义了一个流在
Bolt
任务间该如何被切分。
超人学院
·
2015-06-09 16:00
hadoop
超人学院
storm的学习
1、storm框架的核心:Topology、stream、Spout、
Bolt
、streamgrouping、Task、Worker2、storm的多语言机制是指可以使用其他的语言定义Spout和
Bolt
3
NB_vol_1
·
2015-05-31 10:00
storm
jar
语言
Storm高级原语(二) -- DRPC详解
DRPC其实不能算是storm本身的一个特性,它是通过组合storm的原语stream、spout、
bolt
、topology而成的一种模式(pattern)。本来应
超人学院
·
2015-05-27 17:00
hadoop
storm
超人学院
Storm高级原语(二) -- DRPC详解
DRPC其实不能算是storm本身的一个特性,它是通过组合storm的原语stream、spout、
bolt
、topology而成的一种模式(pattern)。本来应
超人学院66
·
2015-05-27 17:42
storm
Hadoop
超人学院
Storm高级原语(二) -- DRPC详解
DRPC其实不能算是storm本身的一个特性,它是通过组合storm的原语stream、spout、
bolt
、topology而成的一种模式(pattern)。本来应
超人学院66
·
2015-05-27 17:42
hadoop
storm
超人学院
storm
hdfs topology: package com.ssc.arqe.hadoop.topology; import org.apache.storm.hdfs.
bolt
.HdfsBolt
djh4230
·
2015-05-26 14:00
storm
storm流分组
流分组指定了每个
bolt
消费哪些流和这些流被怎样消费。 一个结点可以发射不止一条数据流。流分组允许我们选择接收哪些流。
超人学院
·
2015-05-25 17:00
hadoop
storm
超人学院
storm流分组
流分组指定了每个
bolt
消费哪些流和这些流被怎样消费。 一个结点可以发射不止一条数据流。流分组允许我们选择接收哪些流。
超人学院66
·
2015-05-25 17:50
hadoop
storm
超人学院
Storm的并行度详解
supervisor运行的是topology中的spout/bolttasktask 是storm中进行计算的最小的运行单位,表示是spout或者
bolt
的运行实例。
超人学院
·
2015-05-22 14:00
hadoop
storm
超人学院
Storm的并行度详解
supervisor运行的是topology中的spout/bolttasktask 是storm中进行计算的最小的运行单位,表示是spout或者
bolt
的运行实例。
超人学院66
·
2015-05-22 14:12
hadoop
storm
超人学院
Strom简介
Executor:运行Splout/
bolt
的线程。Task:worker中每一个spout/
bolt
的线程称为一个task.Topology:Storm中运行的实时应用进
u011984824
·
2015-05-22 11:00
使用
Bolt
实现 GridView 表格控件
用
Bolt
实现了一个表格控件:1.提供Insert,Remove,Get,Set接口,可以为表格增删数据;2.通过 ItemClass,ItemSetDataFunc属性来指定显示数据所用的itemObj
zuibunan
·
2015-05-18 10:00
lua gc 优化方案
万次当发生gc的时候,这将占用几十、几百毫秒的时间)造成cpu曲线不平滑,很容易给人卡顿的感觉解决方案有两种,一种是云风给出的多线程gc还有一种则是我正在用的,在不能修改lua引擎代码的情况(比如使用
Bolt
superzmy
·
2015-05-11 18:00
优化
内存
lua
storm之DRPC
其实即使不通过DRPC,而是通过在Topoloye中的spout中建立一个TCP/HTTP监听来接收数据,在最后一个
Bolt
中将数据发送到指定位
lixiyuan
·
2015-05-09 11:00
storm坑之---同步问题
首先我的业务逻辑是按分钟统计一分钟中的调用次数的数据,所以我在
bolt
里跑了一个定时器,定时将统计数据发到下一个
bolt
入库。所在
·
2015-04-25 17:00
storm
二,使用Storm实现实时大数据分析实例:用storm来监测车辆速度是否超过80km/h
Bolt
的实现Spout的输出结果将给予
Bolt
进行更深一步的处理。经过对用例的思考,我们的topology中需要如Figure3中的两个
Bolt
。Figure3:Spout到
Bolt
的数据流程。
ajan
·
2015-04-22 12:43
storm写redis问题小结
最近一直在跟进storm的问题,从storm集群的稳定性到监控到升级到
bolt
写redis的问题,因为公司目前没有专业运维redis的,只能我们数据部门自己搞了。。
菜菜光
·
2015-04-19 17:41
redis
storm
问题
storm写redis问题小结
最近一直在跟进storm的问题,从storm集群的稳定性到监控到升级到
bolt
写redis的问题,因为公司目前没有专业运维redis的,只能我们数据部门自己搞了。。
菜菜光
·
2015-04-19 17:41
redis
storm
问题
storm写redis问题小结
最近一直在跟进storm的问题,从storm集群的稳定性到监控到升级到
bolt
写redis的问题,因为公司目前没有专业运维redis的,只能我们数据部门自己搞了。。
菜菜光
·
2015-04-19 17:41
问题
storm
redis
storm
关于jedis的使用小结
1.pom.xml中依赖如下: redis.clients jedis 2.6.1 2.jedispool中ping的产生线上storm的
bolt
使用jedispool
菜菜光
·
2015-04-19 16:07
jedis
ping
依赖
关于jedis的使用小结
1.pom.xml中依赖如下: redis.clients jedis 2.6.1 2.jedispool中ping的产生线上storm的
bolt
使用jedispool
菜菜光
·
2015-04-19 16:07
ping
依赖
jedis
dev
关于jedis的使用小结
1.pom.xml中依赖如下: redis.clients jedis 2.6.1 2.jedispool中ping的产生线上storm的
bolt
使用jedispool
菜菜光
·
2015-04-19 16:07
jedis
ping
依赖
Storm中Trident流合并的例子demo
流的合并操作,是指根据两个流的关联条件将两个流合并成一个流,然后在进行后面的处理操作,如果使用Spout和
Bolt
这种编程模型的话写起来会比较困难和繁琐,因为要设置缓冲区来保存第一次过来的数据
liyantianmin
·
2015-04-16 18:00
Storm里的Stream grouping
Streamgrouping:ShuffleGrouping: 随机分组,随机分发stream里的tuple,并保证每个
bolt
能接收到的tuple数目大致相等。
zyqJustin
·
2015-04-13 17:00
Stream
grouping
Storm之spout,
bolt
编写
Storm,核心代码使用clojure书写,实用程序使用python开发,使用java开发拓扑。 Nimbus节点接收到请求,对提交的拓扑进行分片,分成一个个的task,并将task和supervisor相关的信息提交到zookeeper集群上,supervisor会去zookeeper集群上领自己的task,通知自己的worker进程进行Task的处理。 Spout的主要方法: op
·
2015-04-12 13:00
storm
上一页
9
10
11
12
13
14
15
16
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他