E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
spout
浅谈代码如何进行分层设计
存在问题服务初始化混乱,如有通过PostConstruct注解初始化,有通过
Spout
的open初始化,有通过Bolt的prepare方法初始化,有通过其他一些初始化方法初始化的;服务没有按需初始化,例如
飘叶入海
·
2020-09-14 12:31
Java
Storm wordcount
前言:1个
Spout
得到数据源2个bolt,其中一个用来把获取到的数据进行切分为单词,另一个bolt用来统计词频创建java工程,导入stormlib包下的jar或者通过maven方式进行包管理
Spout
mustbesomebody
·
2020-09-13 21:17
storm
一个demo快速入门Storm
Storm框架主要由7部分组成:Topology、
Spout
、Bolt、Stream、Streamgrouping、Task、WorkerTopolog
我的兔子丢了
·
2020-09-13 20:38
大数据
后端开发
Storm滑动窗口实现批量计算
本文转载自我的原创bloghttp://www.javali.org/arch/storm-sliding-window-used-to-batch-compution.htmlstorm是一个流式处理框架,可以做到
Spout
sawen21
·
2020-09-13 10:37
hadoop
storm滑动时间窗口实现
storm是一个流式处理框架,可以做到
Spout
产生一条数据,Bolt处理一条以达到实时计算。
明星it
·
2020-09-13 09:12
流式计算
storm学习(1)-基础
/index.html实时计算系统,持续计算,速度快,每秒百万tuble,tuble:元组数据结构,使用逗号分隔,stream:一系列的tublespout:水龙头数据源bolt:螺栓,逻辑处理单元,
spout
sky若沉默
·
2020-09-11 16:15
storm
各种大数据框架处理流程
MapReduce:input-->map(reduce)-->outputStorm:input-->
Spout
/Bolt-->outputSpark:input-->transformation/action
ylqdh
·
2020-09-11 05:11
BigData
storm+kafka测试案例
一.storm本地测试创建
spout
继承BaseRichSpout创建bolt继承BaseBasicBolt创建topology使用TopologyBuildercreateTopology()创建启动
任小辉
·
2020-09-11 03:44
java
Storm,Spark,Flink对比
storm的容错通过ack机制实现,每个bolt或
spout
处理完成一条data后会发送一条ack消息给ackerbol
myf008
·
2020-08-29 16:32
如何构建高效的storm计算模型
Spout
负责从数据源拉取数据,相当于整个系统的生产者。Bolt负责消费数据并将tuple发送给下一个计算单元。Bolt可以接受多个
spout
和bolt的数据。
z_l_l_m
·
2020-08-25 01:50
storm
流式计算
storm自定义实现wordcount
例如:(k1:v1,k2:v2,k3:v3,····)
Spout
是数据采
心_的方向
·
2020-08-24 17:10
Excel/CSV 导入导出库,支持大文件,样式设置
前言项目上使用过maatwebsite/Excel,mk-j/php_xlsxwriter,box/
spout
这三个库,简单说下使用体验maatwebsite/Excel优点功能非常强大,不足的是占用内存太多
洛奇_巴布亚
·
2020-08-24 15:54
php
excel
spreadsheet
csv
storm消息容错机制
1.1、总体介绍在storm中,可靠的信息处理机制是从
spout
开始的。一个提供了可靠的处理机制的
spout
需要记录他发射出去的tuple,当下游bolt处
大数据专家
·
2020-08-24 15:09
storm
kafka随笔
spout
和pati
大大大大大大大熊
·
2020-08-24 06:37
Storm bolt/
spout
生命周期
在通过main函数提交topo之前,将storm相关的配置信息通过yaml文件对应类传入到bolt中,在某一个数据库连接池的公共类中同样需要相关的配置信息,因为业务和测试需求的便捷性,便将相关配置也放入了yaml中。起初是在main函数里面进行该公共类的初始化,即将相关的config信息传入,在单bolt的情况下测试没有问题,便发布到服务器并配置多个bolt,由此就引发了一个空指针的异常。后来在了
秒速五CM
·
2020-08-23 10:29
storm
storm
异常
生命周期
一起来看「暴风雨」
+n思路:一个
spout
输出数字,一个bolt求和环境准备jdk1.7以上的oraclejdkideamaven3.xzookeeper添加依赖 org.apache.storm storm-core
小小小海文
·
2020-08-23 06:35
大数据
KafkaSpout 浅析
最近在使用storm做一个实时计算的项目,
Spout
需要从KAFKA集群中读取数据,为了提高开发效率,直接使用了Storm提供的KAFKA插件。
weixin_30449239
·
2020-08-23 03:51
Storm应用系列之——集成Kafka
原帖地址:http://blog.csdn.net/xeseo前言在前面Storm系列之——基本概念一文中,提到过Storm的
Spout
应该是源源不断的取数据,不能间断。
Edison徐
·
2020-08-22 23:17
Storm
Kafka
基于Apache Storm Trident实时计算开发 上
通常,一个基本的基于Storm的流式计算程序需要有以下几个部分:一个
Spout
、若干个Bolt、一个Topology。
Spout
和Bolt程序编写,以及Topology的编排不是太友好。
我是楠楠
·
2020-08-22 18:45
技术文章
聊聊flink如何兼容StormTopology
throwsException{//NOTE1buildTopologytheStormwayfinalTopologyBuilderbuilder=newTopologyBuilder();builder.setSpout("
spout
codecraft
·
2020-08-20 20:04
storm
flink
聊聊flink如何兼容StormTopology
throwsException{//NOTE1buildTopologytheStormwayfinalTopologyBuilderbuilder=newTopologyBuilder();builder.setSpout("
spout
codecraft
·
2020-08-20 20:04
storm
flink
聊聊storm的ICommitterTridentSpout
/org/apache/storm/trident/
spout
/ICommitterTridentSpout.javapublicinterfaceICommitterTridentSpoutextendsITridentS
codecraft
·
2020-08-20 20:23
storm
聊聊storm的ICommitterTridentSpout
/org/apache/storm/trident/
spout
/ICommitterTridentSpout.javapublicinterfaceICommitterTridentSpoutextendsITridentS
codecraft
·
2020-08-20 20:22
storm
[case46]聊聊storm trident
spout
的_maxTransactionActive
序本文主要研究一下stormtridentspout的_maxTransactionActiveMasterBatchCoordinatorstorm-core-1.2.2-sources.jar!/org/apache/storm/trident/topology/MasterBatchCoordinator.javaTreeMap_activeTx=newTreeMap();publicvoi
codecraft
·
2020-08-20 20:21
storm
[case46]聊聊storm trident
spout
的_maxTransactionActive
序本文主要研究一下stormtridentspout的_maxTransactionActiveMasterBatchCoordinatorstorm-core-1.2.2-sources.jar!/org/apache/storm/trident/topology/MasterBatchCoordinator.javaTreeMap_activeTx=newTreeMap();publicvoi
codecraft
·
2020-08-20 20:21
storm
聊聊storm trident batch的分流与聚合
序本文主要研究一下stormtridentbatch的分流与聚合实例TridentTopologytopology=newTridentTopology();topology.newStream("
spout
1
codecraft
·
2020-08-20 20:19
storm
聊聊storm trident batch的分流与聚合
序本文主要研究一下stormtridentbatch的分流与聚合实例TridentTopologytopology=newTridentTopology();topology.newStream("
spout
1
codecraft
·
2020-08-20 20:19
storm
Topology的并行度设置
首先会在storm集群中启多个worker进程,每个worker进程中再起若干的executor线程,每个executor线程中运行一个或多个task的实例,每个executor中的task都属于同一个
spout
Woople
·
2020-08-20 04:48
Storm学习小结(二)——集成JDBC和Redis
Storm学习笔记(续)Storm集成JDBC在自己写的一个Demo中使用了数据库存储的操作,发现一些问题,场景大致是:
spout
从kafka中读取数据,发送给bolt1计算得到一个数据,bolt1发给
sheen1991
·
2020-08-19 19:16
Storm
数据库相关
storm详解(三) storm架构和编程模型总结
1、编程模型DataSource:外部数据源
Spout
:接受外部数据源的组件,将外部数据源转化成Storm内部的数据,以Tuple为基本的传输单元下发给BoltBolt:接受
Spout
发送的数据,或上游的
于颖超
·
2020-08-19 08:01
Jstorm 基本概念
本质基于消息的流水线处理模型是一套类似MapReduce一样的编程模型内核是一套调度系统适合的业务高并发的计算任务数据流之间相互无依赖编程模型Topology:即一个数据流的拓扑结构,包含多个
Spout
glowd
·
2020-08-18 12:57
jstorm
storm
Storm的ack原理和使用
Storm的ack原理通过Ack机制,
spout
发送出去的每一条消息,都可以确定是被成功处理或失败处理,从而可以让开发者采取动作。比如在Meta中,成功被处理,即可更新偏移量,当失败时,重复发送数据。
微信用户_43167990
·
2020-08-18 12:21
Linux软件
流处理旅程——storm之
spout
介绍
核心
Spout
中方法的说明1、
Spout
数据源消息源
Spout
是storm的Topology中的消息生产者。
Xlucas
·
2020-08-18 11:49
流处理
JStorm源代码阅读-bolt/
spout
的执行
无论是bolt还是
spout
,线程使用Runnable对象都是AsyncLoopRunnablepublicclassAsyncLoopRunnableimplementsRunnable{privateRunnableCallbackfn
define_us
·
2020-08-18 11:40
Spark Streaming 接任意数据源作为 Stream
SparkStreaming接任意数据源作为Stream问题出发点工程中遇到流式处理的问题时,多采用SparkStreaming或者Storm来处理;Strom采用
Spout
的流接入方式,Streaming
BIT_666
·
2020-08-18 10:21
spark
streaming
Jstorm最佳实践
bolt的prepare中实例化推荐一个worker运行2个task减少拓扑层数,随着拓扑层数的增加,系统吞吐率下降,同时CPU利用率一直在上升,网络带宽未达到极限;最好设置topology.max.
spout
.pending
glowd
·
2020-08-18 10:13
jstorm
storm
Storm 官方文档翻译 --- 消息的可靠性保障
消息的可靠性保障Storm能够保证每一个由
Spout
发送的消息都能够得到完整地处理。本文详细解释了Storm如何实现这种保障机制,以及作为用户如何使用好Storm的可靠性机制。
weixin_30699463
·
2020-08-17 16:23
Storm:多并行度下
Spout
和Blot实体间Tuple的定向传输(tuple在多流时的路由)
多并行度下
Spout
和Blot实体间Tuple的定向传输图1
Spout
与Blot多对1关系图图2
Spout
与Blot1对1关系图图3
Spout
与Blot1对多关系图Topology中可以有多个
Spout
iteye_11495
·
2020-08-17 00:17
【Storm流式处理框架第二期】Storm计算模型
Topology–DAG有向无环图的实现对于Storm实时计算逻辑的封装,即,由一系列通过数据流相互关联的
Spout
、Bolt所组成的拓扑结构。
DXH924
·
2020-08-15 21:59
分布式计算
Storm
Storm之详解
spout
、blot
1、Topology的构造backtype.storm.topology.TopologyBuilder2、
Spout
组件的编写实现接口backtype.storm.topology.IRichSpout
weixin_33779515
·
2020-08-14 20:44
storm运行topology不正常排查
提交topology成功后,发现运行不正常验证topology提交成功:打开nimbusui,看看提交的topology是否存在检查自己的topology,在ui中点击自己的topology后查看
spout
「已注销」
·
2020-08-14 14:00
storm
大数据
ui
storm源代码分析之acker工作流程
也就是说对于任何一个
spout
-tuple以及它的所有的子孙到底处理成功失败与否我们都会得到通知。关于如果做到这一点的原理,先前以及讲过。从
羊群里跑个驴
·
2020-08-14 02:35
storm见闻
storm代码处理单词计数
包是在storm解压下的lib目录里,如果集成其他的保存数据的组件如redis、hdfs就需要到/root/training/apache-storm-1.0.3/external这里边的jar包代码:
spout
枣泥馅
·
2020-08-10 21:28
大数据hadoop
trident原理及编程指南
trident原理及编程指南@(STORM)[storm,大数据]trident原理及编程指南一理论介绍一trident是什么二trident处理单位三事务类型1
spout
类型2state类型3实现恰好一次的
jediael_lu
·
2020-08-09 21:42
1.3.3
STORM
Storm消息容错机制(ack-fail机制)
storm消息容错机制(ack-fail)1、介绍在storm中,可靠的信息处理机制是从
spout
开始的。
weixin_34025151
·
2020-08-09 00:30
storm的ack和fail
文章原始地址http://macrochen.iteye.com/blog/1414568为了保证数据能正确的被处理,对于
spout
产生的每一个tuple,storm都会进行跟踪,这里面涉及到ack/fail
radar1985
·
2020-08-08 20:31
storm
网站访问量实时统计
一、需求:统计网站访问量(实时统计)技术选型:特点(数据量大、做计算、实时)实时流式计算框架:storm1)
spout
数据源,接入数据源本地文件2)splitbolt业务逻辑处理切分数据拿到网址3)bolt
weixin_30548917
·
2020-08-05 20:21
ack是什么,如何使用Ack机制,如何关闭Ack机制,基本实现,STORM的消息容错机制,Ack机制
通过Ack机制,
spout
发送出去的每一条消息,都可以确定是被成功处理或失败处理,从而可以让开发者采取动作。比如在Meta中,成功被处理,即可更新偏移量,当失败时,重复发送数据。
to.to
·
2020-08-04 18:03
#
storm(实时计算)
Storm的消息处理保障机制
本文译自:http://storm.apache.org/documentation/Guaranteeing-message-processing.htmlStorm会保证每个来自
Spout
的消息会被完全处理
FireOfStar
·
2020-08-02 15:10
学习笔记
从 Storm 到 Flink,汽车之家基于 Flink 的实时 SQL 平台设计思路与实践
Storm作为早期主流的实时计算引擎,凭借简单的
Spout
和Bolt编程模型以及集群本身的稳定性,俘获了大批用户。
Ververica
·
2020-08-02 14:37
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他