spout

Storm学习笔记

开源的分布式实时大数据处理框架最早开源于github官网http://storm.apache.orgStorm计算模型：Topology-DAG有向无环图的实现，对于Storm实时计算逻辑的封装即由一系列通过数据流相互关联的Spout
kaku812814843·2019-04-10 09:22

Jstorm学习笔记(1)——原理

Worker：工作进程，每个工作进程中都有多个Task线程Task：任务，每个任务都是一个线程，执行具体的算子代码Zookeeper：集群管理2.工作流程图1工作流程3.Topology结构图2拓扑结果Spout
iwill_5b2f·2019-04-08 18:53

Apache Storm Trident

Trident使用spout和bolt，但是这些低级组件在执行之前由Trident自动生成。Trident具有函数，过滤器，联接，分组和聚合。Trident将流处理为一系列批次，称为
raincoffee·2019-02-15 16:52

Mysql增量写入Hdfs（二） --Storm+hdfs的流式处理

概述上一篇我们介绍了如何将数据从mysql抛到kafka，这次我们就专注于利用storm将数据写入到hdfs的过程，由于storm写入hdfs的可定制东西有些多，我们先不从kafka读取，而先自己定义一个Spout
zzzzMing·2018-12-12 21:00

Storm框架：Storm整合springboot

我们先来了解以下概念：Storm主要的三个Component：Topology、Spout、Bolt。Topology作为主进程控制着spout
哦哦002·2018-11-25 20:22

聊聊flink如何兼容StormTopology

throwsException{//NOTE1buildTopologytheStormwayfinalTopologyBuilderbuilder=newTopologyBuilder();builder.setSpout("spout
codecraft·2018-11-23 00:00

storm实验问题

atleastoncecheckpoint，只能保证恢复到最近一次的状态，但是fail的tuple不能重发，如果不编写spout的ack和fail方法的话。
大大大大大大大熊·2018-11-22 16:29

storm Trident

Tridenttopology.Trident在storm上提供了高层抽象,抽象掉了事务处理和状态管理的细节.Tridenttopologytrident引入了"数据批次概念"batch每个batch会分配一个唯一的事务标识符,spout
Em_dark·2018-11-20 15:43

storm详解

组成Storm分布式计算结构topology(拓扑)stream(数据流)spout(数据流的生成者)bolt(运算)Stormtopology会一直运行下去,除非进程被杀死或被取消部署stream核心数据结构是
Em_dark·2018-11-19 17:04

聊聊storm的ICommitterTridentSpout

/org/apache/storm/trident/spout/ICommitterTridentSpout.javapublicinterfaceICommitterTridentSpoutextendsITridentS
codecraft·2018-11-19 00:00

[case46]聊聊storm trident spout的_maxTransactionActive

序本文主要研究一下stormtridentspout的_maxTransactionActiveMasterBatchCoordinatorstorm-core-1.2.2-sources.jar!/org/apache/storm/trident/topology/MasterBatchCoordinator.javaTreeMap_activeTx=newTreeMap();publicvoi
codecraft·2018-11-18 00:00

聊聊storm trident batch的分流与聚合

序本文主要研究一下stormtridentbatch的分流与聚合实例TridentTopologytopology=newTridentTopology();topology.newStream("spout1
codecraft·2018-11-17 00:00

Storm和Hadoop的区别整理

历史数据)，STORM是处理的是实时新增的某一笔数据(实时数据)；2.处理过程HADOOP是分MAP阶段到REDUCE阶段，STORM是由用户定义处理流程，流程中可以包含多个步骤，每个步骤可以是数据源(SPOUT
cop封尘·2018-11-15 17:51

Storm和Hadoop的区别整理

历史数据)，STORM是处理的是实时新增的某一笔数据(实时数据)；2.处理过程HADOOP是分MAP阶段到REDUCE阶段，STORM是由用户定义处理流程，流程中可以包含多个步骤，每个步骤可以是数据源(SPOUT
cop封尘·2018-11-15 17:51

Storm和Kafka的整合

Storm和Kafka的整合1.将kafka作为spout，编写kafkaSpout，bolt，topology程序2.测试2.1.启动Zookeeper(3台)[root@masterbin]#.
cop封尘·2018-11-15 17:14

Storm和Kafka的整合

Storm和Kafka的整合1.将kafka作为spout，编写kafkaSpout，bolt，topology程序2.测试2.1.启动Zookeeper(3台)[root@masterbin]#.
cop封尘·2018-11-15 17:14

聊聊storm的AggregateProcessor的execute及finishBatch方法

AggregateProcessor的execute及finishBatch方法实例TridentTopologytopology=newTridentTopology();topology.newStream("spout1
codecraft·2018-11-15 00:00

聊聊storm WindowTridentProcessor的FreshCollector

stormWindowTridentProcessor的FreshCollector实例TridentTopologytopology=newTridentTopology();topology.newStream("spout1
codecraft·2018-11-14 00:00

[case45]聊聊storm-kafka-client的ProcessingGuarantee

/org/apache/storm/kafka/spout/KafkaSpoutConfig.java/***Thisenumcontrolswhenthetuplewiththe{@linkC
codecraft·2018-11-11 00:00

聊聊storm的maxSpoutPending

序本文主要研究一下storm的maxSpoutPendingTOPOLOGY_MAX_SPOUT_PENDINGstorm-2.0.0/storm-client/src/jvm/org/apache/storm
codecraft·2018-10-30 00:00

storm（08）——storm消息不丢失机制

通过Ack机制，spout发送出去的每一条消息，都可以确定是被成功处理或失败处理，从而可以让开发者采取动作。比如在Meta中，成功被处理，即可更新偏移量，当失败时，重复发送数据。
Fenggms·2018-10-10 20:32

Storm整合kafka

kafka作为源头Spout，Storm进行流计算处理(以WordCount为例)导入依赖org.apache.stormstorm-core1.1.3org.apache.stormstorm-kafka1.1.3org.apache.kafkakafka
皮皮的雅客·2018-10-08 15:14

2 Storm代码实现

Storm的一个拓扑中包括Spout和Blots。代码主要体现在Spout读取数据，然后发送给Blot去处理。
lijiaccy·2018-09-11 21:22

Storm集群架构

有关调度相关的信息存储到ZooKeeper集群中，架构如下图所示：NimbusStorm集群的Master节点，负责分发用户代码，指派给具体的Supervisor节点上的Worker节点，去运行Topology对应的组件（Spout
大数据导师·2018-09-01 17:56

Kafka和Storm的整合

设置transient防止nimbus将这个字段序列化给supervisorprotectedtransientKafkaConsumerkafkaConsumer;//StormSpout的API，在spout
define_us·2018-08-30 11:11

storm（一） 集群架构

Nimbus：管理节点，用于提交Supervisor：从节点，接受来自于Nimbus节点的任务，管理WorkerWorker：工作进程，具体执行业务的工作进程Executor：工作线程，一个实际的物理线程Spout
阿睿93·2018-08-28 23:45

storm消息可靠机制(ack)的原理和使用

参照我这篇文章:storm的并行度解释关于storm的流分组策略,参照我这篇文章:storm的流分组策略关于storm的消息可靠机制,参照我这篇文章:storm的消息可靠机制storm的消息可靠机制可以确保spout
zhangSir134·2018-08-28 22:40

storm（五） 消息分组策略

消息分发策略决定了消息在spout和bolt间，bolt和bolt间如何进行传递。
阿睿93·2018-08-16 21:58

实时流Streaming大数据：Storm,Spark和Samza

ApacheStorm在Storm中，你设计的实时计算图称为toplogy，将其以集群方式运行，其主节点会在工作节点之间分发代码并执行，在一个topology中，数据是在spout之间传递，它发射数据流作为不可变的
周雄伟·2018-08-05 15:13

Strom的描述和安装

一，Strom的特点1，架构：1.1，Nimbus1.2，Supervisor1.3，Worker2.2，编程模型：2.1，DAG2.2，Spout2.3，Bolt3，数据传输：3.1，ZmqZmq也是开源的消息传递的框架
IT影风·2018-07-23 23:01

kafka整合strom代码实例讲解

strom整合kafka关键就是以strom中的spout当作kafka的消费者来接收生产者传入的数据。画一个简单的图：好了，接下来我们直接上代码！
wanghuichen·2018-07-10 15:41

学习笔记-Storm

Strom特点：时效性高，低延迟逐条处理数据没持久化层，支持多语言本地模式，可模拟集群所有功能使用原语（spout和bolts）类似于MapReduce中的Map和ReduceStorm启动就没有结束，
Jameslvt·2018-07-05 14:31

java.lang.NoSuchMethodError: org.apache.kafka.common.network.NetworkSend

Storm集成kafka时（IDEA环境下），出现了这个问题，提示如下：7630[Thread-16-spout-executor[33]]INFOo.a.s.k.PartitionManager-Readpartitioninformationfrom
IbeleveIcan·2018-07-02 16:49

storm基础概念2

逻辑概念spout,bolt,topology物理概念task,executor,worker一个task是一个spout或者bolt的实例，stream指的是同一个compoment的多个task之间的流向一个
loinliao·2018-06-25 10:27

利用storm实现简单的单词统计

WordReader类(spout读取txt文档，按行发射给bolt)publicclassWordReaderimplementsIRichSpout{/***序列化*/privatestaticfinallongserialVersionUID
csdn_Hzx·2018-06-13 21:13

利用storm实现简单的单词统计

WordReader类(spout读取txt文档，按行发射给bolt)publicclassWordReaderimplementsIRichSpout{/***序列化*/privatestaticfinallongserialVersionUID
csdn_Hzx·2018-06-13 21:13

storm trident 如何标记一个batch被处理——coordinator spout

Splittingastreamhasnoeffectonthebatch.Ifyoujointhestreambacktogether,thenyes,itwillbethesamebatch.Tuplesarepassedbetweenpartitionsintheorderthey'reemitted(repartitioninghappensongroupBy,partitioningop
正居明阳·2018-05-31 13:01

大数据学习之（Storm）-原理详解！

，一个topology可以包含多个worker，但一个worker只能属于一个topologyExceutor在Worker中运行的线程，一个Executor可以对应一个或多个Task，每个Task（Spout
qq5af153121eb2c·2018-05-08 16:13

虚拟机上搭建storm集群详细教程

同样，Storm也对数据的实时计算提供了简单Spout和Bolt原理。Storm适用的场景：1、流数据处理：Storm可以用来用来处理源源不断
XiaoXiao_Yang77·2018-05-04 15:58

Storm学习笔记

Storm集群的输入流由一个被称作spout的组件管理，spout把数据传递给bolt，bolt要么把数据保存到某种存储器，要么把数据传递给其它的bolt。
JackLeeLive·2018-04-25 15:56

Storm 笔记

由stream、spout、bolt组成。topography维护了一个拓扑结构，其中，spout可以从外部获取数据，随后将数据传给
ALovelyLazyCat·2018-04-22 17:16

Storm 笔记

由stream、spout、bolt组成。topography维护了一个拓扑结构，其中，spout可以从外部获取数据，随后将数据传给
ALovelyLazyCat·2018-04-22 17:16

Apache Storm分布式实时处理数据流系统

Storm集群的输入流由一个被称作spout的组件管理，spout把数据传递给bolt，bolt要么把数据保存到某种存储器，要么把数据传递给其它的bolt。
郭小傲·2018-04-19 09:58

Storm笔记整理（五）：可靠性分析、定时任务与Storm UI参数详解

[TOC]特别说明：前面的四篇Storm笔记中，关于计算总和的例子中的spout，使用了死循环的逻辑，实际上这样做是不正确的，原因很简单，Storm提供给我们的API中，nextTuple方法就是循环执行了
xpleaf·2018-04-14 00:42

Storm笔记整理（四）：Storm核心概念与验证——并行度与流式分组

1个worker进程会启动1个或多个executor线程来执行1个topology的(spout或bolt)。
xpleaf·2018-04-13 16:02

jstorm storm 入门demo

jstorm和storm比较jstorm是阿里巴巴开源的基于storm采用Java重写的一套分布式实时流计算框架，使用简单，特点如下：1，开发非常迅速:接口简单，容易上手，只要遵守Topology，Spout
木号·2018-04-07 10:19

Storm 从入门到精通 第十九讲 Storm DRPC 简介及设计思想

DRPC其实不能算是Storm本身的一个特性,它是通过组合Storm的Stream、Spout、
netcobol·2018-04-06 21:04

JStorm kafka集成解析

这篇文章主要聊聊集成kafka的实现细节、开发时要注意的一些坑及优化方面的一些思考实时流式计算框架一般从消息队列实时拉取数据，而kafka是很多公司首选的分布式消息发布订阅系统，jstorm也提供了消费kafka的spout
data之道·2018-03-09 11:00

TPS低，CPU高--记一次storm压测问题排查过程

http://www.cnblogs.com/SuKiWX/p/8342025.html一、业务背景+系统架构本次场景为kafka+storm+redis+hbase，通过kafka的数据，进入storm的spout
a75543332·2018-01-24 15:00

Storm的并行度详解 Strom Topology执行分析：worker数，Bolt实例数，executor数，task数

supervisor运行的是topology中的spout/bolttasktask是storm中进行计算的最小的运行单位，表示是spout或者bolt的运行实例。
首席撩妹指导官·2017-12-13 21:01
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他