JStorm

JStorm中的并行（ parallelismction ）介绍

JStorm中的并行（parallelismction）介绍JStrom中，一个计算任务通过多台机器使得计算分解为多个独立并行运行在集群内执行的任务（tasks），从而得到水平扩展。
doctor_who2004·2015-08-17 00:00

JStorm中消息确保处理机制

JStorm中消息确保处理机制从一个spout发射（emit）出去的元祖（tuple），到达下层bolt时候，可能有bolt拆成多个元祖。
A_Beaver·2015-08-16 23:53

JStorm中消息确保处理机制

JStorm中消息确保处理机制     从一个spout发射（emit）出去的元祖（tuple），到达下层bolt时候，可能有bolt拆成多个元祖。
doctor_who2004·2015-08-16 23:00

JStorm/Strom配置executors和tasks（线程和实例）

注意：JStorm马上融合到Strom内核了，这意味着以后没有Strom了。
doctor_who2004·2015-08-16 23:00

Jstorm提交任务的流程

今天结合JStorm官方Demo，进一步研磨学习了JStorm提交任务到分配任务的过程，下面是自己的一些认识与理解。
UP19910522·2015-08-16 15:00

2015.6.2

在四台虚拟机上完成了Jstorm和Zookeeper集群的搭建，并向JStorm提交官方demo，运行成功。
UP19910522·2015-08-16 15:00

2015.6.1

1对Jstorm的认识与理解：jstorm是一个类似于HadoopMapReduce的分布式处理系统，用户向Jstorm提交一个任务，Jstorm将这个任务按7×24小时跑起来，如果运行过程中有一个worker
UP19910522·2015-08-16 15:00

Jstorm简介（参考storm的实时流式计算框架）

  Jstorm是参考storm的实时流式计算框架，在网络IO、线程模型、资源调度、可用性及稳定性上做了持续改进，已被越来越多企业使用 作为commiter和user，我还是非常看好它的应用前景，下面是在团队内的分享介绍
xinklabi·2015-08-02 13:00

JStorm-0.9.6.2安装配置

JStorm是由Alibaba开源的实时计算系统，它使用Java重写了ApacheStorm（使用Clojure+Java混编），而且在原来的基础上做了很多改进的地方。
m635674608·2015-06-24 09:00

Storm 和JStorm

于流处理框架，在先前的文章汇总已经介绍过Strom，今天学习的是来自阿里的的流处理框架JStorm。
m635674608·2015-06-24 09:00

No output fields defined for component:xxx::defaul

        学习jstorm过程中，碰到一问题： ERRORcom.alibaba.jstorm.daemon.supervisor.SyncProcessEvent -FailedSyncProcessjava.lang.IllegalArgumentException
Beaver_·2015-04-26 10:00

JStorm之Supervisor简介

一、简介Supervisor是JStorm中的工作节点，类似于MR的TT，subscribezookeeper的任务调度结果数据，根据任务调度情况启动/停止工作进程Worker。
wwwxxdddx·2015-04-16 17:00

JStorm之Woker启动流程

我们知道，在Jstorm中具体任务执行是由Woker来完成的，Woker的启动是由Supervisor组件负责，下面就介绍一个Woker的启动流程。
lihm0_1·2015-03-25 18:00

Storm核心概念剖析

最近团队中有分析的场景，用到了JStorm来做数据的实时分析，于是花时间对于一些概念做了了解。 什么是Storm?
iamzhongyong·2015-03-20 20:00

Storm核心概念剖析

最近团队中有分析的场景，用到了JStorm来做数据的实时分析，于是花时间对于一些概念做了了解。 什么是Storm?
iamzhongyong·2015-03-20 20:00

Storm核心概念剖析

最近团队中有分析的场景，用到了JStorm来做数据的实时分析，于是花时间对于一些概念做了了解。 什么是Storm?
iamzhongyong·2015-03-20 20:00

Storm核心概念剖析

最近团队中有分析的场景，用到了JStorm来做数据的实时分析，于是花时间对于一些概念做了了解。 什么是Storm?
iamzhongyong·2015-03-20 12:00

JStorm之Topology调度

 topology在服务端提交过程中，会经过一系列的验证和初始化：TP结构校验、创建本地目录并拷贝序列化文件jar包、生成znode用于存放TP和task等信息，最后一步才进行任务分配，如下图：提交主函数位于ServiceHandler.java中privatevoidmakeAssignment(StringtopologyName,StringtopologyId, TopologyIniti
lihm0_1·2015-03-16 19:00

（二）　kafka-jstorm集群实时日志分析 之 ---------jstorm集成spring

  后面为了引入DubboRPC框架（用spring配置），先把spring引入jstorm中，请先了解一下jsorm多线程方面的文档：http://storm.apache.org/documentation
Beaver_·2015-03-11 22:00

Mdrill：来自阿里的多维快速查询工具

mdrill是一个分布式的在线分析查询系统，基于hadoop,lucene,solr,jstorm等开源系统作为实现，基于SQL的查询语法。mdrill是一个能够对大量数据进行分布式处理的软件框架。
标点符·2015-02-22 02:00

JStorm之Topology提交服务端

 topology提交前会先判断集群中是否存在同名作业，如果存在在提交失败，如果没有则会增加集群提交次数SubmittedCount，每次提交成功，该变量都会加1，然后会为该作业分配一个id，生成规则如下：publicstaticStringTopologyNameToId(StringtopologyName,intcounter){ returntopologyName+"-"+counter
lihm0_1·2015-01-16 19:00

JStorm之Topology提交客户端

  一个topology包含一或多个spoutbolt，spout负责在数据源获得数据并发送给bolt，每个bolt负责做完处理后发给下一个bolt。通常topology的创建是由TopologyBuilder来创建的，该组件会记录包含哪些spoutbolt，并做相应验证：各组件是否有id冲突,校验方法如下：privatevoidvalidateUnusedId(Stringid){ if(_bo
lihm0_1·2015-01-16 15:00

JStorm之Supervisor启动流程

 Supervisor中文翻译是监督者，意思简单明了，就是对资源进行监控，其实主要是woker资源。该组件所做的事情概括如下：  1、每隔一段时间发送心跳证明自己还活着  2、下载新的topology  3、释放无效的woker  4、分配新的任务 该组件主要包含：心跳线程、supervisor事件接受线程、处理线程，一旦事件接受到则会进入任务分配环节，主要逻辑代码如下：publicstaticv
lihm0_1·2015-01-14 16:00

JStorm之NimbusServer启动流程

  NimbusServer相当于hadoop里的JobTracker或yarn里的ResourceManager，在集群中属于首脑地位，负责分发任务，监控集群状态，与supervisor的通信主要通过Zookeeper。nimbus在启动过程中会做以下工作，以保证集群稳定运行：1、清理无效topology2、建立zk连接并创建相应znode3、启动监控线程4、启动httpserver启动主函数如
lihm0_1·2015-01-13 15:00

storm/jstorm 相关命令

1.启动nimbus，进程名为nimbusnohupstormnimbus&2.启动supervisor，进程名为supervisornohupstormsupervisor&3.启动ui，进程名为corenohupstormui&4.启动lognohupstormlogviewer&5.上传topostormjarstorm_topo.jarcom.cjun.MainTopologymyTopo
cjun1990·2015-01-06 10:00

”微软开放技术、聚合数据、阿里 JStorm、开源社 – 大数据实时分析编程黑客松“圆满收官

发布于 2014-12-23 作者 刘天栋为了更好地支持本土的优质开源软件及开源社区，以及推动国内开源生态体系的持续发展，微软开放技术携手聚合数据、阿里JStorm团队以及开源社联合举办的大数据实时分析编程黑客松
leonchenzhy·2014-12-25 11:00

jstorm

 Jstorm是参考storm的实时流式计算框架，在网络IO、线程模型、资源调度、可用性及稳定性上做了持续改进，已被越来越多企业使用 作为commiter和user，我还是非常看好它的应用前景，下面是在团队内的分享介绍
luoshi0801·2014-12-20 18:00

jstorm基本概念

基本概念longdafengeditedthispage on29Sep · 4revisions Pages 690.7.1changelist0.9.0changelist0.9.0性能测试0.9.1_change_list0.9.2_change_list0.9.3_change_listAck机制AckingFrameworkImplementationApplicationexample
doctor_who2004·2014-12-13 21:00

微软开放技术、聚合数据、阿里 JStorm、开源社 – 大数据实时分析编程黑客松

微软开放技术将与聚合数据、阿里JStorm团队以及开源社于今年12月17日在北京联合举办大数据实时分析编程黑客松。
leonchenzhy·2014-12-08 14:00

最火爆的开源流式系统Storm vs 新星Samza

data-flow主要是以数据块为数据源来处理数据，代表有：MR、Spark等，我称作它们为大数据，而streaming主要是处理单位内得到的数据，这种方式，更注重于实时性，主要包括Strom、JStorm
paulwong·2014-12-02 15:00

大数据之jstorm,storm,hbase,hadoop and so on

大数据之jstorm,storm,hbase,hadoopandsoon                       ActiveMQ_in_Action__最新版.pdf:http://www.t00y.com
sdckx·2014-11-23 19:00

大数据之jstorm,storm,hbase,hadoop and so on

大数据之jstorm,storm,hbase,hadoopandsoon                       ActiveMQ_in_Action__最新版.pdf:http://www.t00y.com
mycsdn·2014-11-23 19:00

（三　）kafka-jstorm集群实时日志分析 之 ---------jstorm集成spring　续（代码）

本地模式启动的．packagecom.doctor.kafkajstrom;importjava.util.HashMap;importjava.util.Map;importjava.util.concurrent.TimeUnit;importorg.apache.commons.lang.RandomStringUtils;importorg.slf4j.Logger;importorg.s
A_Beaver·2014-10-30 22:36

（三　）kafka-jstorm集群实时日志分析 之 ---------jstorm集成spring　续（代码）

本地模式启动的．packagecom.doctor.kafkajstrom; importjava.util.HashMap; importjava.util.Map; importjava.util.concurrent.TimeUnit; importorg.apache.commons.lang.RandomStringUtils; importorg.slf4j.Logger; imp
doctor_who2004·2014-10-30 22:00

（二）　kafka-jstorm集群实时日志分析 之 ---------jstorm集成spring

后面为了引入DubboRPC框架（用spring配置），先把spring引入jstorm中，请先了解一下jsorm多线程方面的文档：http://storm.apache.org/documentation
A_Beaver·2014-10-30 21:07

（二）　kafka-jstorm集群实时日志分析 之 ---------jstorm集成spring

  后面为了引入DubboRPC框架（用spring配置），先把spring引入jstorm中，请先了解一下jsorm多线程方面的文档：http://storm.apache.org/documentation
doctor_who2004·2014-10-30 21:00

(一）kafka-jstorm集群实时日志分析 之 ---------kafka实时日志处理-----续

上文(一）kafka-jstorm集群实时日志分析之---------kafka实时日志处理-讲述了日志如何写入kafka集群，现在看一下效果．zookeeper集群，kafka集群启动后，我们用kafka-web-console
A_Beaver·2014-10-26 20:20

(一）kafka-jstorm集群实时日志分析 之 ---------kafka实时日志处理-----续

上文(一）kafka-jstorm集群实时日志分析之---------kafka实时日志处理-讲述了日志如何写入kafka集群，现在看一下效果．zookeeper集群，kafka集群启动后，我们用kafka-web-console
doctor_who2004·2014-10-26 20:00

(一）kafka-jstorm集群实时日志分析 之 ---------kafka实时日志处理

packagecom.doctor.logbackextend;importjava.util.HashMap;importjava.util.List;importjava.util.Map;importjava.util.Properties;importkafka.consumer.Consumer;importkafka.consumer.ConsumerConfig;importkafk
A_Beaver·2014-10-25 23:15

(一）kafka-jstorm集群实时日志分析 之 ---------kafka实时日志处理

packagecom.doctor.logbackextend; importjava.util.HashMap; importjava.util.List; importjava.util.Map; importjava.util.Properties; importkafka.consumer.Consumer; importkafka.consumer.ConsumerConfig; i
doctor_who2004·2014-10-25 23:00

JVM最多能创建多少个线程:unable to create new native thread

本地弄了好几个集群，kafka集群，zookeeper集群，jstorm集群，然后，jstorm提交任务就出现这错，启动了tomcatjstorm监控，启动了kafka-web监控，一时间不知道怎么解决才好
doctor_who2004·2014-10-25 19:00

Kafka Java源码版【jafka】 - 对kafka的Java 克隆版

2：有关jafka的研究将分化为两个系列：                    2.1：jafka【源码调研】，与jstorm【源码调研】作为呼应，2者都对于大数据的分布式组件做源码的解析，并作系统的总结
止静·2014-10-10 16:00

Storm 和JStorm

关于流处理框架，在先前的文章汇总已经介绍过Strom，今天学习的是来自阿里的的流处理框架JStorm。
止静·2014-08-30 23:00

JStrom 入门（三） 上传jar文件并启动流程

jstormjarxxxxxx.jarcom.alibaba.xxxx.xxparameter
jamin-liu·2014-08-26 15:00

JStorm 入门（二） 启动

在nimbus节点上执行“nohupjstormnimbus&”,查看$JSTORM_HOME/logs/nimbus.log检查有无错误在supervisor节点上执行“nohupjstormsupervisor
jamin-liu·2014-08-26 10:00

jstorm集群配置部署过程全纪录

Jstorm是阿里在storm的基础上开发的一个流计算系统，提供比storm更多的功能和更好的稳定性。
debug_myself·2014-07-11 15:56

在线分析查询系统mdrill

3：mdrill是一个分布式的在线分析查询系统，基于hadoop,lucene,solr,jstorm等开源系统作为实现，基于SQL的查询语法。
wbj0110·2014-07-09 11:00

在线分析查询系统mdrill

3：mdrill是一个分布式的在线分析查询系统，基于hadoop,lucene,solr,jstorm等开源系统作为实现，基于SQL的查询语法。
wbj0110·2014-07-09 11:00

在线分析查询系统mdrill

3：mdrill是一个分布式的在线分析查询系统，基于hadoop,lucene,solr,jstorm等开源系统作为实现，基于SQL的查询语法。
wbj0110·2014-07-09 11:00

在线分析查询系统mdrill

3：mdrill是一个分布式的在线分析查询系统，基于hadoop,lucene,solr,jstorm等开源系统作为实现，基于SQL的查询语法。
wbj0110·2014-07-09 11:00
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他