一、基础环境：JDK：1.8.0_65（要求1.6+）ZooKeeper：3.4.10Jstorm2.1.1主机数：3（要求3+，且必须是奇数，因为ZooKeeper的选举算法）主机名IP地址JDKZooKeepernimbus10.116.33.1091.8.0

jstorm需要zk配合使用，记录安装文档。

2、部署Jstorm下载jstorm，并解压编辑/etc/hosts,配置机器名与IP的映射。10.19.182.15310-19-182-153127.0.0.1localhostlocalhos

准备：1)github上下载jstorm安装包https://github.com/alibaba/jstorm2)tar-xzvfjstorm-2.1.1.tar.gz3)vim~/.bashrc添加两行

log4j---->error,info,debug应用程序程序的日志 error级别TimeOutException角标越界IndexXXXException......Error com.alibaba.jstorm.daemon.worker.WorkerData

今年的两个新尝试是StreamingCQL（华为开源）和JStorm（阿里开源），意在提升开发效率、性能和处理消息拥塞能力，目前已有三分之一的Storm应用已经迁到JStorm2.1上。

VMwareWorkstaton12.0.0•Putty•FileZilla•apache-tomcat-8.5.13.tar.gz•jdk-8u121-linux-x64.tar.gz•zookeeper-3.5.2tar.gz•jstorm

版权声明：作者：jiankunking出处：http://blog.csdn.net/jiankunking本文版权归作者和CSDN共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接。折线之间的内容整理自：http://blog.csdn.net/suifeng3051/article/details/38369689-------------------------

1、为什么选择jstorm而不是storm？

『重用』容器名但我们在编写/调试Dockerfile的时候我们经常会重复之前的command，比如这种dockerrun--namejstorm-zookeeperzookeeper:3.4，然后就容器名就冲突了

jstorm消息处理的容错语意分布式流式计算的容错问题分布式计算不仅带来了系统的横向扩展能力，同时也带来了网络通信的复杂性和更大的故障概率等问题。

大部分时候大家在选择技术方案的时候还是比较迷茫，是该选择JStorm还是SparkStreaming？一般会流于一些并不重要问题的讨论，最后做出目光非常短浅的选择，几个月之后再改变技术方案。

大部分时候大家在选择技术方案的时候还是比较迷茫，是该选择JStorm还是SparkStreaming？一般会流于一些并不重要问题的讨论，最后做出目光非常短浅的选择，几个月之后再改变技术方案。

软件版本jstorm2.1.1jdk1.8.40zk3.4.6前置工作搭建zk集群，请参考：http://blog.csdn.net/jamal117/article/details/54709608jdk

maven依赖com.alibaba.jstormjstorm-core2.1.1provided-->org.apache.stormstorm-core0.9.2-incubating-->com.esotericsoftware.kryokryo2.22com.twitterchill-java0.8.1

原文链接：https://atf.alibaba.com/weex73款产品开源，JStorm、RocketMQ、Weex三连捐Apache基金会，Weex在Github上Star破万、阿里云成为MySQL

正文题目分析赛题官方介绍初赛的任务就是写一个topology来完成对大量实时交易信息的简单计算，整个任务流程就是利用JStorm从RocketMQ拉取数据，按照要求实时计算出结果，并将结果写入Tair。

目录目录前言正文目录初赛题目介绍Tair环境配置RocketMQ环境配置Jstorm环境配置后记前言跳过废话，直接看正文2016.5-2016.8，阿里巴巴集团在天池大数据平台上举行了阿里中间件性能挑战赛

据悉，这也是继JStorm、RocketMQ之后，阿里向Apache捐赠的第三个项目。2016年12月15日，阿里巴巴宣布将移动开源项目Weex捐赠给Apache基金会开始孵化。

安装步骤从Downloads下载release包搭建Zookeeper集群安装Python2.6安装Java配置$JSTORM_HOME/conf/storm.yaml搭建WebUI启动JStorm集群搭建

任务执行zookeeper与任务调度http://blog.csdn.net/benbendy1984/article/details/50917984https://github.com/alibaba/jstorm

阅读更多1.主要看阿里官网https://github.com/alibaba/jstorm/wiki/%E5%A6%82%E4%BD%95%E5%AE%89%E8%A3%852.linux环境默认已经安装了

今年的两个新尝试是StreamingCQL（华为开源）和JStorm（阿里开源），意在提升开发效率、性能和处理消息拥塞能力，目前已有三分之一的Storm应用已经迁到J

JStorm2.1.1集群的安装和使用Storm是一个免费开源、分布式、高容错的实时计算系统，而JStorm是阿里巴巴开源的基于Storm采用Java重写的一套分布式实时流计算框架，在性能和支持的集群规模上做了较大优化

阅读更多JStorm2.1.1集群的安装和使用Storm是一个免费开源、分布式、高容错的实时计算系统，而JStorm是阿里巴巴开源的基于Storm采用Java重写的一套分布式实时流计算框架，在性能和支持的集群规模上做了较大优化

阅读更多JStorm2.1.1集群的安装和使用Storm是一个免费开源、分布式、高容错的实时计算系统，而JStorm是阿里巴巴开源的基于Storm采用Java重写的一套分布式实时流计算框架，在性能和支持的集群规模上做了较大优化

阅读更多一、这次用到的技术是阿里的开源几个框架，JStorm-2.1.1，RocketMQ-3.2.6，Tair-2.3.5；考察点：（1）只要满足功能要求即可，让选手自己学会如何使用RocketMQ／

阅读更多一、这次用到的技术是阿里的开源几个框架，JStorm-2.1.1，RocketMQ-3.2.6，Tair-2.3.5；考察点：（1）只要满足功能要求即可，让选手自己学会如何使用RocketMQ／

nohupshmqbroker-n10.150.0.94:9876&删除mq里的消息1.shmqshutdownbroker2.rm-rf~/store3.nohupshmqbroker-ca.conf&关于jstorm

个人简介封仲淹（纪君祥），阿里巴巴中间件平台技术部高级技术专家，花名纪君祥，阿里巴巴JStorm核心作者之一，ApacheStormPMC，流式计算权威人士之一，从事分布式计算，分布式存储多年，目前专注于实时计算和流式计算

如果是经常关注阿里巴巴的朋友们,看到我这篇博客的题目,就知道我在参加今年的中间件比赛。好了,废话不说,开始了。首先我们知道,rocketmq的consumer有两种,一种是DefaultMQPushConsumer另外一个是DefaultMQPullConsumer两个有什么区别呢?对我们自己写的代码来说,使用push就是被动接受mq的消息,而使用pull就是需要主动的去mq上拉取消息。那么再与j

root@hadoop0bigdata]#lsapache-flume-1.6.0-bin    apache-hive-2.0.1-bin.tar.gz  hbase-1.1.5-bin.tar.gz jstorm

不过这篇博客有个问题/datatmp/zookeeper/logs这个文件夹是需要手动新建的安装pythonCentos7本身已经自带了Python2.7.5使用python-V即可查看python的版本安装JStormwgethttp

前言花了一整天的时间在研究怎么搭这个Jstorm服务，本人对于linux特别不熟练，加上没有特别完美的小白教程，Github上官方的教程也有个别的地方语焉不详，总之踩了很多的坑。

Jstorm官方搭建使用过程如连接https://github.com/alibaba/jstorm/wiki/%E5%A6%82%E4%BD%95%E5%AE%89%E8%A3%85 ，我整理了三个脚本

jstorm是阿里巴巴开源的基于storm采用Java重写的一套分布式实时流计算框架，使用简单，特点如下：开发非常迅速:接口简单，容易上手，只要遵守Topology，Spout，Bolt的编程规范即可开发出一个扩展性极好的应用

系统环境Centos7外网ip182.254.145.66内网ip10.105.23.114安装位置/usr/local/jstorm-2.1.1安装zookeeper参见http://www.cnblogs.com

参加阿里的中间件比赛，需要使用jstorm系统，以前完全没有接触过相应的概念，现在处于前期学习阶段，搭建环境过程中遇到了很多麻烦，在此记录下搭建过程，本片主要介绍zookeeper集群的安装与配置过程。

本文研究一下jstorm使用cgroup做资源隔离的情况，github有文档：https://github.com/alibaba/jstorm/wiki/%E8%B5%84%E6%BA%90%E7%A1%

阅读更多最近接到任务说要使用jstorm处理业务，之前没接触过，只能硬着头皮来，接下来谈谈我这两天的收获1，怎么了解jstorm，这个答案没什么固定的，但是我个人比较喜欢去看官方的文档，如果官方的文档实在找不到了

原文链接：http://toutiao.com/a6267290210372747522/一、大数据通用处理平台1、Spark2、Flink3、Hadoop二、流式计算1、Storm/JStorm2、SparkStreaming3

data-flow主要是以数据块为数据源来处理数据，代表有：MR、Spark等，我称作它们为大数据，而streaming主要是处理单位内得到的数据，这种方式，更注重于实时性，主要包括Strom、JStorm

storm定时器timer源码分析-timer.cljstorm定时器与java.util.Timer定时器比较相似。

storm操作zookeeper源码分析-cluster.cljstorm操作zookeeper的主要函数都定义在命名空间backtype.storm.cluster中（即cluster.clj文件中）

storm事件管理器EventManager源码分析-event.cljstorm事件管理器定义在event.clj中，主要功能就是通过独立线程执行"事件处理函数"。

阅读更多一、作用主要是通过结合zookeeper，在zookeeper指定的目录下创建不同的自己代表不同的transactionstate，并赋予不同的内容；通过zookeeper完成对partitions的transaction的管理二、源码分析packagestorm.trident.topology.state;importbacktype.storm.Config;importbackty

阅读更多一、作用构建一个Rotationgtransaction的state类用于完成partition的state管理及操作二、源码分析packagestorm.trident.topology.state;importbacktype.storm.utils.Utils;importorg.apache.zookeeper.KeeperException;importjava.util.Has

阅读更多一、作用PartitionSpout对应的executor二、源码分析packagestorm.trident.spout;importbacktype.storm.task.TopologyContext;importbacktype.storm.tuple.Fields;importjava.util.ArrayList;importjava.util.HashMap;importja

阅读更多一、作用基于LinkedList+HashMap实现一个循环Map二、源码//通过结合LinkedList和HashMap构成一个循环Map数据结构publicclassRotatingMap{//thisdefaultensuresthingsexpireatmost50%pasttheexpirationtime//默认bucket数目为3privatestaticfinalintDE

阅读更多一、作用RichSpoutBatchExecutor是IRichSpout及其子类Spout的executor执行器；主要包括：1、RichSpoutEmitter：用户tuple的emit2、RichSpoutCoordinator：用于spout的调度3、CaptureCollector：用于获取spout的collect的field的二、packagestorm.trident.sp