安装storm0.9.5,基本操作

https://archive.apache.org/dist/这个地址提供apache项目的下载页面,你只需要找到你需要的项目,点击进去就是项目对应的下载页面

安装storm前必须安装zookeeper集群并正常启动zk,不然storm启动不了

推荐zookeeper安装教程https://blog.csdn.net/lu1171901273/article/details/87606517

https://archive.apache.org/dist/storm/ 下载对应的版本   简易安装

解压,重命名,修改配置文件

tar -zxvf apache-storm-0.9.5.tar.gz 

mv apache-storm-0.9.5 ./storm

cd storm/conf/

vim storm.yaml 

安装storm0.9.5,基本操作_第1张图片

红色圈中的是zookeeper集群和nimbus主机地址,

#指定nimbus启动JVM最大可用内存大小
nimbus.childopts: "-Xmx1024m"
#指定supervisor启动JVM最大可用内存大小
supervisor.childopts: "-Xmx1024m"
#指定supervisor节点上,每个worker启动JVM最大可用内存大小
worker.childopts: "-Xmx768m"
#指定ui启动JVM最大可用内存大小,ui服务一般与nimbus同在一个节点上。
ui.childopts: "-Xmx768m"
#指定supervisor节点上,启动worker时对应的端口号,每个端口对应槽,每个槽位对应一个worker
supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703

启动
192.168.124.140中启动nimbus和ui:
nohup storm nimbus &
nohup storm ui &

192.168.124.143  192.168.124.144机器上启动:
nohup storm supervisor &

日志目录查看logs,vim ui.log 可以看到默认端口

安装storm0.9.5,基本操作_第2张图片

安装storm0.9.5,基本操作_第3张图片

提交任务命令格式:storm jar 【jar路径】 【拓扑包名.拓扑类名】 【拓扑名称】
bin/storm jar examples/storm-starter/storm-starter-topologies-0.9.6.jar storm.starter.WordCountTopology wordcount

执行kill命令时可以通过-w [等待秒数]指定拓扑停用以后的等待时间
杀死任务命令格式:storm kill 【拓扑名称】 -w 10
storm kill topology-name -w 10
列子 storm kill wordcount -w 10

停用任务命令格式:storm deactivte  【拓扑名称】
storm deactivte wordcount

我们能够挂起或停用运行中的拓扑。当停用拓扑时,所有已分发的元组都会得到处理,
但是spouts的nextTuple方法不会被调用。销毁一个拓扑,可以使用kill命令。
它会以一种安全的方式销毁一个拓扑,首先停用拓扑,在等待拓扑消息的时间段内允许拓扑完成当前的数据流。
启用任务命令格式:storm activate【拓扑名称】
storm activate wordcount
        
重新部署任务命令格式:storm rebalance  【拓扑名称】
storm rebalance wordcount

再平衡使你重分配集群任务。这是个很强大的命令。
比如,你向一个运行中的集群增加了节点。再平衡命令将会停用拓扑,然后在相应超时时间之后重分配工人,并重启拓扑。

storm打包部署和hadoop差不多,一般流程

1、写代码 2、打包 3、上传到storm环境 4、使用命令执行

你可能感兴趣的:(storm安装)