storm 的安装使用

 

storm 应用场景：事实的数据流处理 

大数据系列：

 

1、安装一个zookeeper集群

 

2、上传storm的安装包，解压

 

3、修改配置文件storm.yaml

 

#所使用的zookeeper集群主机

storm.zookeeper.servers:

     - "weekend05"

     - "weekend06"

     - "weekend07"

 

#nimbus所在的主机名

nimbus.host: "weekend05"

#启动进程数  即worker数，下面数字是端口号

supervisor.slots.ports

-6701

-6702

-6703

-6704

-6705

 

 

启动storm

在nimbus主机上（后面参数不添加，则是客户端启动）

nohup ./storm nimbus 1>/dev/null 2>&1 &

nohup ./storm ui 1>/dev/null 2>&1 &

 

在supervisor主机上

nohup ./storm supervisor 1>/dev/null 2>&1 &

 

UI启动后通过8080访问： http://cloud1:8080/

 

 

Storm 安装后将测试程序打为jar包 到storm的nimbus机器中执行

./storm jar jar名称  jar的主类名称        提交后程序会一直在后台运行，就算机器关机后重启一样会继续运行  

 

./storm list 查看运行的storm程序 

./storm kill storm程序名称  就可以停止运行的程序

 

 

几个名词理解：worker ,Executor , Spout/Bolt  

一个storm程序会在多个机器运行，每个机器有多个进程（worker） ，

每个进程有多个线程（Executor）

每个线程又运行着若干个相同的Task（Spout/Bolt）

 

 

 jps 线程：core  nimbus  supervisor