storm使用(一)–入门及安装

storm使用(一)–入门及安装

一、简介

storm是twitter开源的分布式实时计算系统，能够处理无界的数据流。这里对stom及安装进行介绍。

二、strom组成

2.1 节点组成

storm由master node(nimbus守护进程)和worker node(supervisor守护进程) 组成，master node和worker node间是通过zookeeper进行交互的。

2.1.1 master节点

master节点只能有一个，上面运行nimbus守护进程(类似hadoop的JobTracker)，负责集群中代码分发、结点任务分配、监控等作用。

2.1.2 worker结点

worker节点可以有多个，运行着supervisor守护进程，监听主机已经分配的作业，启动和停止numbus分配的工作进程。

2.2 组件组成

storm从数据源读取数据，经过一系列单元处理，最终输出数据。其中经过流程及数据结构有：
tuple(元组)、stream(数据流)、spout(喷口)、bolt(螺栓)。

2.2.1 tuple

tuple是数据的载体，是最基本的单元，支持所有基本类型、字符串、字节数组或者实现序列化的对象。

2.2.2 stream

stream是无界的tuple序列。

2.2.3 spout

spout是数据的来源，从外部获取数据。

2.2.4 bolt

bolt是数据的处理结点，获取数据，处理数据后，再输出。

2.3 应用组成

2.3.1 topology

topology(拓扑)代表一个实时计算应用，由各组件及消息组成的逻辑拓扑。

2.3.2 stream grouping

stream grouping(流分组)指定了消息的分发，即每个bolt应接收哪个流作为输入。

2.3.4 worker

worker(工作进程)是spout/bolt中处理具体逻辑的进程，包含多个task。

2.3.5 task

task(任务)，即是spout/bolt中运行的线程。

2.3.6 executor

executor(线程执行器)

三、安装

3.1 准备

先安装好jdk8及zookeeper，并启动zookeeper待用，其安装过程在此略过。

3.2 下载storm

wget http://mirror.bit.edu.cn/apache/storm/apache-storm-2.0.0/apache-storm-2.0.0.tar.gz

3.3 修改配置文件conf/storm.yaml

#配置zookeeper地址，若端口不是默认的，可通过配置storm.zookeeper.port 
storm.zookeeper.servers:
     - "localhost"
#     - "server2"

#配置主控节点的地址
# nimbus.seeds: ["host1", "host2", "host3"]
 nimbus.seeds: ["localhost"]

#配置ui的地址和端口
 ui.host: 0.0.0.0
 ui.port: 8901

#配置工作节点的端口号，配置几个即有几个worker,这里3个端口即有3个worker
 supervisor.slots.ports:
 - 6700
 - 6701
 - 6702

3.4 启动

#启动nimbus
bin/storm nimbus &
#启动supervisor
bin/storm supervisor &
#启动ui
bin/storm ui &

至此storm安装完成，浏览器输入http://127.0.0.1:8901 ，可查看storm情况。