centos上storm 安装与部署

storm有两种操作模式: 本地模式和远程模式

本文描述如何快速搭建一个Storm,其中,在相应地方以“注意”的形式给出。

注:以下安装部署中localhost表示本机ip

安装java:

一、安装
创建安装目录,在/usr/java下建立安装路径,并将文件考到该路径下: 
# mkdir /usr/java
1、jdk-7u45-linux-x64.gz 这个是解压的文件,在linux上安装如下: 

[root@master java]# tar -zxvf jdk-7u45-linux-x64.gz

解压完成即可

二、配置
[root@master ~]# vim /etc/profile
  在里面添加如下内容

export JAVA_HOME=/usr/java/jdk1.7.0_45
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
让 /etc/profile文件修改后立即生效 ,可以使用如下命令:
[root@master ~]# source /etc/profile

测试:

[root@master ~]# java -version
java version "1.7.0_45"
Java(TM) SE Runtime Environment (build 1.7.0_45-b18)
Java HotSpot(TM) 64-Bit Server VM (build 24.45-b08, mixed mode)

输入javac没错误则安装成功

配置storm 一、部署Zookeeper
1、创建storm用户
[root@master ~]# useradd storm
[root@master ~]# passwd
2、切换至storm用户
[root@master ~]# su - storm
[storm@master ~]$ mkdir zookeeper
3、上传并解压zookeeper-3.4.6.storm.tar.gz
[storm@master zookeeper]$ tar -xf zookeeper-3.4.6.storm.tar.gz
[storm@master ~]$ cd zookeeper/zookeeper-3.4.6/conf/
4、修改zoo.cfg参数配置
[storm@master conf]$ vim zoo.cfg
server.1=localhost:4887:5887
5、root用户下修改bin文件夹下面的所有权限,保证可执行
[root@master ~]# cd /home/storm/zookeeper/zookeeper-3.4.6/bin/
[root@master bin]# chmod +x *
6、启动zookeeper
[storm@master zookeeper-3.4.6]$ bin/zkServer.sh start
7、查看进程
[storm@master zookeeper-3.4.6]$ jps -l
2201 sun.tools.jps.Jps
2118 org.apache.zookeeper.server.quorum.QuorumPeerMain
二、安装zkui
1、上传apache-maven-3.2.1.storm.zip并解压
[storm@master ~]$ unzip apache-maven-3.2.1.storm.zip
[storm@master ~]$ cd apache-maven-3.2.1/
2、root用户下修改bin文件夹下所有文件权限,确保可执行
[root@master ~]# cd /home/storm/apache-maven-3.2.1/bin
[root@master bin]# chmod +x *
3、修改环境变量
[storm@master ~]$ vim ~/.bash_profile


##export mvn3
export MVN_HOME=/home/storm/apache-maven-3.2.1
export PATH=$PATH:$MVN_HOME/bin
4、让环境变量生效
[storm@master ~]$ source ~/.bash_profile
5、上传zkui.storm.zip并解压:
[storm@master ~]$ unzip zkui.storm.zip
[storm@master ~]$ cd zkui/
[storm@master zkui]$ mvn clean install


[storm@master zkui]$ ln -s target/zkui-2.0-SNAPSHOT-jar-with-dependencies.jar zkui-2.0-SNAPSHOT-jar-with-dependencies.jar
6、修改config.cfg配置
[storm@master zkui]$ vim config.cfg 
zkServer=localhost:2181
7、启动
[storm@master zkui]$ nohup java -jar zkui-2.0-SNAPSHOT-jar-with-dependencies.jar &


8、查看当前进程,是否已经启动:
[storm@master zkui]$ jps -l
2118 org.apache.zookeeper.server.quorum.QuorumPeerMain
3625 sun.tools.jps.Jps
3602 zkui-2.0-SNAPSHOT-jar-with-dependencies.jar


三、部署kafka
1、上传并解压kafka_2.9.2-0.8.1.1.storm.zip
[storm@master ~]$ unzip kafka_2.9.2-0.8.1.1.storm.zip
[storm@master ~]$ cd kafka_2.9.2-0.8.1.1/
2、修改server.properties配置
[storm@master kafka_2.9.2-0.8.1.1]$ vim config/server.properties
broker.id=0
host.name=localhost
zookeeper.connect=localhost:2181
3、root用户下修改sbin以及bin下所有权限,确保能执行
[root@master ~]# cd /home/storm/kafka_2.9.2-0.8.1.1/sbin/
[root@master sbin]# chmod +x *
[root@master ~]# cd /home/storm/kafka_2.9.2-0.8.1.1/bin/
[root@master bin]# chmod +x *
4、修改log4j.properties配置
[storm@master kafka_2.9.2-0.8.1.1]$ vim config/log4j.properties
log4j.appender.D.File = /home/storm/kafka_2.9.2-0.8.1.1/logs/debug.log
log4j.appender.E.File = /home/storm/kafka_2.9.2-0.8.1.1/config/logs/error.log
5、启动kafka
[storm@master kafka_2.9.2-0.8.1.1]$ sbin/start-kafka.sh
6、查看当前进程,kafka是否已经启动:
[storm@master kafka_2.9.2-0.8.1.1]$ jps -l
2118 org.apache.zookeeper.server.quorum.QuorumPeerMain
3797 kafka.Kafka
3823 sun.tools.jps.Jps
3602 zkui-2.0-SNAPSHOT-jar-with-dependencies.jar
以上表明已经完全启动,在kafka下建topic时需要先启动zookeeper,再启动kafka才能正常创建topic,以下是创建一个topic的简单格式,验证是否成功安装配置:
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic topic-test-001(创建)
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic topic-test-001(启动producer端)
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic topic-test-001(新建一个minimal启动consumer端)

创建并启动后,在producer端输入,consumer端能显示输出。


你可能感兴趣的:(centos上storm 安装与部署)