需要一台一台的启动,如果有脚本,可以设置脚本启动集群
zookeeper的安装路径,bin的路径内
./zkServer.sh start
./zkServer.sh status 当集群启动后,本命令可以查看本台zookeeper的地位
启动之前需要启动zookeeper的集群
kafka的安装目录,bin的路径内
./kafka-server-start.sh /export/servers/kafka/config/server.properties 1>/dev/null 2>&1 &
首先启动kafka
kafka的安装目录,bin的上级路径
bin/kafka-topics.sh --create --zookeeper node01:2181,node02:2181,node03:2181 --replication-factor 2 --partitions 3 --topic order
集群方式,2个备份,3个分片,topic是order
首先启动kafka和创建topic
kafka的安装目录,bin的上级路径
bin/kafka-console-producer.sh --broker-list node01:9092,node02:9092,node03:9092 --topic order
首先启动kafka和创建topic和启动生产者
kafka的安装目录,bin的上级路径
bin/kafka-console-consumer.sh --bootstrap-server node01:9092,node02:9092,node03:9092 --from-beginning --topic order
首先启动kafka和创建好topic
kafka的安装目录,bin的上级路径
./kafka-topics.sh --list --zookeeper node01:2181,node02:2181,node03:2181
./kafka-topics.sh --delete --topic order --zookeeper hadoop1:2181(标记删除,如果真正删除,需要在配置添加delete.topic.enable=true)
用于缓存数据,排行榜等
redis的安装目录,bin所在的目录
./redis-server …/conf/redis_6379.conf
./redis-cli -h 192.168.188.250
keys * Redis Flushall
需要一台一台的启动,如果有脚本,可以设置脚本启动集群
nginx的安装目录,sbin所在的目录
./nginx
./nginx -s quit
./nginx -s reload
所在目录:nginx的安装目录,sbin所在的目录
测试环境是否ok的命令:./nginx -t
nimbus启动(主节点)
stom的安装目录,bin的上一级
nohup bin/storm nimbus 2>&1 &
nohup和最后的&结合使用,代表标记后台启动,日志打印到nohup,中间2>&1代表标准日志和错误日志均打印。
启动后jps查看进程就会看到nimbus
web UI启动(Storm集群只需要启动一个UI界面即可)
stom的安装目录,bin的上一级
nohup bin/storm ui 2>&1 &
启动后jps查看进程就会看到core
启动supervisor(从节点)
stom的安装目录,bin的上一级
nohup bin/storm supervisor 2>&1 &
启动后jps查看进程就会看到Supervisor
首先把配置文件写好,因为flume是根据配置文件启动
flume的安装目录,bin的上一级
bin/flume-ng agent -c conf -f conf/xxxx.conf -n a1 -Dflume.root.logger=INFO,console
XXX中间写conf中的配置文件名称
1:首先在exec家目录下操作bin/start-exec.sh
2:curl -G “node03:$(<./executor.port)/executor?action=activate” && echo
激活exec azkaban
3:在web的家目录下操作bin/start-web.sh
4:https://localhost:xxxx(port)