大数据组件运维常用命令

Flume：

启动agent

flume-ng agent -n a1 -c conf -f conf/myconf/exec.conf -Dflume.root.logger=INFO,console

停止agent就直接杀死进程就ok了

kafka：

启动命令（kafka需要依次在各个节点进行启动，可以自己写脚本批量启动）

bin/kafka-server-start.sh  config/server.properties

停止命令（kafka需要依次在各个节点进行停止，可以自己写脚本批量停止）

bin/kafka-server-stop.sh

操作命令

//查看当前服务器中的所有topic
bin/kafka-topics.sh --list --zookeeper  zk01:2181
//创建topic
./kafka-topics.sh --create --zookeeper mini1:2181 --replication-factor 1 --partitions 3 --topic test 
//删除topic
sh bin/kafka-topics.sh --delete --zookeeper zk01:2181 --topic test
//需要server.properties中设置delete.topic.enable=true否则只是标记删除或者直接重启。
//通过shell命令发送消息
kafka-console-producer.sh --broker-list kafka01:9092 --topic test 
//通过shell消费消息
sh bin/kafka-console-consumer.sh --zookeeper zk01:2181 --from-beginning --topic test1
//查看消费位置
sh kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper zk01:2181 --group testGroup
//查看某个Topic的详情
sh kafka-topics.sh --topic test --describe --zookeeper zk01:2181

storm：

启动集群

//在nimbus.host所属的机器上启动 nimbus服务
nohup ./storm nimbus &
//在nimbus.host所属的机器上启动ui服务
nohup ./storm ui &
//在其它个点击上启动supervisor服务
nohup ./storm supervisor &

关闭集群
storm貌似没有提供停止集群的命令，我一般是通过kill命令直接杀死

kill -9 $(ps -ef|grep nimbus| awk '{print $2}')
kill -9 $(ps -ef|grep supervisor | awk '{print $2}')

操作命令：

//提交任务命令格式：storm jar 【jar路径】 【拓扑包名.拓扑类名】 【拓扑名称】
bin/storm jar examples/storm-starter/storm-starter-topologies-0.9.6.jar storm.starter.WordCountTopology wordcount
//杀死任务命令格式：storm kill 【拓扑名称】 -w 10（执行kill命令时可以通过-w [等待秒数]指定拓扑停用以后的等待时间）
storm kill topology-name -w 10
//停用任务命令格式：storm deactivte  【拓扑名称】
storm deactivte topology-name
//我们能够挂起或停用运行中的拓扑。当停用拓扑时，所有已分发的元组都会得到处理，但是spouts的nextTuple方法不会被调用。销毁一个拓扑，可以使用kill命令。它会以一种安全的方式销毁一个拓扑，首先停用拓扑，在等待拓扑消息的时间段内允许拓扑完成当前的数据流。
//启用任务命令格式：storm activate【拓扑名称】
        storm activate topology-name
//重新部署任务命令格式：storm rebalance  【拓扑名称】
        storm rebalance topology-name
//再平衡使你重分配集群任务。这是个很强大的命令。比如，你向一个运行中的集群增加了节点。再平衡命令将会停用拓扑，然后在相应超时时间之后重分配工人，并重启拓扑。

spark

启动

$SPARK_HOME/sbin/start-all.sh

停止

$SPARK_HOME/sbin/stop-all.sh

LogStash

启动

bin/logstash -f logstash.conf