使用shell脚本批处理控制大数据环境服务启动停止

三台集群机器：

master   192.168.168.200

slave1     192.168.168.201

slave2     192.168.168.202

1、start-master.sh

1. #!bin/sh
2.  
3. echo "==============================================="
4. echo "================启动 Hadoop==================="
5. echo "==============================================="
6. start-all.sh;
7.  
8. echo "==============================================="
9. echo "================启动 Spark===================="
10. echo "==============================================="
11. /usr/local/spark/spark-2.1.1-bin-hadoop2.7/sbin/start-all.sh;
12.  
13. echo "==============================================="
14. echo "================启动master Zookeeper==========="
15. echo "==============================================="
16. zkServer.sh start;
17. echo "==============================================="
18. echo "================启动slave1 Zookeeper==========="
19. echo "==============================================="
20. ssh slave1 "/usr/local/zookeeper/zookeeper-3.4.6/bin/zkServer.sh start;exit;";
21. echo "==============================================="
22. echo "================启动slave2 Zookeeper==========="
23. echo "==============================================="
24. ssh slave2 "/usr/local/zookeeper/zookeeper-3.4.6/bin/zkServer.sh start;exit;";
25.  
26. echo "==============================================="
27. echo "================启动master Kafka==============="
28. echo "==============================================="
29. cd /usr/local/kafka/kafka_2.11-0.8.2.1;
30. bin/kafka-server-start.sh config/server.properties;
31.  
32. echo "==============================================="
33. echo "============Master启动服务成功！！！==========="
34. echo "==============================================="

由于kafka-server-start.sh启动的是一个后台服务，所以只能分开启动kafka后台服务。

2、start-slave1.sh

1. #!bin/sh
2.  
3. echo "==============================================="
4. echo "================启动slave1 Kafka==============="
5. echo "==============================================="
6. ssh slave1 "cd /usr/local/kafka/kafka_2.11-0.8.2.1;bin/kafka-server-start.sh config/server.properties;";
7.  
8. echo "==============================================="
9. echo "============slave1启动服务成功！！！==========="
10. echo "==============================================="

3、start-slave2.sh

1. #!bin/sh
2.  
3. echo "==============================================="
4. echo "================启动slave2 Kafka==============="
5. echo "==============================================="
6. ssh slave2 "cd /usr/local/kafka/kafka_2.11-0.8.2.1;bin/kafka-server-start.sh config/server.properties;";
7.  
8. echo "==============================================="
9. echo "============slave2启动服务成功！！！==========="
10. echo "==============================================="

4、stop.sh

1. #!bin/sh
2.  
3. echo "==============================================="
4. echo "================停止 Hadoop==================="
5. echo "==============================================="
6. stop-all.sh;
7.  
8. echo "==============================================="
9. echo "================停止 Spark===================="
10. echo "==============================================="
11. /usr/local/spark/spark-2.1.1-bin-hadoop2.7/sbin/stop-all.sh;
12.  
13. echo "==============================================="
14. echo "================停止master Zookeeper==========="
15. echo "==============================================="
16. zkServer.sh stop;
17. echo "==============================================="
18. echo "================停止slave1 Zookeeper==========="
19. echo "==============================================="
20. ssh slave1 "/usr/local/zookeeper/zookeeper-3.4.6/bin/zkServer.sh stop;exit;";
21. echo "==============================================="
22. echo "================停止slave2 Zookeeper==========="
23. echo "==============================================="
24. ssh slave2 "/usr/local/zookeeper/zookeeper-3.4.6/bin/zkServer.sh stop;exit;";
25.  
26. echo "==============================================="
27. echo "================停止master Kafka==============="
28. echo "==============================================="
29. cd /usr/local/kafka/kafka_2.11-0.8.2.1;
30. bin/kafka-server-stop.sh config/server.properties;
31. echo "==============================================="
32. echo "================停止slave1 Kafka==============="
33. echo "==============================================="
34. ssh slave1 "cd /usr/local/kafka/kafka_2.11-0.8.2.1;bin/kafka-server-stop.sh config/server.properties;exit;";
35. echo "==============================================="
36. echo "================停止slave2 Kafka==============="
37. echo "==============================================="
38. ssh slave2 "cd /usr/local/kafka/kafka_2.11-0.8.2.1;bin/kafka-server-stop.sh config/server.properties;exit;";
39.  
40. echo "==============================================="
41. echo "================停止服务成功！！！============="
42. echo "===============================================" ​

5、producer.sh

1. #!bin/sh
2.  
3. echo "==============================================="
4. echo "================启动test主题生产者=============="
5. echo "==============================================="
6. kafka-console-producer.sh --broker-list 192.168.168.200:9092 --sync --topic test

6、consumer.sh

1. #!bin/sh
2.  
3. echo "==============================================="
4. echo "================启动test主题消费者=============="
5. echo "==============================================="
6. kafka-console-consumer.sh --zookeeper 192.168.168.200:2181 --topic test

7、启动运行

打开第一个终端执行sh start-master.sh

打开第二个终端，执行sh start-slave1.sh

打开第三个终端，执行sh start-slave2.sh

其他的同上。