10、采集通道启动、停止脚本

1）在/home/shuidi/bin目录下创建脚本cluster.sh

[shuidi@hadoop102 bin]$ vim cluster.sh

在脚本中填写如下内容

#!/bin/bash

case $1 in
"start"){
        echo ================== 启动 集群 ==================

        #启动 Zookeeper集群
        zk.sh start

        #启动 Hadoop集群
        hdp.sh start

        #启动 Kafka采集集群
        kf.sh start

        #启动采集 Flume
        f1.sh start

#启动日志消费 Flume
        f2.sh start

#启动业务消费 Flume
        f3.sh start

#启动 maxwell
        mxw.sh start

        };;
"stop"){
        echo ================== 停止 集群 ==================

#停止 Maxwell
        mxw.sh stop

#停止 业务消费Flume
        f3.sh stop

#停止 日志消费Flume
        f2.sh stop

#停止 日志采集Flume
        f1.sh stop

        #停止 Kafka采集集群
        kf.sh stop

        #停止 Hadoop集群
        hdp.sh stop

        #停止 Zookeeper集群
        zk.sh stop

};;
esac

2）增加脚本执行权限

[shuidi@hadoop102 bin]$ chmod 777 cluster.sh

3）cluster集群启动脚本

[shuidi@hadoop102 module]$ cluster.sh start

4）cluster集群停止脚本

[shuidi@hadoop102 module]$ cluster.sh stop

---

---

[hadoop102、hadoop103] Flume(采集日志file_to_kafka.conf /opt/module/applog/log/app.*;启停脚本:f1.sh ) ---> 投递kafka topic:topic_log --->[hadoop104] Flume(消费kafka日志 kafka_to_hdfs_log.conf;启停脚本:f2.sh )

[hadoop102] Maxwell(读取mysql binlog ;启停脚本:mxw.sh) --->投递kafka topic:topic_db ---> [hadoop104] Flume(消费kafka日志 kafka_to_hdfs_db.conf;启停脚本:f3.sh ) ps:增量表首日全量同步 mysql_to_kafka_inc_init.sh

[hadoop102] DataX mysql-->hdfs 全量表数据同步脚本 mysql_to_hdfs_full.sh