13.2 flume测试的启动

启动顺序

image.png

1 HDFS服务

sbin/hadoop-daemon start namenode
sbin/hadoop-daemon start datanode

2 zookeeper启动

bin/zkServer.sh start

3 hdfs的ha启动(可以不做)

记得 切换配置文件和tmp文件夹..
如果遇到2个standby,没有active,则登录zookeeper客户端,把hdfs-ha的文件夹删掉,再重新format zkfc

sbin/hadoop-daemon start zkfc

4 Hbase启动

Hbase掉线的原因,可能是ha导致的namenode不能启动,或者是zkfc没有启动导致

bin/start-Hbase.sh start

如果master启动不起来,则登录zookeeper的客户端,删掉hbase文件夹,再重新启动Hbase
如果regionserver启动不起来，去看看log。如果出现了KeeperException$NoNodeException，说明2个hmaster之间的时间间隔太大，需要ntpd同步一下，
同步的命令

ntpdate bigdata-pro01.kfk.com

5 kafka的启动

bin/kafka-server-start.sh config/server.properties

6 新建kafka的topic

bin/kafka-topics.sh --create --zookeeper bigdata-pro01.kfk.com:2181,bigdata-pro02.kfk.com:2181,bigdata-pro03.kfk.com:2181 --replication-factor 1 --partitions 1 --topic weblog

记得更改节点一的配置文件里的配置

7 启动 1节点的flume

./ start-flume.sh

如果遇找不到类，需要配置hadoop的环境变量和hbase的环境变量

export JAVA_HOME=/opt/modules/jdk1.7.0_67
export HADOOP_HOME=/opt/modules/hadoop-2.5.0
export HBASE_HOME=/opt/modules/hbase-0.98.6-cdh5.3.0

8 启动2/3的flume

./ start-flume.sh