大数据实践--使用kafka和flume组合进行日志采集

flume+Kafka日志采集实验

打开终端,首先输入:sudo service ssh restart

重启ssh服务。之后输入下述命令开启zookeeper服务:zkServer.sh start

大数据实践--使用kafka和flume组合进行日志采集_第1张图片

输入:cd /home/user/bigdata/apache-flume-1.9.0-bin

进入flume目录,之后输入:bin/flume-ng agent --conf conf --conf-file conf/flume-conf.properties --name agent1开启flume。

之后再打开一个终端,先配置hosts再进入到kafka目录,输入:echo "127.0.0.1 "$HOSTNAME | sudo tee -a /etc/hosts

大数据实践--使用kafka和flume组合进行日志采集_第2张图片

进入kafka目录。输入:cd /home/user/bigdata/kafka_2.11-1.0.0 nohup bin/kafka-server-start.sh config/server.properties >~/bigdata/kafka_2.11-1.0.0/logs/server.log 2>&1 &

后台启动kafka。输入jps查看进程:

大数据实践--使用kafka和flume组合进行日志采集_第3张图片 

输入:

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic topic1 创建kafka的topic。

大数据实践--使用kafka和flume组合进行日志采集_第4张图片

继续输入bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic1

打开kafka的comsumer消费发来的信息。

再打开第三个终端,输入:telnet localhost 44445

大数据实践--使用kafka和flume组合进行日志采集_第5张图片

之后进行任意输入,会发现kafka的终端中出现了你输入的话。

大数据实践--使用kafka和flume组合进行日志采集_第6张图片

输入的话在另一个终端出现:

大数据实践--使用kafka和flume组合进行日志采集_第7张图片

后面再总结实验。

 

 

你可能感兴趣的:(大数据学习)