大数据课程L5——网站流量项目的实时业务系统搭建

文章作者邮箱：[email protected]              地址：广东惠州

 ▲ 本章节目的

⚪ 掌握网站流量项目的 Flume—>Kafka 连通；

⚪ 掌握网站流量项目的实时业务系统搭建；

一、Flume—>Kafka 连通

1. 实现步骤

1. 启动三台服务器。

2. 启动 Zookeeper 集群。

执行指令：

sh /home/software/zookeeper-3.4.8/bin/zkServer.sh  start

3. 启动 Kafka 集群。

4. 创建 Kafka 主题。

执行指令：

sh kafka-topics.sh  --create  --zookeeper  hadoop01:2181

--replication-factor  1  --partitions  1  --topic  fluxdata

5. 启动 Hadoop。

6. 配置 flume 并启动。

在 flume 的 data 目录，执行如下指令：

../bin/flume-ng  agent  -n  a1  -c  ./  -f  ./weblog.conf

-Dflume.root.logger = INFO, console

weblog.conf配置文件示例如下：

a1.sources = r1