实时处理练习

文章目录

  • 1 提出任务
    • 1.1 实时数据采集
  • 2 完成任务
    • 2.1 创建Flume运行的配置文件
    • 2.2 安装netcat
    • 2.3 启动flume
    • 2.4 启动netcat
    • 2.5 Kafka消费数据
    • 2.5 查看HDFS上的备份数据

1 提出任务

1.1 实时数据采集

  1. 在主节点使用 Flume 采集实时数据生成器 10050 端口的 socket 数据,将数据存入到 Kafka 的 Topic 中(Topic 名称为 order,分区数为 4),使用 Kafka 自带的消费者消费 order(Topic)中的数据,将前 2 条数据的结果截图粘贴至客户端桌面【Release\任务
    D 提交结果.docx】中对应的任务序号下;
  2. 采用多路复用模式,Flume 接收数据注入 kafka 的同时,将数据备份到 HDFS 目录/user/test/flumebackup下,将查看备份目录
    下的第一个文件的前 2 条数据的命令与结果截图粘贴至客户端桌面【Release\任务 D 提交

你可能感兴趣的:(探索大数据世界,flume,nc,kafka,hdfs)