关于flume接受socket信息输入到IDEA

文章目录

    • 1.flume配置文件
    • 2.启动命令
    • 3.IDEA的Sparkstreaming代码演示

1.flume配置文件

a1.sources = s1
a1.channels = c1
a1.sinks = k1

#定义agent的source属性
a1.sources.s1.type = netcat
a1.sources.s1.bind = master
a1.sources.s1.port = 556677
#channel
a1.channels.c1.type =memory
a1.channels.c1.capacity = 20000
a1.channels.c1.transactionCapacity=5000
#sinks
a1.sinks.k1.channel = c1
a1.sinks.k1.type = org.apache.spark.streaming.flume.sink.SparkSink
a1.sinks.k1.hostname=node02
a1.sinks.k1.port = 9999
a1.sinks.k1.batchSize= 2000

2.启动命令

启动flume
flume-ng agent -n a1 -c /opt/software/flume-1.7.0/conf -f /opt/software/flume-1.7.0/conf/flume-poll.conf -Dflume.root.logger=INFO,console
启动nc
nc localhost 556677

3.IDEA的Sparkstreaming代码演示

关于flume接受socket信息输入到IDEA_第1张图片
在这里插入图片描述
关于flume接受socket信息输入到IDEA_第2张图片

你可能感兴趣的:(spark)