springboot+flume + log4j2 + kafka

pom.xml关联包：

        
            org.springframework.boot
            spring-boot-starter-web
            
                
                    org.springframework.boot
                    spring-boot-starter-logging
                
            
        
        
            org.springframework.kafka
            spring-kafka
        

        
            org.springframework.boot
            spring-boot-starter-test
            test
        
        
            org.springframework.kafka
            spring-kafka-test
            test
        
        
            org.springframework.boot
            spring-boot-starter-log4j2
        

        
            org.apache.logging.log4j
            log4j-flume-ng
        
    

 

log4j2.xml配置：

   
   
       
       
           
           
       
        
       
         
         
         
       
 
   
   
   
       
           
           
       
   
     
      

flume新建一个conf文件flume-kafka.conf配置如下：

agent1.sources = s1
agent1.sinks = k2
agent1.channels = c2

# Describe/configure the source
agent1.sources.s1.type = avro
agent1.sources.s1.bind = master
agent1.sources.s1.port = 4444

agent1.sinks.k2.type = logger
agent1.sinks.k2.maxBytesToLog = 4096

agent1.channels.c2.type=memory
agent1.channels.c2.capacity=10000
agent1.channels.c2.transactionCapacity=10000

# Bind the source and sink to the channel
agent1.sources.s1.channels = c2
agent1.sinks.k2.channel = c2

#连接kafka
agent1.sinks.k2.channel=c2
agent1.sinks.k2.type=org.apache.flume.sink.kafka.KafkaSink

agent1.sinks.k2.kafka.bootstrap.servers=master:9092,note1:9092,note2:9092
agent1.sinks.k2.kafka.topic=test
agent1.sinks.k2.kafka.batchSize=20
agent1.sinks.k2.kafka.producer.requiredAcks=1
#设置编码
agent1.sinks.k2.custom.encoding=UTF-8

启动命令：

bin/flume-ng agent -c conf -f conf/flume-kafka.conf -n agent1 -Dflume.root.logger=INFO,console