使用flume进行日志收集的总结(1)

         由于最近几个月在搞一个实时监控平台的项目，用的是flume+kafka+spark，之前领导说弄个文档总结一下项目开发中的用到技术以及容易出错的地方，以供之后的新手们参考（其实我也才接触了几个月而已），现在才有时间弄文档，顺便也发个博客记录一下（处女篇），毕竟当初我也是不断在网上查资料的，希望这份资料对大家有用吧。

        由于网上对于flume的简介很多，这里就不多做赘述了，直奔主题，flume的安装就不说了，直接解压就可以了，解压之后需要修改一下配置文件

       ①cp flume-conf.properties.template  flume-conf.properties  

       ②vi flume-conf.properties

       接下来就是配置flume的source，channel和sink

           source配置：

                

                

          channel配置：

                

     sink配置：

               

   汇总的flume的kafkaSink配置：

      

       接下来简单说说flume的拦截器，flume提供了许多拦截器，当Source指定一个拦截器后，拦截器会得到Event数据，可以在拦截器中过滤提取数据，一个Source可以指定多个拦截器形成拦截器chain

   拦截器配置：

          

好了，先说这么多，这些应该算是简单的入门知识（毕竟是第一篇），下一篇会说一下我接触到的flume的负载均衡以及监控工具方面的东西，接下来也会更新工作中用到的kafka方面的知识点，希望大家多多支持