fluentd +mongodb tomcat日志的搜集

1.日志条目说明
收集的日志有效内容如下
⑴访问来源IP
⑵访问的页面
⑶访问返回状态
⑷访问页面的大小
⑸访问时间
⑹访问浏览器的类型版本和系统类型等
例子192.168.0.1 - - [17/Oct/2012:14:38:12 +0800] "GET /test.jsp HTTP/1.1" 200 204 "-" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.3)"
搜集到mongodb 后的json 格式日志
{ "_id" : ObjectId("507e12de6e12474ee7000014"), "host" : "192.168.0.1", "user" : "-", "method" : "GET", "path" : "/jeep.jsp", "code" : "404", "size" : "979", "time" : ISODate("2012-10-17T01:21:38Z") }
2.应用服务器tomcat服务 server.xml  日志格式的修改
日志搜集的时候tomcat 的server.xml 的模板
把以下的注释 (<!-- -->) 去掉
 <!--
        <Valve className="org.apache.catalina.valves.AccessLogValve"
         directory="logs"  prefix="localhost_access_log." suffix=".txt"
         pattern="common" resolveHosts="false"/>
  -->
  改为
 <Valve className="org.apache.catalina.valves.AccessLogValve" directory="logs"
               prefix="t_uu_access_" suffix="log" pattern="combined"   rotatable="false"  resolveHosts="true"/>

prefix 中的参数是:t_项目的域名主体_access，例如esn.uu.com.cn，prefix 值设定为prefix="t_uu_access_"

其中t 代表的是tomcat有别与Apache 和nginx
参数说明

Valve className（使用的Java 的类的名字）="org.apache.catalina.valves.AccessLogValve：Java 实行的类的名字，默认的获取access的值

prefix  ：规定日志文件的前缀，即日志文件的名字

suffix ：规定日志文件的后缀，即日志文件的文件格式

pattern（模式），pattern的两个值区别如下：
common 的值： %h %l %u %t %r %s %b
combined 的值： %h %l %u %t %r %s %b %{Referer}i %{User-Agent}i 
注：%a - Remote IP address
%A - Local IP address     
%b - Bytes sent, excluding HTTP headers, or '-' if zero
%B - Bytes sent, excluding HTTP headers
%h - Remote host name (or IP address if resolveHosts is false)
%H - Request protocol
%l - Remote logical username from identd (always returns '-')
%m - Request method (GET, POST, etc.)
%p - Local port on which this request was received
%q - Query string (prepended with a '?' if it exists)
%r - First line of the request (method and request URI)
%s - HTTP status code of the response
%S - User session ID
%t - Date and time, in Common Log Format
%u - Remote user that was authenticated (if any), else '-'
%U - Requested URL path
%v - Local server name
%D - Time taken to process the request, in millis
%T - Time taken to process the request, in seconds
%I - current request thread name (can compare later with stacktraces)
 
 rotatable:决定日志是否轮巡
true :轮巡，并把时间加入日志名中
false:不轮巡。日志记录一直保存在同一个文件中

resolveHosts：决定是否把远程的主机ip 通过DNS 查找返回主机名
true : 返回主机名，
false:不去查找
注：查不到以“-”代替

fileDateFormat：决定轮巡的日志名字追加的时间格式，以及通过时间格式确定轮巡的周期即日志写
到新日志文件的周期。yyyy-MM-dd.HH   把值设定前文，是每个小时产生新的日志文件。不写此项，
系统默认是每天轮巡。

其他参数详见：http://tomcat.apache.org/tomcat-6.0-doc/config/valve.html

修改完要重启tomcat服务
3.在fluentd 的收集端
vim /etc/td-agent/td-agent.conf
<source>
type forward
port 24224
bind 0.0.0.0
</source>                        :source对 一个
<match apache.*>            :match 对有多个，一个tomcat项目一个match 对
#type file
##path /var/log/fluentd/access_log
type  mongo                  
database apache                  :database 后指定mongodb 的数据库名线上确定为weblogs
collection access                  :collection 后指定的是weblogs 库中存该项目tomcat日志的表名，即tomcat的日志名
host 192.168.0.110               :指定mongodb 数据库的ip 线上环境           
port 27017                           :mongodb 的开放端口
ignore_invalid_record true
  buffer_chunk_limit 5M
  flush_interval 60s
  </match>
  注意：要搜集的日志的source 和match 对，其他的source 和match 对用注释掉
  4.web 应用端的td-agent 的配置文件说明
<source>
type tail
path /var/log/httpd/access_log      :指定所要收集的日志的全路径
format apache
tag    apache.access                          :指定所要搜集的日志的种类例如 nginx.access  tomcat.access ,
</source>
<match apache.*>                          :指定匹配日志的类型这里的前缀和tag中的前缀一直
type forward
 send_timeout 60s
  recover_wait 10s
  heartbeat_interval 1s
  phi_threshold 8
  hard_timeout 60s
<server>                :server对指定收集端的信息                       
host 192.168.0.111  ：搜集端 的ip
port 24224；           :搜集端开放的端口
weight 60                 :发送权重，可以有收集端由多个实现负载均衡，这里可以有多个server对
</server>
</match>
注意：这里一个项目日志需要一个source对和一个match 对。