Logstash是一款轻量级的日志搜集处理框架,可以方便的把分散的、多样化的日志搜集起来,并进行自定义的处理,然后传输到指定的位置,比如某个服务器或者文件。
本文针对官方文档进行翻译以及实践,希望有更多的有用户了解、使用这款工具。
这款工具是开箱即用的软件,下载自己对应的系统版本即可。下载地址:https://www.elastic.co/downloads/logstash。下载对应的版本就可以。
下载后直接解压,就可以了。
通过命令行,进入到logstash/bin目录,执行下面的命令:
logstash -e ""
可以看到提示下面信息(这个命令稍后介绍),输入hello world!
可以看到logstash自动添加了几个字段,时间戳@timestamp,版本@version,输入的类型type,以及主机名host。
Logstash使用管道方式进行日志的搜集处理和输出。有点类似*NIX系统的管道命令 xxx | ccc | ddd,xxx执行完了会执行ccc,然后执行ddd。
在logstash中,包括了三个阶段:
输入input –> 处理filter(不是必须的) –> 输出output
每个阶段都由很多的插件配合工作,比如file、elasticsearch、redis等等。
每个阶段也可以指定多种方式,比如输出既可以输出到elasticsearch中,也可以指定到stdout在控制台打印。
-f:通过这个命令可以指定Logstash的配置文件,根据配置文件配置logstash
-e:后面跟着字符串,该字符串可以被当做logstash的配置(如果是“” 则默认使用stdin作为输入,stdout作为输出)
-l:日志输出的地址(默认就是stdout直接在控制台中输出)
-t:测试配置文件是否正确,然后退出。
前面介绍过logstash基本上由三部分组成,input、output以及用户需要才添加的filter,因此标准的配置文件格式如下:
input {...}
filter {...}
output {...}
在每个部分中,也可以指定多个访问方式,例如我想要指定两个日志来源文件,则可以这样写:
input {
file { path =>"/var/log/messages" type =>"syslog"}
file { path =>"/var/log/apache/access.log" type =>"apache"}
}
类似的,如果在filter中添加了多种处理规则,则按照它的顺序一一处理,但是有一些插件并不是线程安全的。
比如在filter中指定了两个一样的的插件,这两个任务并不能保证准确的按顺序执行,因此官方也推荐避免在filter中重复使用插件。
说完这些,简单的创建一个配置文件的小例子看看:
input {
file {
path => "/home/zhaofaquan/download/logstash-2.4.0/data/test.log"
start_position => beginning
}
}
filter {
}
output {
stdout {}
}
日志大致如下:
hello,this is first line in test.log!
hello,my name is xingoo!
goodbye.this is last line in test.log!
注意最后有一个空行。
执行命令得到如下信息:
细心的会发现,这个日志输出与上面的logstash -e “” 并不相同,这是因为上面的命令默认指定了返回的格式是json形式。
用户可以通过一个配置文件告诉Logstash使用哪些插件,以及针对每种插件的配置。在配置文件中可以引用事件(events,es中的概念,一行或者多行)的域(fields),并能够在条件分支中处理事件。
下面建立一个简单的配置文件logstash-simple.conf
:
input { stdin { } }
output {
elasticsearch { hosts => ["localhost:9200"] }
stdout { codec => rubydebug }
}
然后通过下面的命令启动Logstash:
bin/logstash -f logstash-simple.conf
Logstash配置文件把每个插件独立开来,每个插件通过pipeline的方式处理事件(event)。
# This is a comment. You should use comments to describe
# parts of your configuration.
input {
...
}
filter {
...
}
output {
...
}
如果在filter中指定多个插件,它们根据在配置文件中定义的顺序一次作用在event上。
每个插件由名字+该插件的配置(大括号内)组成。
input {
file {
path => "/var/log/messages"
type => "syslog"
}
file {
path => "/var/log/apache/access.log"
type => "apache"
}
}
插件的设置可以理解为键值对,其中值可以由不同的类型:
数组类型基本已经弃用,但是有的一些地方还在用:
users => [ {id => 1, name => bob}, {id => 2, name => jane} ]
path => [ "/var/log/messages", "/var/log/*.log" ]
uris => [ "http://elastic.co", "http://example.net" ]
ssl_enable => true
注意:
true
和false
关键字没有引号。
一个bytes字段是一个string形式的,SI (k M G T P E Z Y) 和Binary (Ki Mi Gi Ti Pi Ei Zi Yi)这两种单位都被支持。这个字段是大小写敏感的,同时在数字和单位之间可以有空格出现。如果没有指定单位,默认为byte。
my_bytes => "1113" # 1113 bytes
my_bytes => "10MiB" # 10485760 bytes
my_bytes => "100kib" # 102400 bytes
my_bytes => "180 mb" # 180000000 bytes
Logstash使用Codec展示数据,这个字段可以用在input或者output中,在Input中使用Codec可以在数据送到input之前decode数据,在Output中使用Codec可以在数据离开output之前encode数据。通过Codec可以不用在filter中使用separate filter了。
codec => "json"
哈希键值对,注意多组键值对时,使用的是换行分割的,不是逗号:
match => {
"field1" => "value1"
"field2" => "value2"
...
}
port => 33
该字段是一个string类型,但是不能被日志记录、不能被打印:
my_password => "password"
my_uri => "http://foo:[email protected]"
如果一个URI中包含Password类型的字段,那么这个URI同样不能被log和print。
my_path => "/tmp/logstash"
name => "Hello world"
name => 'It\'s a beautiful day'