准备
Java
$ sudo yum install java-1.8.0-openjdk-headless.x86_64
安装MongoDB
$ sudo vim /etc/yum.repos.d/mongodb-org-3.2.repo
添加如下内容:
[mongodb-org-3.2]
name=MongoDB Repository
baseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/3.2/x86_64/
gpgcheck=1
enabled=1
gpgkey=https://www.mongodb.org/static/pgp/server-3.2.asc
保存文件并退出编辑。
执行命令:
$ sudo yum install mongodb-org
启动服务:
$ sudo chkconfig --add mongod
$ sudo systemctl daemon-reload
$ sudo systemctl enable mongod.service
$ sudo systemctl start mongod.service
安装Elasticsearch
$ sudo rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
$ sudo vim /etc/yum.repos.d/elasticsearch.repo
添加如下内容:
[elasticsearch-5.x]
name=Elasticsearch repository for 5.x packages
baseurl=https://artifacts.elastic.co/packages/5.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md
保存文件并退出编辑。
$ sudo yum install elasticsearch
更改elasticsearch配置文件:
$ sudo vim /etc/elasticsearch/elasticsearch.yml
将cluster name设置成graylog,并去掉改行前面的#
:
cluster.name: graylog
启动服务:
$ sudo chkconfig --add elasticsearch
$ sudo systemctl daemon-reload
$ sudo systemctl enable elasticsearch.service
$ sudo systemctl restart elasticsearch.service
安装Graylog
$ sudo rpm -Uvh https://packages.graylog2.org/repo/packages/graylog-2.3-repository_latest.rpm
$ sudo yum install graylog-server
编辑配置文件 /etc/graylog/server/server.conf
添加 password_secret
、root_password_sha2
,执行如下命令,将结果添加到分别添加到配置文件对应的部分。
$ sudo yum install pwgen
$ pwgen -N 1 -s 96
执行$ sudo yum install pwgen
若出现以下的问题:
[vagrant@graylogNode1 ~]$ sudo yum install pwgen
Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
* base: mirrors.sohu.com
* extras: mirrors.sohu.com
* updates: mirrors.sohu.com
No package pwgen available.
Error: Nothing to do
解决办法:执行$ sudo yum install epel-release
,然后再执行$ sudo yum install pwgen
。
将结果添加到 配置文件的password_secret 部分。
$ echo -n 123456 | sha256sum
将结果添加到配置文件的 root_password_sha2 部分。
启动服务:
$ sudo chkconfig --add graylog-server
$ sudo systemctl daemon-reload
$ sudo systemctl enable graylog-server.service
$ sudo systemctl start graylog-server.service
至此,graylog web已经安装完成,访问http://localhost:9000
即可看到web界面。
后端Graylog side-car安装
版本对应:
Sidecar version | Graylog server version |
---|---|
0.0.9 | 2.1.x |
0.1.x | 2.2.x,2.3.x |
Graylog默认支持Beats 和NXlog,以下介绍其安装方法。
Beats backend
Ubuntu
Beats二进制文件(Filebeat和Winlogeventbeat)包含在Sidecar软件包中。所以只需使用如下命令安装:
$ sudo dpkg -i collector-sidecar_0.0.9-1_amd64.deb
编辑配置文件/etc/graylog/collector-sidecar/collector_sidecar.yml,配置Graylog server URL 、tags,tag用于定义接收哪个主机的配置。
创建系统服务并启动:
$ sudo graylog-collector-sidecar -service install
[Ubuntu 14.04 with Upstart]
$ sudo start collector-sidecar
[Ubuntu 16.04 with Systemd]
$ sudo systemctl start collector-sidecar
CentOS
使用RPM包安装:
$ sudo rpm -i collector-sidecar-0.0.9-1.x86_64.rpm
Sidecar作为系统服务启动:
$ sudo graylog-collector-sidecar -service install
$ sudo systemctl start collector-sidecar
NXLog backend
Ubuntu
下载相应的安装包nxlog,由于Sidecar要控制NXlog 的启动和停止,因此必须停止NXlog的所有运行实例并解除配置默认系统服务。之后我们可以安装和设置Sidecar:
$ sudo /etc/init.d/nxlog stop
$ sudo update-rc.d -f nxlog remove
$ sudo gpasswd -a nxlog adm
$ sudo chown -R nxlog.nxlog / var / spool / collector-sidecar / nxlog
$ sudo dpkg -i collector-sidecar_0.0.9-1_amd64.deb
编辑/etc/graylog/collector-sidecar/collector_sidecar.yml并注册Sidecar作为服务:
$ sudo graylog-collector-sidecar -service install
[Ubuntu 14.04 with Upstart]
$ sudo start collector-sidecar
[Ubuntu 16.04 with Systemd]
$ sudo systemctl start collector-sidecar
CentOS
下载相应的安装包安装并启动服务:
$ wget https://nxlog.co/system/files/products/files/348/nxlog-ce-2.9.1716-1_rhel7.x86_64.rpm
$ sudo yum localinstall nxlog-ce-2.9.1716-1_rhel7.x86_64.rpm -y
$ sudo service nxlog start
执行如下的命令操作,配置graylog控制nxlog:
$ sudo service nxlog stop
$ sudo chkconfig --del nxlog
$ sudo gpasswd -a nxlog root
$ sudo chown -R nxlog.nxlog /var/spool/collector-sidecar/nxlog
$ sudo rpm -i collector-sidecar-0.0.9-1.x86_64.rpm
Sidecar作为系统服务启动:
$ sudo graylog-collector-sidecar -service install
$ sudo systemctl start collector-sidecar
配置
配置文件所在位置:/etc/graylog/collector-sidecar/collector_sidecar.yml
Filebeat配置示例:
server_url: http://192.168.93.128:9000/api/
update_interval: 30
tls_skip_verify: true
send_status: true
list_log_files:
node_id: graylog-collector-sidecar
collector_id: file:/etc/graylog/collector-sidecar/collector-id
cache_path: /var/cache/graylog/collector-sidecar
log_path: /var/log/graylog/collector-sidecar
log_rotation_time: 86400
log_max_age: 604800
tags:
- linux
- apache
backends:
- name: filebeat
enabled: true
binary_path: /usr/bin/filebeat
configuration_path: /etc/graylog/collector-sidecar/generated/filebeat.yml
NXlog 配置示例:
server_url: http://192.168.93.128:9000/api/
update_interval: 30
tls_skip_verify: true
send_status: true
list_log_files:
- /var/log
node_id: graylog-collector-sidecar
collector_id: file:/etc/graylog/collector-sidecar/collector-id
log_path: /var/log/graylog/collector-sidecar
log_rotation_time: 86400
log_max_age: 604800
tags:
- linux
- apache
backends:
- name: nxlog
enabled: true
binary_path: /usr/bin/nxlog
configuration_path: /etc/graylog/collector-sidecar/generated/nxlog.conf
初次启动
system | command |
---|---|
Debian/Ubuntu | sudo start collector-sidecar |
RedHat/CentOS | sudo systemctl start collector-sidecar |
Windows | C:\Program Files\graylog\collector-sidecar\graylog-collector-sidecar.exe -service start |
初次启动后,会有以下问题:
INFO[0006] [RequestConfiguration] No configuration found for configured tags!
这只是意味着没有与Sidecar启动时的配置相同标签。所以我们必须创建一个新的配置,定义输出和输入并标记它以收集日志文件。
Web界面配置Step-by-step guide
以下简单介绍下Apache日志、系统日志的采集。
收集Apache日志
-
创建一个Beats input用于接收收集器发送的数据,点击“System->Inputs”并创建一个监听在0.0.0.0:5044的全局Beats input。
-
收集器配置,点击“System->Collectors->Manage configurations”进行配置。
-
创建新的配置文件。
-
填写配置名称,点击“Save”按钮保存。
-
点击刚刚创建的配置,配置Beats output,点击“Save”保存。
-
配置Beats intput用于收集Apache访问日志,点击“Save”保存。
-
为配置打上tag。
-
查看收集到的Apache日志。
收集系统日志
使用rsyslog转发系统日志配置:
UDP:
*.* @graylog.example.org:514;RSYSLOG_SyslogProtocol23Format
TCP:
*.*@@graylog.example.org:514;RSYSLOG_SyslogProtocol23Format
如果您使用的是不提供内置RSYSLOG_SyslogProtocol23Format模板的rsyslog(rsyslog 5.10之前的版本)的旧版本,则可以创建自定义消息模板。
上面的UDP示例变成:
$template GRAYLOGRFC5424,"<%PRI%>%PROTOCOL-VERSION% %TIMESTAMP:::date-rfc3339% %HOSTNAME% %APP-NAME% %PROCID% %MSGID% %STRUCTURED-DATA% %msg%\n"
*.* @graylog.example.org:514;GRAYLOGRFC5424
本次使用 TCP 配置,具体步骤如下。
-
在 /etc/rsyslog.d目录下创建文件graylog.conf,写入配置并保存:
$ vim /etc/rsyslog.d/graylog.conf
写入如下内容:
*.* @@localhost:5140;RSYSLOG_SyslogProtocol23Format
注解
此处使用514端口时会出现权限的问题,因此换用5140端口,web界面配置时使用的端口应该与其一致。 -
重启rsyslog服务:
$ sudo service rsyslog restart
-
web界面创建System TCP input:
-
填写配置,点击“Save”按钮保存:
-
完成的配置如下图所示,处于running状态:
-
查看收集到的系统日志:
告警配置
-
编辑graylog配置文件:
$ vim /etc/graylog/server.conf
添加如下smtp配置内容:
# Email transporttransport_email_enabled = truetransport_email_hostname = smtp.163.com transport_email_port = 25 transport_email_use_auth = true transport_email_use_tls = false transport_email_use_ssl = false transport_email_auth_username = [email protected] transport_email_auth_password = xiao******* #transport_email_subject_prefix = [graylog] transport_email_from_email = [email protected] transport_email_web_interface_url = http://localhost:9000
保存修改并退出编辑。
-
配置通知:
点击“Alerts->Manage notifications”点击“Add new notification”
添加notification,如下图
点击“Test”测试通知是否配置正确
-
配置触发条件:
点击“Alerts->Manage conditions”点击“Add new condition”
添加condition,如下图
至此,一个简单的告警配置已经完成。
上述告警示例表示当5分钟内接收到的日志消息超过10条的时候,发送告警通知给邮箱 [email protected]。
收到的告警通知邮件如下图: