Splunk可以收集由IT系统和技术基础设施产生的各种数据,包括网站、应用程序、服务器、网络、传感器、移动设备等。Splunk可以对这些数据进行搜索,可以对数据进行分析形成报告、图表。Splunk的功能及其强大,特别适合分析网络、服务器的故障、性能等。关于Splunk的详细介绍可以参考官方中文网站:http://zh-hans.splunk.com/

 

这里主要对Splunk的日志管理功能进行说明,侧重介绍防火墙的日志分析功能。包括产品介绍、安装、使用、收集Syslog日志、搜索数据、创建图表、使用插件等内容。

 

一、产品介绍

Splunk Free可以免费使用,主要的限制是每天只能索引500MB数据。Free版没有电子邮件通知之类的告警功能。Free版只有一个管理员用户,而且不能设定密码,不能添加用户,出于安全考虑可以通过Windows服务器防火墙功能限制只能本地使用SplunkFree版不具有一些高级功能如分布式搜索、高性能分析存储、生成PDF等,不过这不影响使用。一些关键的功能如收集Syslog日志、搜索数据、创建图表、使用插件等功能都可以使用。关于Free版和Enterprise版的主要区别请见网站:

http://zh-hans.splunk.com/view/free-vs-enterprise/SP-CAAAE8W

 

IT运维主要对网络设备、服务器、存储、虚拟化等进行监控。主要功能:

  • IT基础设施:使用 SNMP、流量协议(NetflowsFlow)、系统日志、PCAP 以及基于 API 的传输跟踪来自无线装置、交换机和路由器、防火墙及其它装置的网络数据,从而监控并满足关键的网络 SLA

  • 操作系统:适用于操作系统(Windows和各种类型的 Unix Linux)的 Splunk 应用提供了简洁的性能洞察和运营分析,例如性能、可用性、安全性、容量以及变更跟踪数据。

  • 虚拟化:驾驭来自VMware vSphereCitrix XenServer 和微软 Hyper-V 等流行的服务器虚拟化技术以及 Citrix XenApp Citrix XenDesktop 等桌面虚拟化技术的数据。

Splunk最大的特点就是从IT系统中收集各种数据,并且对这些数据进行分析,让你全面掌控IT性能、容量规划、故障、安全性等。

 

二、产品安装和使用

1、安装

从网站http://zh-hans.splunk.com/download/下载Splunk,可以60天免费试用Enterprise版,每天最多可对 500MB 数据建立索引。之后可以转换为Free版。在Windows Server上安装极其简单,这里就不介绍了。安装程序支持各种主流的操作系统如WindowsLinuxAIXSolarisHP-UXMac OSX等等。可以在虚拟化环境中使用Splunk。关于产品的详细文档请参考链接:http://docs.splunk.com/Documentation/Splunk

默认的情况下Splunk会使用8000 端口,如果是在本机登录Splunk,你可以直接在浏览器地址栏输入http://localhost:8000

 

2、收集数据

接下来主要介绍如何导入JuniperSSG140防火墙的日志。

点击右上角的导航“设置”- “添加数据”。

免费的日志管理软件Splunk Free使用入门_第1张图片

在“添加数据”中点击“监视”。

免费的日志管理软件Splunk Free使用入门_第2张图片

在“添加数据”中选择“TCP/UDP”,在右侧选择“UDP”,在“端口”中输入“514”(Syslog默认使用端口514)。点击“下一步”。

免费的日志管理软件Splunk Free使用入门_第3张图片

在“输入设置”中的“Sourcetype”选择“手动”,并输入“syslog”。点击“检查”

免费的日志管理软件Splunk Free使用入门_第4张图片

点击“提交”完成“添加数据”。

免费的日志管理软件Splunk Free使用入门_第5张图片

完成之后就可以查看收集的数据。

免费的日志管理软件Splunk Free使用入门_第6张图片

 

3、防火墙设置

Juniper SSG 140防火墙“Configuration> Report Settings > Log Settings”中对Syslog选择需要收集数据的“SeverityLevels”。点击“Syslog”设置Syslog接受服务器。

免费的日志管理软件Splunk Free使用入门_第7张图片

在“IP/Hostname”中输入Splunk服务器的IP地址。选择正确的“SourceInterface”,并确保网络畅通。

免费的日志管理软件Splunk Free使用入门_第8张图片

 

4、查看日志

在“搜索”中进行搜索或点击“数据摘要”。

免费的日志管理软件Splunk Free使用入门_第9张图片

在数据摘要中可以按照“主机”、“来源”、“来源类型”查看收集的数据。

免费的日志管理软件Splunk Free使用入门_第10张图片

 

5、搜索日志

数据收集之后需要进一步分析才能对获取我们需要的结果。

如对防火墙“192.168.1.1”中受到拒绝的源地址日志,可以在搜索框中搜索:

host="192.168.1.1" "src=192.168.1.2""action=deny"

其它搜索方法请见官方文档,或者访问以下网站:

http://www.netis.com.cn/splunk/splunk-search-tutorial/

免费的日志管理软件Splunk Free使用入门_第11张图片

 

三、创建仪表板和图表

通过仪表盘和图表可以快速直观的判断防火墙问题所在,这里介绍如何使用仪表板对防火墙的流量进行分析。防火墙日志中记录了经过防火墙的源地址和目标地址流量信息。

1、在“仪表板”中,在标题中输入如“Firewall_Flow”,在ID中输入一个未使用的ID

免费的日志管理软件Splunk Free使用入门_第12张图片

2、在“编辑:FirewallFlow”中“添加面板”,在“新建”中点击“新建饼图”,选择“1小时窗口”,输入内容标题和搜索字符串:

host="10.24.100.253"permit | addtotals fieldname=sum1 sent rcvd | stats sum(sum1) AS byte by src |sort - byte

免费的日志管理软件Splunk Free使用入门_第13张图片

这样可以直观的看到通过防火墙的来源地址数据流量。还可以在“编辑”中将仪表板“设置为主页仪表板”。

免费的日志管理软件Splunk Free使用入门_第14张图片

我的Splunk主页上显示防火墙实时流量图表。

免费的日志管理软件Splunk Free使用入门_第15张图片

 

四、使用插件

插件是Splunk的特色功能,不使用插件也可以分析收集到的数据,但对于使用者来说会非常困难,需要熟悉Splunk的搜索命令。如果使用插件,就可以非常方便的对已知问题进行分析。

可以从网站http://www.splunk.com/en_us/products/apps-and-add-ons.html下载插件。安装插件也非常简单,可以从主页上的应用进行插件的安装和管理。

免费的日志管理软件Splunk Free使用入门_第16张图片

我使用了Splunk for JuniperFirewall”插件,用来分析防火墙Juniper的通信日志。可以非常方便的分析被拒绝访问的源地址和目标地址。

免费的日志管理软件Splunk Free使用入门_第17张图片

免费的日志管理软件Splunk Free使用入门_第18张图片

 

五、总结

总体来说,Splunk功能非常强大,几乎可以监视IT系统的各个方面。但Splunk使用起来也不是很容易,需要具备较强的IT系统知识。建议有一定经验的IT系统管理员使用Splunk