免费的日志管理软件Splunk Free使用入门

 

 Splunk可以收集由IT系统和技术基础设施产生的各种数据，包括网站、应用程序、服务器、网络、传感器、移动设备等。Splunk可以对这些数据进行搜索，可以对数据进行分析形成报告、图表。Splunk的功能及其强大，特别适合分析网络、服务器的故障、性能等。关于Splunk的详细介绍可以参考官方中文网站：http://zh-hans.splunk.com/。

 

这里主要对Splunk的日志管理功能进行说明，侧重介绍防火墙的日志分析功能。包括产品介绍、安装、使用、收集Syslog日志、搜索数据、创建图表、使用插件等内容。

 

一、产品介绍

Splunk Free可以免费使用，主要的限制是每天只能索引500MB数据。Free版没有电子邮件通知之类的告警功能。Free版只有一个管理员用户，而且不能设定密码，不能添加用户，出于安全考虑可以通过Windows服务器防火墙功能限制只能本地使用Splunk。Free版不具有一些高级功能如分布式搜索、高性能分析存储、生成PDF等，不过这不影响使用。一些关键的功能如收集Syslog日志、搜索数据、创建图表、使用插件等功能都可以使用。关于Free版和Enterprise版的主要区别请见网站：

http://zh-hans.splunk.com/view/free-vs-enterprise/SP-CAAAE8W。

 

IT运维主要对网络设备、服务器、存储、虚拟化等进行监控。主要功能：

• IT基础设施：使用 SNMP、流量协议（Netflow、sFlow）、系统日志、PCAP 以及基于 API 的传输跟踪来自无线装置、交换机和路由器、防火墙及其它装置的网络数据，从而监控并满足关键的网络 SLA。

• 操作系统：适用于操作系统（Windows和各种类型的 Unix 和 Linux）的 Splunk 应用提供了简洁的性能洞察和运营分析，例如性能、可用性、安全性、容量以及变更跟踪数据。

• 虚拟化：驾驭来自VMware vSphere、Citrix XenServer 和微软 Hyper-V 等流行的服务器虚拟化技术以及 Citrix XenApp 和 Citrix XenDesktop 等桌面虚拟化技术的数据。

Splunk最大的特点就是从IT系统中收集各种数据，并且对这些数据进行分析，让你全面掌控IT性能、容量规划、故障、安全性等。

 

二、产品安装和使用

1、安装

从网站http://zh-hans.splunk.com/download/下载Splunk，可以60天免费试用Enterprise版，每天最多可对 500MB 数据建立索引。之后可以转换为Free版。在Windows Server上安装极其简单，这里就不介绍了。安装程序支持各种主流的操作系统如Windows、Linux、AIX、Solaris、HP-UX、Mac OSX等等。可以在虚拟化环境中使用Splunk。关于产品的详细文档请参考链接：http://docs.splunk.com/Documentation/Splunk。

默认的情况下Splunk会使用8000 端口，如果是在本机登录Splunk，你可以直接在浏览器地址栏输入http://localhost:8000

 

2、收集数据

接下来主要介绍如何导入JuniperSSG140防火墙的日志。

点击右上角的导航“设置”- “添加数据”。

在“添加数据”中点击“监视”。

在“添加数据”中选择“TCP/UDP”，在右侧选择“UDP”，在“端口”中输入“514”（Syslog默认使用端口514）。点击“下一步”。

在“输入设置”中的“Sourcetype”选择“手动”，并输入“syslog”。点击“检查”

点击“提交”完成“添加数据”。

完成之后就可以查看收集的数据。

 

3、防火墙设置

在Juniper SSG 140防火墙“Configuration> Report Settings > Log Settings”中对Syslog选择需要收集数据的“SeverityLevels”。点击“Syslog”设置Syslog接受服务器。

在“IP/Hostname”中输入Splunk服务器的IP地址。选择正确的“SourceInterface”，并确保网络畅通。

 

4、查看日志

在“搜索”中进行搜索或点击“数据摘要”。

在数据摘要中可以按照“主机”、“来源”、“来源类型”查看收集的数据。

 

5、搜索日志

数据收集之后需要进一步分析才能对获取我们需要的结果。

如对防火墙“192.168.1.1”中受到拒绝的源地址日志，可以在搜索框中搜索：

host="192.168.1.1" "src=192.168.1.2""action=deny"

其它搜索方法请见官方文档，或者访问以下网站：

http://www.netis.com.cn/splunk/splunk-search-tutorial/

 

三、创建仪表板和图表

通过仪表盘和图表可以快速直观的判断防火墙问题所在，这里介绍如何使用仪表板对防火墙的流量进行分析。防火墙日志中记录了经过防火墙的源地址和目标地址流量信息。

1、在“仪表板”中，在标题中输入如“Firewall_Flow”，在ID中输入一个未使用的ID。

2、在“编辑：FirewallFlow”中“添加面板”，在“新建”中点击“新建饼图”，选择“1小时窗口”，输入内容标题和搜索字符串：

host="10.24.100.253"permit | addtotals fieldname=sum1 sent rcvd | stats sum(sum1) AS byte by src |sort - byte

这样可以直观的看到通过防火墙的来源地址数据流量。还可以在“编辑”中将仪表板“设置为主页仪表板”。

我的Splunk主页上显示防火墙实时流量图表。

 

四、使用插件

插件是Splunk的特色功能，不使用插件也可以分析收集到的数据，但对于使用者来说会非常困难，需要熟悉Splunk的搜索命令。如果使用插件，就可以非常方便的对已知问题进行分析。

可以从网站http://www.splunk.com/en_us/products/apps-and-add-ons.html下载插件。安装插件也非常简单，可以从主页上的“应用”进行插件的安装和管理。

我使用了“Splunk for JuniperFirewall”插件，用来分析防火墙Juniper的通信日志。可以非常方便的分析被拒绝访问的源地址和目标地址。

 

五、总结

总体来说，Splunk功能非常强大，几乎可以监视IT系统的各个方面。但Splunk使用起来也不是很容易，需要具备较强的IT系统知识。建议有一定经验的IT系统管理员使用Splunk。