OSSIM的Session存储问题研究
1.多Web服务共享SESSION数据
最初我们在开发OSSIM时,为了让用户登录多个集成工具的Web界面,比如在OSSIM下有四个应用都是B/S架构:
https://1.2.3.4/nagios
https/1.2.3.4/ocs
https://1.2.3.4/ntop
https://1.2.3.4/openvas
登录OSSIM系统的用户是统一的、即一套用户名、密码在整个网站的各个模块中都是可以登录使用的,各个服务器共享用户数据比较容易实现,只需要在后端设置数据库服务器,各服务器(Ntop、Nagios、OpenVas)通过统一接口对用户数据进行访问。用户在该服务器登录之后,进入另一个服务器的别的模块时,仍然需要重新登录,这称为一次登录,全部通行的问题,映射到技术上,其实就是各个服务器之间如何实现共享 SESSION 数据的问题。
2. SESSION原理
OSSIM前端主要利用PHP、Python开发在解决问题之前,先来了解一下 PHP SESSION 的工作原理。客户端(如浏览器)登录网站时,被访问的 PHP 页面可以使用 session_start() 打开 SESSION,这样就会产生客户端的唯一标识 SESSION ID。SESSION ID 可以通过两种方式保留在客户端,将 SESSION ID 自动加入到 GET 的 URL 中,或者 POST 的表单中,默认情况下,变量名为 PHPSESSID;另一种是通过 COOKIE,将 SESSION ID 保存在 COOKIE 中,默认情况下,这个 COOKIE 的名字为 PHPSESSID。这里我们主要以 COOKIE 方式进行说明。
SESSION 的数据保存在哪里呢?当然是在服务器端,但不是保存在内存中,而是保存在文件或数据库中。默认情况下,php.ini 中设置的 SESSION(位于/etc/php5/apache2/php.ini), 保存方式为 files(session.save_handler = files),即使用读写文件的方式保存 SESSION 数据,而 SESSION 文件保存的目录由 session.save_path 指定,文件名以 sess_ 为前缀,后跟 SESSION ID,如:sess_c72665af28a8b14c0fe11afe3b59b51b。OSSIM数据库中用”alienvault.sessions”存储session的内容。
如果访问量大,可能产生的 SESSION 文件会比较多,这时可以设置分级目录进行 SESSION 文件的保存,效率会提高很多,设置方法为:session.save_path="N;/ path",N 为分级的级数,save_path 为开始目录。当写入 SESSION 数据的时候,PHP 会获取到客户端的 SESSION_ID,然后根据这个 SESSION ID 到指定的 SESSION 文件保存目录中找到相应的 SESSION 文件,如不存在则创建,最后将数据序列化之后写入文件。读取 SESSION 数据是也是类似的操作流程,对读出来的数据需要生成相应的 SESSION 变量。
3.判断用户权限
在OSSIM多用户的权限控制,通过Session实现,用Session判断用户权限是最简便的一种处理权限判断的方式。用户成功登录之后将信息存储在$_SESSION["user"]中。在页面中,判断$_SESSION["user"]是否有用户信息存在,如果有用户信息保存在Session中,则在页面上显示出用户信息。
4.共享SESSION 的实现方案
通过介绍 SESSION 的工作原理,我们发现,在默认情况下,各个服务会各自分别对同 一个客户端产生 SESSION ID,如对于同一个用户浏览器,假设Ntop服务器产生的 SESSION ID 是rohq43bpasoibp7g87knfm6er0,而Nagios 服务器生成的则是 a72665af28a8b14c0fe11afe3b59b51b。另外,PHP 的 SESSION 数据都是分别保存在本服务器的文件系统中。
确定问题所在之后,就可着手解决。想要共享SESSION 数据,就必须实现两个目标:一个是各个服务器对同一个客户端产生的 SESSION ID 必须相同,并且可通过同一个cookie 进行传递,也就是说各个服务器必须可以读取同一个名为 PHP SESSID 的cookie; 另一个是 SESSION 数据的存储方式/位置必须保证各个服务器都能够访问到。
第一个目标的实现其实很简单,只需要对cookie的域进行特殊设置即可,默认情况下,COOKIE 的域是当前服务器的域名/IP 地址。
从外部看管理员登陆OSSIM系统只用到了一个用户名密码,但系统内部存在多个Web服务器,由于内部还有关联引擎,需要频繁调用各Web系统的数据,这样Session的读写会更频繁,如果没有好的方案会是系统性能降低,传统方法,使用基于文件的Session存取,这样做缺点是瓶颈可能都是在磁盘IO操作上,所以对付小数据量的Session没有问题(对于OSSIM3.1之前的系统数据量较小),利用Memcache来保存Session数据,同时做数据库缓存,直接通过内存的方式,不过缺点是宕机后数据会丢失。
但OSSIM4.3及以上系统会有大数据量的Session,可能无法胜任,这时可考虑安装redis。例如存储 session 的服务被重启,所有用户都必须重新获得 session ... 瞬时数据库压力会很大,而用 redis 则不会 ...
OSSIM 的Web系统设计成超时15分钟会注销,这也是通过Session实现。Session 是如何来判断客户端用户呢?它是通过 Session ID 来判断Session ID 是随机生成的,因此能保证唯一性和随机性,确保Session 的安全。一般如果没有设置 Session 的生存周期,则 Session ID 存储在内存中,关闭浏览器后该 ID 自动注销,重新请求该页面后,重新注册一个 Session ID。
5.Memcache与MySQL并肩作战
memcache是一个高性能的分布式的内存对象缓存系统,通过在内存里维护统一的巨大的hash表,它能够用来存储Sessio,当系统需要是从内存中读取,从而大大提高读取速度。OSSIM 4.1以后的所有系统中,采用了Memcached这个高性能的内存对象缓存系统,用于动态Web应用,主要对OSSIM各个数据库读写进行缓存,以减轻MySQL数据库的负载,配置文件读者参考/usr/share/ossim/include/ossim_db.inc、/usr/share/ossim/include/php-ids.ini。用这种方式也是OSSIM的缓存方案之一。读者或许会产生疑问,MySQL本身既有table_cache、query_cache机制,我们用以下命令在数据库中查看:
mysql> show variables like '%query_cache%';
在查询经常变化、表内容经常变化的场景中(OSSIM的存储、查询就是这样一种状态)这个样一个简单的缓存系统根本无法达到有效缓解数据库压力的目的。这就好比在Apache中提供的mod_disk_cache和mod_mem_cache无法真正为Web Server提供缓存样,后面还需要Squid等缓存工具。
memcache通过在内存中缓存数据和对象来减少读取数据库的次数,所以为OSSIM系统提供更大的内存,有助于发挥memcache的作用,从而提高整体性能。另外为了能够可视化的观察缓存效果,大家可以使用memadmin工具来查看。
配置memcached:
/etc/default/memcached //控制开启
/etc/memcached.conf //配置memcached参数
Ossim调用memcache,端口11211的配置文件/usr/share/ossim/www/forensics/includes/base_db.inc.php
/usr/share/php/adodb/adodb.inc.php
/usr/share/php/adodb/adodb-memcache.lib.inc.php
6 查看memcache状态
下面我们采用telnet命令测试memcache工作状态,首先输入以下命令:
#telnet 127.0.0.1 11211
注意,Ossim Server默认没有telnet需要自己安装,后面的”11211”代表memcache通选端口。
然后,直接输入“stats”命令就可以得到当前memcache状态。
表1- memcache状态信息
pid |
memcache服务器的进程ID,1416 |
uptime |
服务器已经运行的秒数,12898 |
time |
服务器当前的unix时间戳,1423550546 |
version |
memcache版本 1.4.5 |
pointer_size |
当前操作系统的指针大小,64 |
rusage_user |
进程的累计用户时间,0.220013 |
rusage_system |
进程的累计系统时间,0.144009 |
curr_connections |
当前打开着的连接数,6 |
total_connections |
从服务器启动以后曾经打开过的连接数,115 |
connection_structures |
服务器分配的连接构造数,14 |
cmd_get |
get命令(获取)总请求次数,1402 |
cmd_set |
set命令(保存)总请求次数,778 |
get_hits |
总命中次数,829 |
get_misses |
总未命中次数,573 |
limit_maxbytes |
分配给memcache的内存大小(字节),13421778 |
如果需要将缓存重置到干净状态则输入“flush_all”命令。
7.使用memcache存储Session
Apache服务器的PHP Session都给Memcached ,这样无论把 IP连接分给哪个Web服务器都不会有问题,配置方法很简单,就在PHP的配置文件内增加一条语句就可以了,不过前提需要装好memcache模块用memcache 来存储 session 在读写速度上会比 files 时快很多,而且在多个服务器需要共用 session 时会比较方便,将这些服务器都配置成使用同一组 memcached 服务器就可以,减少了额外的工作量。缺点是 session 数据都保存在 memory 中,持久化方面有所欠缺,但对 session 数据来说也不是很大的问题。
注意,在OSSIM系统中采用memcache的目的是提高访问速度,减小MySQL数据库的压力。通过修改/etc/default/memcached配置文件中ENABLE_MEMCACHED=yes/no控制其开关。
详细OSSIM内容,请参见畅销书《Unix/Linux网络日志分析与流量监控》。