0x01 IIS日志格式
日志样本
[
'2017-06-23',
'00:38:23',
'W3SVC2007378449',
'ss.ss.ss.ss',
'GET',
'/xxxx/',
'-',
'80',
'-',
'cc.cc.cc.cc',
'Mozilla/5.0+(compatible;+MSIE+9.0;+Windows+NT+6.1;+Trident/5.0)',
'404',
'0',
'2\r\n'
]
数组对应字段的意义：
0 - 日期
1 - 时间
2 - 服务名
3 - 服务器IP
4 - 请求方式
5 - 请求访问页面
6 - 查询字符串
7 - 端口
8 - 无
9 - 客户端IP
10 - 用户代理
11 - 协议返回状态
12 - 无
13 - 无
0x02 解析IIS日志写入ELK
遍历IIS日志目录（这里为iis），通过split划分日志（建议使用正则，split是偷懒的方法），将日志信息写入redis。
下面附上思路代码analyze_log.py：
#coding: utf8
from datetime import datetime
import redis
import os
import re
import sys
import json
reload(sys)
sys.setdefaultencoding('utf-8')
def handle_time(dat, tim):
format_time = dat + ' ' + tim
struct_time = datetime.strptime(format_time, '%Y-%m-%d %X')
return struct_time
def getPool():
rhost = "localhost"
rport = 6379
rpassword = "redis"
rdb = 1
try:
pool = redis.ConnectionPool(host=rhost, port=rport, password=rpassword, db=rdb)
return redis.Redis(connection_pool=pool)
except Exception as e:
print 'redis connect error'
return 'None'
def getLogs(dirn, fpath, fn):
try:
f = open(fpath+fn)
redis_pool = getPool()
for v in f.readlines():
v_arr = v.split(" ")
#iis日志样本长度14
if len(v_arr) == 14:
timestamp = handle_time(v_arr[0], v_arr[1])
doc = {
"create_time": v_arr[0] + ' ' + v_arr[1],
"unit": dirn,
"filelog": fn,
"machine_id": v_arr[2],
"server": v_arr[3],
"method": v_arr[4],
"path": v_arr[5],
"param": v_arr[6],
"port": v_arr[7],
"client": v_arr[9],
"agent": v_arr[10],
"code": v_arr[11]
}
redis_pool.lpush('iisvul', json.dumps(doc))
except Exception as e:
print e
def analyze(rootdir):
for root,dirs,files in os.walk(rootdir):
for dirn in dirs:
fpath = os.getcwd() + '/' + rootdir + '/' + dirn + '/'
cur_files = os.listdir(fpath)
for cur_file in cur_files:
getLogs(dirn, fpath, cur_file)
if \_\_name\_\_ == '\_\_main\_\_':
#日志路径为iis
rootdir = 'iis'
analyze(rootdir)
print 'end'
为了更直观的展示日志，可以对请求ip做geoip，后续可在kibana中根据客户端IP画地图。
logstash配置文件iisvul.conf：
input{
redis {
host => "localhost"
password => "redis"
data_type => "list"
key => "iisvul"
db => 1
}
}
filter{
geoip {
source => "client"
target => "geoip"
database => "/path/to/databases/GeoLite2-City.mmdb"
}
date {
match => [ "create_time", "YYYY-MM-dd HH:mm:ss"]
}
}
output{
elasticsearch {
hosts => ["lcoalhost"]
index => "iisvul"
user => "logstash"
password => "logstash"
}
}
为索引iisvul建立映射，将geoip.location设置为geo_point类型。
PUT iisvul
{
"mappings": {
"logs": {
"properties": {
"geoip": {
"dynamic": "true",
"properties":{
"location":{"type":"geo_point"}
}
}
}
}
}
}
0x03 总览日志
绘制面板
经过粗糙的处理，把日志信息输入到ELK，把控总体情况。
日志总体情况.png
后续分析
一些分析日志思路：
通过折线图请求大量增加，可判断被扫描的时间段
通过地图直观判断恶意请求来自国外的IP（正常情况下恶意的请求都会通过国外的代理进行扫描、漏洞利用）
通过请求参数、请求链接出现较少次数的排序寻找webshell、上传的小马
可以根据服务器上已成功上传的大马、一句话来查询日志，分析入侵路径