阿里云态势感知 - 配置实时日志分析

背景

目前，阿里云态势感知与日志服务打通，对外开放平台依赖或者产生的日志，包括网络、主机、安全三大类共14种子类日志。提供近实时的日志自动采集存储、并提供基于日志服务的查询分析、报表报警、下游计算对接与投递的能力。

本文介绍如何配置态势感知的日志并介绍日志的具体类别与格式。

配置

前提条件

1. 开通态势感知企业版本，并在此基础上购买日志增值模块
2. 开通日志服务

步骤

刚进入态势感知控制台的日志分析下，在界面引导下开通日志服务并授权操作后。就可以立刻开始使用日志分析功能了。

专属日志库

日志都会集中放到这一个日志库中，不同的日志通过主题__topic__进行区分。

属性
专属的日志库名字是sas-log，存放于日志服务的项目sas-log-阿里云账户ID-区域名中。国内项目在杭州区域（cn-hangzhou)，国外开通的有马来西亚区域（southeast-3）。
默认的日志库的分区数量是4个, 并且打开了自动Split功能，默认的存储周期是180天（超过180天的日志会自动被删除）。

限制
专属的日志库用于存入态势感知的日志, 因此不允许用户通过API/SDK写入其他数据. 其他的查询、统计、报警、流式消费等功能与一般日志库无差别.

态势感知日志格式

日志类别与主题

默认开启的日志包括如下3大类14子类，具体类别和主题如下：

安全日志

日志来源	主题(__topic__)	描述	备注
漏洞日志	sas-vul-log	漏洞日志	安全运营产生，实时采集
基线日志	sas-hc-log	基线日志	安全运营产生，实时采集
安全告警日志	sas-security-log	安全告警日志	安全运营产生，实时采集

网络日志

日志来源	主题(__topic__)	描述	备注
DNS日志	sas-log-dns	通过网络的DNS日志	由网络采集，2小时延迟左右
本地DNS日志	local-dns	同一个阿里云域内的ECS之间DNS解析日志	由ECS内的DNS服务采集，延迟1小时
网络会话日志	sas-log-session	特定协议的网络日志	由网络采集，延迟1小时
Web日志	sas-log-web	HTTP日志	由网络采集，延迟1小时

主机日志

日志来源	主题(__topic__)	描述	备注
进程启动日志	aegis-log-process	主机上进程启动信息	由安骑士agent采集，实时数据，进程一启动日志就上报
网络连接日志	aegis-log-network	主机上连接的五元组信息	由安骑士agent采集，windows为实时数据，linux为10秒采集，增量上报
系统登录日志	aegis-log-login	SSH、RDP登录成功日志	由安骑士agent采集，准实时数据
暴力破解日志	aegis-log-crack	登录失败的日志	由安骑士agent采集，准实时的登录失败日志
进程快照	aegis-snapshot-process	主机上进程快照信息	若在安骑士-资产指纹中开启了自动收集则会有数据，快照形式，每台机器一天非固定时间收集一次当时运行进程信息
账户快照	aegis-snapshot-host	主机上账户快照信息	若在安骑士-资产指纹中开启了自动收集则会有数据，快照形式，每台机器一天非固定时间收集一次当时的账号信息
端口侦听快照	aegis-snapshot-port	主机上端口侦听快照信息	若在安骑士-资产指纹中开启了自动收集则会有数据，快照形式，每台机器一天非固定时间收集一次当时的端口侦听信息

日志格式

具体个每个类别的日志格式如下：

网络日志：DNS日志

字段名	名称	例子	备注
additional	additional字段，竖线分隔
additional_num	additional字段数量	0
answer	DNS回答信息，竖线分隔	abc.com A IN 52 1.2.3.4
answer_num	DNS回答信息数量	1
authority	authority字段	a1.a2.com NS IN 17597 b1.b2.com
authority_num	authority字段数量	1
client_subnet	客户端子网	172.168.100.1
dst_ip	目标IP	1.2.3.4
dst_port	目标端口	53
in_out	传输方向in或者out	out
qid	查询ID	12345
qname	查询域名	abc.com
qtype	查询类型	A
query_datetime	查询时间戳（毫秒）	1537840756263
rcode	返回代码	0
region	来源区域ID	1	1-北京，2-青岛，3-杭州，4-上海，5-深圳，6-其它
response_datetime	返回时间	2018-09-25 09:59:16
src_ip	源IP	1.2.3.4
src_port	源端口	1234

网络日志：本地DNS

字段名	名称	例子	备注
answer_rdata	DNS回答信息，竖线分隔	abc.com
answer_ttl	DNS回答的时间周期，竖线分隔	100
answer_type	DNS回答的类型，竖线分隔	1
anwser_name	DNS回答的名称，竖线分隔	abc.com
dest_ip	目标IP	1.2.3.4
dest_port	目标端口	53
group_id	分组ID	3
hostname	主机名	host.abc.com
id	id	1.2.3.4
instance_id	实例ID	1.2.3.4
internet_ip	互联网IP	1.2.3.4
ip_ttl	IP的周期	64
query_name	查询域名	abc.com
query_type	查询类型	A
src_ip	源IP	1.2.3.4
src_port	源端口	1234
time	查询时间戳（秒）	1537840756
time_usecond	响应耗时（微秒）	49069
tunnel_id	通道ID	1234

网络日志：网络会话日志

字段名	名称	例子	备注
asset_type	关联的资产类型	ECS	可能值有ECS/SLB/RDS等
dst_ip	目标IP	1.2.3.4
dst_port	目标端口	53
proto	协议类型	tcp	可能值有tcp或udp等
session_time	Session时间	2018-09-25 09:59:49
src_ip	源IP	1.2.3.4
src_port	源端口	1234

网络日志：Web日志

字段名	名称	例子	备注
content_length	内容长度	123
dst_ip	目标IP	1.2.3.4
dst_port	目标端口	53
host	访问主机名	host.abc.com
jump_location	重定向地址	123
method	HTTP访问	GET
referer	HTTP referer	http://abc.com
request_datetime	请求时间	2018-09-25 09:58:37
ret_code	返回状态值	200
rqs_content_type	请求内容类型	text/plain;charset=utf-8
rsp_content_type	响应内容类型	text/plain; charset=utf-8
src_ip	源IP	1.2.3.4
src_port	源端口	1234
uri	请求URI	/report
user_agent	请求User Agent	okhttp/3.2.0
x_forward_for	路由跳转信息	1.2.3.4

安全日志：漏洞日志

字段名	名称	例子	备注
name	漏洞名称	oval:com.redhat.rhsa:def:20182390
alias_name	漏洞别名	RHSA-2018:2390: kernel security and bug fix update
op	操作信息	new	可能值有：new（新增）/verify（验证）/fix（修复）
status	状态信息，参考后续列表	1
tag	漏洞标签：oval, system, cms等，主要区分EMG紧急漏洞。	oval
type	漏洞类型：sys(windows漏洞）,cve（Linux漏洞）,cms（Web CMS漏洞）, EMG （紧急漏洞）等	sys
uuid	客户端号	1234-b7ca-4a0a-9267-123456

安全日志：基线日志

字段名	名称	例子	备注
level	级别	low	可能值有low, mediam, high
op	操作信息	new	可能值有new（新增）/verify（验证）
risk_name	风险名称	密码策略合规检测
status	状态信息	1	详细参考后续列表
sub_type_alias	子类型别名（中文）	系统账户安全
sub_type_name	子类型名称	system_account_security
type_name	类型名称	account
type_alias	类型别名（中文）	1
uuid	客户端号	12345-b7ca-4a0a-9267-123456

基线type-sub-type列表

type_name	sub_type_name
system	baseline
weak_password	postsql_weak_password
database	redis_check
acount	system_account_security
acount	system_account_security
weak_password	mysq_weak_password
weak_password	ftp_anonymous
weak_password	rdp_weak_password
system	group_policy
system	register
acount	system_account_security
weak_password	sqlserver_weak_passwo
system	register
weak_password	ssh_weak_password
weak_password	ftp_weak_password
cis	centos7
cis	tomcat7
cis	memcached-check
cis	mongodb-check
cis	ubuntu14
cis	win2008_r2
system	file_integrity_mon
cis	linux-httpd-2.2-cis
cis	linux-docker-1.6-cis
cis	SUSE11
cis	redhat6
cis	bind9.9
cis	centos6
cis	debain8
cis	redhat7
cis	SUSE12
cis	ubuntu16

安全日志状态码

状态值	描述
1	未修复
2	修复失败
3	回滚失败
4	修复中
5	回滚中
6	验证中
7	修复成功
8	修复成功待重启
9	回滚成功
10	忽略
11	回滚成功待重启
12	已不存在
20	已失效

安全日志：安全告警日志

字段名	名称	例子	备注
data_source	数据源	aegis_login_log	参考后续列表
level	告警级别	可能值有suspicious	可能值有suspicious,serious,remind等
name	名称	Suspicious Process-SSH-based Remote Execution of Non-interactive Commands
op	操作信息	new	可能的值有new（新增）/dealing（处理）
status	状态信息	1	参考前述status列表
uuid	客户端号	12345-b7ca-4a0a-9267-123456

安全告警的data_source列表

值	含义
aegis_suspicious_event	主机异常
aegis_suspicious_file_v2	webshell
aegis_login_log	异常登录
security_event	态势感知异常事件

主机日志：进程启动日志

字段名	名称	例子	备注
uuid	客户端号	5d83b26b-b7ca-4a0a-9267-123456
ip	客户端机器IP	1.2.3.4
cmdline	用户启动完整命令行	cmd.exe /C "netstat -ano“
username	用户名	administrator
uid	用户ID	123
pid	进程ID	7100
filename	进程文件名	cmd.exe
filepath	进程文件完整路径	C:/Windows/SysWOW64/cmd.exe
groupname	用户组	group1
ppid	父进程ID	2296
pfilename	父进程文件名	client.exe
pfilepath	父进程文件完整路径	D:/client/client.exe	-

主机日志：进程快照

字段名	名称	例子	备注
uuid	客户端号	5d83b26b-b7ca-4a0a-9267-123456
ip	客户端机器IP	1.2.3.4
cmdline	用户启动完整命令行	cmd.exe /C "netstat -ano"
pid	进程ID	7100
name	进程文件名	cmd.exe
path	进程文件完整路径	C:/Windows/SysWOW64/cmd.exe
md5	进程文件名MD5	d0424c22dfa03f6e4d5289f7f5934dd4	超过1MB的进程文件不进行计算
pname	父进程文件名	client.exe
start_time	进程启动时间	2018-01-18 20:00:12	内置字段
user	用户名	administrator
uid	用户ID	123	-

主机日志：登录日志

注意：1分钟内的重复登录时间会被合并为1条日志，在字段warn_count中体现次数

字段名	名称	例子	备注
uuid	客户端号	5d83b26b-b7ca-4a0a-9267-123456
ip	客户端机器IP	1.2.3.4
warn_ip	登录来源IP	1.2.3.4
warn_port	登录端口	22
warn_type	登录类型	SSHLOGIN	可能值有：SSHLOGIN（SSH登录）、RDPLOGIN（远程桌面登录）、IPCLOGIN等
warn_user	登录用户名	admin
warn_count	登录次数	3	表示这次登录前1分钟内还发送了2次

主机日志：暴力破解日志

字段名	名称	例子	备注
uuid	客户端号	5d83b26b-b7ca-4a0a-9267-123456
ip	客户端机器IP	1.2.3.4
warn_ip	登录来源IP	1.2.3.4
warn_port	登录端口	22
warn_type	登录类型	SSHLOGIN	可能值有：SSHLOGIN（SSH登录）、RDPLOGIN（远程桌面登录）、IPCLOGIN等
warn_user	登录用户名	admin
warn_count	失败登录次数	3	-

主机日志：网络连接

注意 主机上每隔10秒到1分钟会收集一下变化的网络连接，而一个网络连接的状态从建立到结束的过程中会部分状态会被收集到。

字段名	名称	例子	备注
uuid	客户端号	5d83b26b-b7ca-4a0a-9267-123456
ip	客户端机器IP	1.2.3.4
src_ip	源IP	1.2.3.4
src_port	源端口	41897
dst_ip	目标IP	1.2.3.4
dst_port	目标端口	22
proc_name	进程名	java
proc_path	进程路径	/hsdata/jdk1.7.0_79/bin/java
proto	协议	tcp	其他可能的协议有udp和raw（表示raw socket）
status	连接状态	5	完整连接状态列表和描述，参考后续列表

网络连接状态描述

状态值	描述
1	closed
2	listen
3	syn send
4	syn recv
5	establisted
6	close wait
7	closing
8	fin_wait1
9	fin_wait2
10	time_wait
11	delete_tcb

主机日志：端口监听快照

字段名	名称	例子	备注
uuid	客户端号	5d83b26b-b7ca-4a0a-9267-123456
ip	客户端机器IP	1.2.3.4
proto	协议	tcp	可能的协议有tcp、udp和raw（表示raw socket）
src_ip	监听IP	1.2.3.4
src_port	监听端口	41897
pid	进程ID	7100
proc_name	进程名	java

主机日志：账户快照

字段名	名称	例子	备注
uuid	客户端号	5d83b26b-b7ca-4a0a-9267-123456
ip	客户端机器IP	1.2.3.4
user	用户	nscd
perm	是否拥有root权限	0	0-没有，1-有
home_dir	home目录	/Users/abc
groups	用户属于的组	["users", "root"]	不属于任何组时为N/A
last_chg	密码最后修改日期	2017-08-24
shell	linux的shell命令	/sbin/nologin
domain	windows域	administrator	不属于任何域为N/A
tty	登录的终端	pts/3	不适用时为N/A
warn_time	密码到期提醒日期	2017-08-24	永不提醒时为never
account_expire	账号超期日期	2017-08-24	永不过期时为never
passwd_expire	密码超期日期	2017-08-24	永不过期时为never
login_ip	最后一次登录的远程ip地址	1.2.3.4	不适用时为N/A（
last_logon	最后一次登录的日期和时间	2017-08-21 09:21:21	不适用时为N/A
status	用户状态	0	0-禁用、1-正常