威胁情报之落地实战-由灰产向黑产篇
近几年，安全圈除了AI之外，比较火的概念大概是：Threat Intelligence（威胁情报）和Threat Hunting （威胁狩猎）了。除了PR和安全厂商自我驱动的需求外，威胁情报体现了安全厂商多年积累的数据价值，而威胁狩猎则体现安全厂商正尝试向其客户输出安全数据应用的方法论。
图1 数据为王
对于企业安全团队而言，永恒的价值需求有四个方面，第一是攻陷主机分析，从告警里面发现和得出哪些机器哪些目标是被攻陷的，是需要被处置的；第二是态势感知，能够有较为完善的平台整理和总结安全数据，为安全运营提供可视化管理能力和感知能力；第三是安全运营，建立安全威胁运营机制，形成监控、预警、处置、调查、加固一系列安全运营流程，实现威胁监测、应急等各项工作标准化、自动化和人力成本最小化；第四，是溯源和报告，对告警事件深入分析，体现安全团队这个成本部门的核心价值。
安全对抗中的防守工作一直都是由安全厂商和企业安全团队来共同完成的。以前安全厂商通过盒子设备向企业安全团队输出其检测能力，现在则是通过数据产品和平台产品向企业安全团队输出其数据能力和分析能力，增强客户本地安全运营的时效性和机动性。
威胁情报和威胁狩猎，一个是数据，一个是手段。威胁情报，赋予了安全团队外部威胁视野，用更多外部的威胁上下文提升安全事件研判能力；威胁狩猎，提供的是下钻的方向和能力，让安全团队能够在众多威胁线索的情况下，更好地利用内部/外部威胁上下文，更快地检测和发现威胁的源头。
数据为王，是这个时代安全检测应用的指导思想，也是威胁情报在企业侧落地的指导思想。内部大数据（主机行为、网络行为和应用行为等）和外部大数据（威胁情报和IP画像等），联动分析，发现蛛丝马迹后还原长时间行为场景；在发现威胁痕迹后主动出击，多行为维度取证，事件定性。可用性强的数据，往往存储和检索难度较高，因而，海量行为metadata数据辅助威胁分析，威胁狩猎与鲜活的行为详情辅助威胁定性，是一条较为可行的落地路线。
二、情报落地的需求和运营上一篇《威胁情报之剑指落地》介绍了威胁情报的基本种类和应用面临的难题，本篇尝试从实战和经验角度出发探讨下实际应用的最佳实践。本篇涉及的落地工作仅针对威胁情报的检测和溯源应用。
首先明确使用威胁情报检测并不是什么创新的方法。由于篇幅所限，本篇涉及的威胁情报的检测，仅讨论使用恶意IP情报进行检测的状况，这也是最为常用的情报匹配场景。在企业内网中的攻击检测和异常监测的方法有很多，例如传统的安全设备、日志分析和行为分析等。基于威胁情报检测只是其中的一种检测方式而已。
其次，本篇之所以讨论威胁情报的检测应用，是因为现在大量企业都有自己的情报收集方法，或开源、或商业购买，威胁情报对企业侧的安全改进已有了事实基础。同时，之前几年情报厂家往往强调的是威胁情报在溯源方面的应用，大家关注的还只是不同维度数据的有无，很少关注精准度。数据有无只是情报的“看见”能力，情报数据的精准和情报本地运营流程才是安全管理员期待的“洞见”能力。
威胁情报这一安全数据源摆在企业安全团队面前的应用难题主要有三个：
多：威胁情报数据源多、数量多，数量的庞大加上情报本身的置信度问题，会带来大量的检出误报，安全人员疲于应对。
杂：威胁情报种类杂，应用场景复杂，不同的情报可能位于攻击链的不同阶段，不同的场景侧重的是不同的攻击者，例如云平台的情报应用关注外部攻击者，企业侧的情报应用主要关注的是内网有无受感染的主机或者对外的恶意行为。不同场景中应用威胁情报的种类也是有差异的。
快：威胁情报更新快，在前面两个问题“多”和“杂”的映衬下，更新速度可能成为压倒安全管理人员的最后一根稻草。如果没有合适的情报自动化运营流程，这一系列的情报检测，行为下钻，事件确认和威胁溯源将会是人力投入产出比极低的工作。
因此可看出，威胁情报的应用绝不是简单的黑白名单匹配，缺乏妥善的运营机制，海量的情报“线索”给安全团队带来的将是灾难性的工作量。
理想情报的运营流程应该包含几大部分：
1) 情报应用：将情报和网络实体行为相关联。
(2) 智能排序：这部分是情报应用的最为关键的部分，也是下文会着重讨论的。安全运营人员的精力是有限的。据经验，一名安全管理员每天能够有效处理的事件数目只有20条左右。那么哪些情报事件应该优先处理，哪些有余力再处理，将是影响用户体验的决定性要素。
(3) 行为下钻：情报说到底只是外部安全知识的总结，情报数据顶多能够给到安全管理员情报类型、情报分级和可能的上下文信息。一个情报事件是否是一次成功的攻击，以及对内网系统的安全影响程度都需要安全管理员能够从实体行为中获得更多的证据去调查和应证。
(4) 事件确认：安全管理员发现高置信度的事件后需要进行用户告知，事件确认和事件处置。
(5) 威胁溯源：针对重要的安全事件需要通过外部情报系统和本地行为痕迹，形成安全报告，进行总结和归纳。
图2 情报运营中的黑白灰与本地行为上下文
三、由灰向黑：情报落地之可运营1情报使用有的放矢
在情报的使用上，可以从种类+场景和时间跨度两个方面进行精细化使用：
(1) 种类+场景：从下面的表格中粗略地列出了9种情报类型，其中前四种和后五种的使用场景是完全不同的。例如DDoS情报和Botnets情报，从情报生产方式来讲，它们都是一些受陷的公网IP，对外产生攻击，那么准确的情报匹配方向应该是公网/外网IP之间的通信。如果将这种类型的情报用到企业侧的外联数据流中，虽然也能产生威胁线索，但在种类和场景上存在差异，带来的告警反而很容易给安全管理人员带来干扰，得不偿失。对于Spam Source、Malware 、Phishing 、Proxy 和C&C这几种情报，情报生产环境和企业侧外联环境相符，其匹配情况更应该为安全管理人员所关注。
情报类型 |
情报含义 |
使用场景 |
DDoS |
DDoS攻击的源IP |
外到外 |
Web Attacks |
针对网站的攻击IP |
外到外 |
Scanners |
扫描器 |
外到外 |
Botnets |
僵尸网络肉鸡 |
外到外 |
Spam Source |
垃圾邮件源 |
内到外，外到外 |
Malware |
恶意软件 |
内到外，外到外 |
Phishing |
钓鱼软件 |
内到外，外到外 |
Proxy |
代理 |
内到外，外到外 |
C&C |
命令控制服务器IP |
内到外，外到外 |
表1 部分情报种类和应用场景
(2) 时间跨度：从上一篇《威胁情报之剑指落地》的统计数据中可以看出，75%的恶意IP情报持续时间在5天内。从情报生产角度来说，若一个情报IP的更新时间距今过长，证明没有更新的攻击和该IP相关。从攻击者角度讲，攻防是一个博弈的过程，钓鱼网站和IP存活的时间较短，攻击者也会根据情报平台的捕获状况调整自己的IP资产。通常意义上，更新时间在两月之前的情报都可以从匹配列表中去除，或者在使用中根据时间跨度衰减其危险度。
2行为向量辅助瞄准
企业侧的情报落地，尤其是恶意IP情报，往往是以情报网关的方式进行使用，镜像企业的全量出口流量进行检测。如果仅使用IP层匹配进行检测，缺乏上下文信息，则很难拥有足够的信息量供安全管理员筛选排查。企业的规模越庞大，问题越严重，上下文信息将直接影响系统的可用性。例如，企业内部的攻防团队对恶意IP的连接，企业内部对外的扫描行为和无效连接（TCP连接未成功建立）等情况，都会对情报检测系统的可用性和安全管理人员的工作量产生影响。
因此，在情报检测落地的时候，需要加入足够的上下文信息，让管理者能够多维度筛选和研判。可能的行为上下文信息包括：
(1) 人员职责和资产业务。大型企业的网络应用往往比较复杂，一方面攻防团队和安全运营团队很可能有和恶意IP通信的需求，例如一些端口扫描和ping之类的行为，人员职责和资产业务的明晰有助于让管理员关注到最恶意的告警，而非安全业务/测试等带来的告警，减少管理员需处置告警量。另一方面，明确IP资产的业务和使用人员对告警事件的排序，安全状况的全局分类感知和问责到人的流程都是非常有作用的。例如，数据库服务器、SVN服务的相关情报事件或管理层人员主机的相关情报事件是更值得关注。
(2) 行为向量：在职责和业务明晰的情况下，威胁情报的企业侧匹配需要和用户行为与流量特征相结合，需要考虑的要素包括协议，端口，连接状态，payload长度和payload内容等。例如C&C情报的使用，在过滤扫描、无效连接、安全研究员、安全业务机器后，情报事件数量将大幅减少，位于安全管理员可处理范围内的事件才是有效处置的事件。
(3) 行为统计向量：在行为统计方面，类似连接人数，连接时长，数据传输量和周期性等因素都可以进行考虑。通过行为统计，能够从覆盖度、罕见度和突发度等多个方面去衡量哪些才是更重要的情报事件。例如，当一个恶意IP被多个内部人员访问的时候，在行为向量的特征外，如果我们做了长时间的统计指标计算，则能够得到更多可靠的上下文信息：这些访问是否是今天才出现的或有激增的访问趋势？是否每天都超过5人进行访问？是否只在上班时间有访问，还是全天都有访问？访问是否有周期性？访问的前后是否有其他网页浏览、客户端外访行为的发生？是否是有效连接？是交互式的访问还是上传/下载访问？
举个挖矿病毒的案例，
88.99.138.74被威胁情报平台标记为恶意软件，在某情报网关检测发现，一个PC客户端对该IP发起访问行为，在三个小时内的访问次数为395次。
排序优先级判定的可能流程如下：
（1） 威胁情报平台的威胁评分较高，位于黑名单中，说明是近期活跃恶意IP，事件威胁评分往上走
图3 NTI情报检索结果
（2） 直接访问IP进入矿池页面如下，说明，目标可达可用，事件威胁评分继续往上走。
图4 矿池页面
（3） 发现受感染客户端每分钟都和目标主机通信，时间间隔较为固定，TCP通信标志位有PUSH标志位占比较大，通信来回的字节数范围较为稳定，疑似程序主动行为，事件威胁评分继续往上走。
图5 通信量时间序列
图6 TCP标志位占比
最后，一起疑似的情报事件被判定为需要处置的恶意软件事件。
3威胁评分解放双手
威胁情报产生的初衷是用大数据和快速共享的方式改进响应速度，而威胁情报的落地运营则是希望通过明晰场景、提取行为、构建指标和厘清职责，让不同的数据和人员在运营过程中环环相扣，形成有效的流程规范或运营体系。
上面的“情报使用有的放矢”，明确了场景和情报应用的映射关系，“行为向量辅助瞄准”尝试分析应该提取哪些资产/人员信息、行为指标和统计指标以供人肉下钻分析。这两个步骤为情报运营打下了坚实的场景基础和数据基础，而所谓的“威胁评分”机制，则是将所有行为数据、资产属性和情报数据都向量化和指标化，最终形成威胁度Top N的有序事件列表展示于安全管理人员前。
实现的方法有两种：
（1）基于指标体系的评估方法。该类方法能够将复杂的安全评估问题分解，提取能够反映被评估对象不同方面所面临的风险的定量/定性因素，按照属性的异同分为不同的指标组，构建递阶的层次化评估指标体系，逐层向上计算整体安全风险。通俗说来，就是给出一堆公式，计算得出事件的威胁分值。
指标体系的方法最主要的是构建出分层的指标矩阵体系，至于计算方法，无非就是各种加权和条件运算，并无一定之规，效果好坏因场景而已。只要能保证评分结果有序，就已经成功了一半。
最终评分 |
威胁评分 |
||
评分模块 |
外部情报评分 |
行为指标评分 |
资产评分 |
原子评分 |
情报恶意度 |
时间跨度 |
资产重要性 |
情报类型 |
周期性 |
人员安全技能强弱 |
|
情报更新时间 |
通信成功率 |
…… |
|
…… |
数据传输稳定性 |
…… |
|
…… |
罕见性 |
…… |
|
表2 评分体系示例
（2）基于排序学习的评估方法。通俗说来，就是构建一堆函数，根据安全管理员标注，训练得到一堆权值，加入到最后的公式中，计算得出事件的威胁分值。对应于搜索引擎中的排序场景，安全场景相当于搜索的关键词，告警事件相当于搜索得到的文档列表，管理员点击和处置的事件相当于用户对搜索结果的点击，并可以得出用户的偏好。
四、情报落地之可狩猎本篇文章介绍了威胁情报在企业侧应用的数据、方法和经验，主要阐述了行为分析和情报分析的综合效能，“由灰向黑”，希望尽可能提升人力ROI和检测处置效果。下一篇将是“由白向黑”，系统阐述出企业侧威胁情报应用中的白名单体系建设。
https://mp.weixin.qq.com/s?__biz=MzIyODYzNTU2OA==&mid=2247484248&idx=1&sn=58225a0a8b07c44cdbd3f93c153583ba&chksm=e84fa587df382c91b356530533bab8cabf8c8282509d3f87adbb14f49826bc842ce06e018bdc&scene=21#wechat_redirect