在线公开课 | 教你如何自行搭建一个威胁感知大脑？
那么在云上安全备受瞩目的大环境下，云态势感知技术又如何为安全保驾护航呢？在未来又有着怎样的发展趋势呢？为此，京东云产品研发部产品经理梁洋洋，专门为大家解读了云态势感知的进化论。
01态势感知出现的技术背景
虽然态势感知是近几年新有的安全名词，但对于有安全背景的人来说，态势感知并不陌生，它是跟SOC（安全操作中心）对标的产品。
在2010年之前，安全威胁不是特别多，主要还是集中在网络层面，所以当时的SOC产品还是停留在NOC（网络操作中心）基础架构的阶段。
当时比较出名的产品是Cisco-MARS产品，主要是把所有Cisco的交换机、路由器、防火墙、IDS、IPS数据都收集上来，然后放到MARS里面来关联分析，形成攻击拓扑图。这就是态势感知最初始化的雏形，也就是把网络层面的安全数据收集到NOC的产品当中。在安全技术还未成熟的2010年，这个技术足以让人眼前一亮。
由于安全威胁场景不断变化，普通的NOC产品无法分析出APT攻击，加上安全设备和安全事件的突增，传统的NOC已无法满足需求，所以在2010年-2015年逐步兴起SIEM/SOC平台。SIEM是安全信息和日志管理平台。可以把主机上的安全日志包括登录日志都搜集上来存储到SIEM里，对分析攻击场景有很大的帮助。
不过，国内的一些安全厂商对SOC输出没有标准，导致搜集的日志格式不统一，后面的关联分析达不到用户需求，最终80%的SOC的项目都以失败告终。
那么新的态势感知相比SOC平台有哪些不同呢？
首先是检测引擎，安全探针要提升自身的检测能力和准确性。主机层面通过在终端安装EDR产品或者下一代杀毒软件，进行搜集比较准确和简单关联的日志，利于更好地检测安全威胁。网络层面通过NTA（全量日志分析产品）来匹配危机情报和沙箱等新技术进行分析。web层面也会有基于语义分析的WAF日志，这样收集对关联分析起到很大作用，达到检测层面的提升。
其次是大数据架构方面的提升。由于现有的SOC平台用传统的MySQL和Oracle来进行关联分析，这种关联分析的技术扩展性相对较差。所以随着大数据技术的发展，搜集的时候用Flume，存储的时候用ES，在关联分析的时候用Spark，达到大数据云架构的改变。
最后是在云上更有优势。可以高度规划实时的采集日志，并且通过Kafka这种方式发送到态势感知的安全操作中心，这样在以后的关联分析时就占有了主动权。基于这些因素，才让态势感知产品出现。
随着技术的发展，态势感知会继续往下发展，下一个极端是基于安全运营的SOC，比上一代的威胁感知SOC多了基础日志收集丰富程度。通过智能分析架构来做处理，例如机器学习、图分析等技术。
02态势感知技术的发展趋势
态势感知首先通过网络层面进行决策，通过搜集了大约十款产品来进行调研分析，发现网络层面的能力主要有核心能力、扩展能力和增强安全运营能力。
态势感知的核心能力包括持续抓包取证、流量/威胁可视化、网络入侵检测系统规则匹配、WebIDS规则匹配。扩展能力主要体现在威胁情报、动态行为检测和机器学习自动检测引擎，机器学习自动检测引擎里面又分为分类分析、聚类分类和KDE时序分析。
增强安全运营能力就是对安全实体进行分析，通过分析探针来查看攻击的用户，比如SOAR、Kill-Chain、UEBR。而态势感知在主机层面上的能力，除了有核心能力、扩展能力和增强安全运营能力外，还具有未知威胁检测能力。
针对于云上，态势感知的核心能力主要是做云工作的负载肩负，包括配置/漏洞管理、网络隔离防火墙流量可视化、系统完整性测量认证和监控、应用程序控制、补充性内存和漏洞攻击防护。
扩展能力中的行为监控HIDS/EDR能力是云端主机层面防护软件中最重要的，其它还包括静态加密KMS、HIPS漏洞屏蔽、欺骗能力和反恶意软件。增强安全运营能力包括工作负载外部的漏洞和配置评估、IAM/MFA、日志管理和监控。未知威胁检测能力需终端集成威胁情报、AI/沙箱云查杀。
03京东云态势感知功能优势
京东云的态势感知产品可帮助用户进行大数据安全分析。最底层是基础数据层，进行NetFlow搜集、网络流量、DNS、HTTP/S日志收集。第二层是威胁感知层，通过安全的探针检测，包括DDoS/高防、全量日志分析、NIDS、威胁情报匹配、机器学习异常检测、沙箱、主机安全/EDR和漏洞扫描/蜜罐里的数据都搜集上来。
第三层是关联分析层，包括实时针对性攻击分析、APT攻击分析、自动化编排研判、精准画像UEBA和图分析。针对性攻击是在一分钟之内发现了攻击的关联分析，而APT攻击会把攻击时间相对拉长，拉长成一小时或者一天的时间，给黑客足够攻击时间，便于检测黑客攻击的情况。
自动化编排研判是目前比较好的解决方案，由于黑客的攻击手段千奇百怪，只能更细化调度的引擎，细化到每个功能点像积木一样组合在一起，形成关联链。通过关联链更好的去分析、丰富查询关联分析的过程。
而UEBA主要是针对云上的数据，以数据层面来进行切入，比如说OSS、RDS或用户自建的数据库对它进行监控，包括用户对数据库的访问、对象存储的访问进行分析。底层的（OpenAPI）的访问也都会进行关联分析或机器学习分析。
图分析是在主机层面检测信息、网络信息、用户信息可以用图的方式展现给用户，可以挖掘出攻击的路径，是一种很好的分析手段。
第四层是威胁展示层，主要是通过告警事件、威胁事件、热点事件、安全大坪、自动化攻击溯源给用户展示，降低用户调查取证的时间，提升效率。
通过云上日志可以分析出更有价值的安全威胁以及安全问题。
底层基础网络信息是五元组、DNS、HTTP、LB信息，在攻击路径的时候可能会通过NAT的转换，转换之后便不可查找主机ID。同时，NAT数据可用于对资产进行再补齐。通过VPC Log获取VPC里数据流传输，还可以分析出横向攻击。
在主机基本信息中，通过上传的进程、端口、账号、软件、文件、系统日志，关联出更有价值的信息。比如说异常网络连接、肉鸡行为、可移操作、敏感文件篡改都可以进行分析。安全产品例如Anti-DDos、WAF、扫描器、HIDS、NIDS、数据库审计、堡垒机都可以上传。有利于分析DDoS攻击、Web漏洞、SQL注入、病毒木马等。
云产品组件的云产品基线，配置失败可能引起的漏洞；还可以对OSS审计日志、RDS审计日志、OpenAPI日志的风险访问行为进行分析。还有人员信息中的VPN、登录日志和权限日志。这些都可以帮助态势感知更好的进行分析。
04云态势感知技术攻击链分析
攻击链分析分简单规则关联分析和复杂规则关联分析。
云态势感知技术的计算层采用Spark，这样数据分析产生的警告会随着时间流入到大数据处理引擎（Spark）里，通过Spark里的滑动窗口对所有输入的数据流来分析。遭受到暴力破解并成功，第一个从网络的IDS会产生警告，接下来会有EDR告警，同时安装系统后门。整个操作是连贯的，这便是简单规则关联分析。
那复杂规则关联分析是什么样的呢？首先黑客会使用扫描集群，扫描RDS端口进行暴力破解。如果未授权访问上控制云服务器的基础服务器，便会将公钥写入基础服务器，之后就能自动化操作，比如说装一些黑客工具、DDoS工具或挖矿、勒索工具。
恶意服务器长时间扫描会被威胁情报检测到服务器的IP地址，然后态势感知在本地检测的时候会对这些IP进行扫描。在扫描暴力破解的时候，利用NIDS ET规则来进行检测，接下来会用Redis弱口令/开启认证，口令是弱口令或者没有开启认证，会产生告警事件。写入C&C服务器公钥的时候会使用sshkey目录，在动目录的时候会产生一条非法文件篡改的告警事件。
再往后会有反弹shell，可以对可疑连接或者是失陷主机主机进行检测。在挖矿程序的时候我们会通过云沙箱来进行检测，DDoS也可以通过肉鸡行为进行检测。这样对用户每一步操作都形成了告警事件，然后把这些告警事件关联在一起。这就是比较复杂的规则和时序分析的过程。
05云态势感知技术机器学习&深度学习分析
异常检测是怎么做的呢？这里以DGA检测为例。首先要把外部训练数据导进来，有黑数据和白数据，然后把DNS的数据导进来进行特征提取，再往下是用Spark训练模型，训练之后会把模型放在集群里面进行检测，这样就形成了DGA运行检测的流程。
那么模型做好之后怎么用呢？
首先检测通过两条路，第一条路是NIDS的DNS流数据，通过程序补齐账号之后发到Spark里面进行特征提取匹配，然后进行预测；第二条路是云主机上，比如说自己设定了公网DNS解析的话，它发送的数据也是通过DNS解析来进行补齐资产来进行实时检测。
通过这两个数据会把DGA预测做一下，之后把数据放在实时管理分析引擎中进行分析。分析之后才会把它放到ES topic里面，给用户看到最终的分析结果，这样就实现了DGA域名检测流程。
图分析技术就是把所有的数据导到图分析，通过图的方式关联出来，再通过图的搜索算法检测出来。例如下面这个真实的入侵案例；
首先通过挖矿进程发现其中有一台服务器（Test-001）已经高负载，查看高负载CPU所定义的进程的时候，发现它是一个异常进程，所以进行告警。告警之后会进入到观察列表里，通过某个点找出挖矿进程的程序是怎么运行起来的，又是怎么进到服务器里的。
通过时间推移的方式，通过上下文关联来进行检测，关联之后发现了一条命令行审计规则，也就是通过其中一个可疑进程来下载了挖矿的脚本并且运行了。挖矿脚本的副进程是用户自己创建的一个Hadoop的进程，也就是Yarn进程。Yarn进程其实是Hadoop未授权访问的RCE的漏洞。同时通过扫描器来进行扫描检测这台主机，发现这台主机确实存在Hadoop RCE的漏洞，这便是自动化攻击溯源，里面的核心技术就是图分析的技术。
目前京东云态势感知产品的应用场景一个是公有云市场，另一个是专有云市场。
专有云市场所对应的产品有态势感知JDStack版本，是内嵌到专有云的云租户来进行检测，它的用户是对于里面每一个租户安全的检测。还有一个是针对于云平台，或者针对与IDC传统的安全管理场景提出产品叫态势感知专有云的版本。
点击“京东云”了解京东云态势感知产品
欢迎点击“京东云”了解更多精彩内容。
