网络安全-日志监控-关联分析-大数据

2019/12/26 -
今天首先看了APT攻击的内容，apt攻击反正也不算是一种新颖的攻击，基本上就是多种攻击方式的融合；文章[1]中对这种攻击进行了介绍，但我感觉想要检测这种攻击怕是不简单；0日攻击，我就感觉不太好弄，更不要说通过邮件的鱼叉攻击（我个人是不太完全相信各种论文，因为实际工业场景下的适用性可能不够）。
所以这一块，是不是有相关的论文，或者说有会议上的论文对这部分东西进行过研究，就可以好好看看了。

---

关联分析的内容

关联分析在之前就看过一次， 是从一篇论文中看到的。但是，我还是理解不了他具体是怎么工作的，按说他应该是属于数据挖掘的范畴。首先我的视角还是太小，平时就是看个自己的流量，或者说针对某种特殊的流量，而实际情况是，我应该关注全局的内容，也就是全局的监控，比如防火墙日志、入侵检测日志等这种方式，在格局大了以后，再来想各种其他的事情。
关联分析到底是什么？
他关联的结果是什么？
有哪些论文值得一看？
当前有哪些技术？
数据进行验证的方式又是什么？
现有哪些相关的日志可以使用？

---

通过谷歌一些资料之后，发现这个东西有点玄乎，当然这个东西肯定是有用的，但是相对来说，他的效果是不是非常明显，能够给安全部门提供非常好的工具，我现在还是不知道。
文章[2]并不是完全从网络安全的视角出发，而是有一些从事件关联这项技术来说的，虽然后面也提及到了安全的东西，但是这个东西说实话，内容不是非常详尽；
文章[3]是从安全事件的角度来展示这项技术，我觉得这篇文章已经说的非常好了，他把整体需求和内容都讲的非常清晰，但是没有实质的技术，但他已经把整个的框架都给打好了。强烈建议多看几遍，不过我现在的理解是，他的数据源好像不是非常多，但这个不是问题。
我来个乖乖。。文章[3]一开始我都没注意，这文章都是06年的文章了，要不然感觉他应该会填充一些大数据的东西。可能即使是这么多年过去了，依然他提出的一些关键问题还是适用的，但感觉应该有很多解决方案了。（我想看的是，这种技术，他在安全场景中的实际应用范例，而不是抽象的说这个东西有用）
上午去看了一篇综述，说是跟警报关联相关，但本质上只是论文的堆叠，把技术分类了以后，就把论文分进去就完了，没什么意思。感觉这部分内容，我到目前为止还没有看到非常好的论文，或者说非常有针对性的论文。（可能我看的方向不准吧）

然后我也从中找到了几个比较关键的点：
1）准确预测到攻击
2）分析攻击的根源
（其他的一些可能都属于一些大数据范畴的内容，存储，搜索等）

---

今天上午倒是看到了一篇跟大数据相关的内容，《Architectural Tactics for Big Data Cybersecurity Analytics Systems: A Review 》这篇论文属于是介绍大数据框架在网络安全中的应用，同时列举了在建设这种平台时需要考虑的各种指标；只不过，我觉得他后面的内容有些硬性凑，感觉不是很使用，前面的指标和大框架还是非常好的。在看这篇论文的时候，其实整体的内容并没有涉及多少真正网络安全的东西，大部分东西反而都是大数据框架、大数据分析的内容。

我就在想，我到底是真的没有找到实际的文章呢，还是说，就没有这种东西呢？关于大数据分析的文章，（我可能真的想错了，如果是大数据算法来完成检测的东西，这种东西应该是没有的，他不需要依赖大数据平台，而仅仅是大数据平台能够干这种事情。），然后如果是单纯来搭建一个大数据框架的话，也没有相关的文章（并不是那种教给你搭建一个spark的东西）。
我现在也没弄清楚我的需求是什么；可能我的想法是去找一个现成的内容来作为示例引导我，但是这种内容谁又会写呢。

单纯的大数据

文章[4]介绍了大数据框架的内容，他介绍的角度是通过分析了一个标准的框架；这个框架算是非常抽象了，大概能立即他要干什么，但是没办法具体到部件，所以也没有这个整体的概念，但是就如他文章所说，这是一个参考框架。

大数据框架

文章[5]来介绍了在设计大数据架构的时候应该考虑的一些问题；我觉得也是这样，我如果要干这个事情（针对网络安全方面），大部分时候，其实都是在数据梳理上，在前期大可不比将网络安全的东西掺和进来。

---

2019/12/28 -
文章[6]大致看了看摘要，这篇论文是用来介绍大数据异构数据的，虽然他一直强调数据融合还有数据关联，但是我没有看到是指的内容，比较关键的点：通过数据关联可以得到系统的历史状态，还有一个态势感知。

2020/01/01 -
今天找到了一个产品， 他是进行网络监控的，但是没有看清楚的他的产品定位，但是他的这个产品特性感觉跟大数据很相关。

产品特性

来源于（logrhythm-netmon-freemium/
）
原来的时候我也没经历过存包的这个经历，就是存多少，怎么存的事情；感觉他这里有这方面的意思。
他的产品的重点有这样几个：支持网络数据的检索、网络数据包的存储（由前一个要求可以推导出）、索引问题（当然这个其实就是检索过程）。还有一些其他的内容，这里没有说清楚，就是隐含的：存储大小、检索过程的时间时间长短、可能还有说是支持的检索语句是怎么样的。
（感觉这部内容，如果是在将数据包处理完成之后，那么整体的内容就是大数据的检索及处理过程）

2020/01/01 -
某学习科研产品的介绍[7]:

基于在攻防研究、风险评估、态势感知等领域国家项目的研究工作经验，中北大学大数据与网络安全研究所研制了一款针对实时监测、态势感知、通报预警、快速处置的综合管理平台。该管理平台主要面向“军工、民企、政府机关、能源、通信、交通、金融”等领域的关键信息基础设施提供防护措施，实时感知相关网络的安全态势，并开展预警通报、应急处置和网络安全综合管理工作。
该产品通过关联分析内网用户的行为数据、网络各节点的监测数据、事件情报、资产设备数据等，从总体上把握网络的安全态势，帮助用户实时了解网络安全态势和网络安全问题。用户行为数据采集及分析子系统基于机器学习方法提供用户行为预测、内网用户异常行为实时检测、用户行为告警和应急处置

2020/01/02 -
说实话，我越发的感觉到，就是从现在网上找到的技术来看，基本上没有网络安全与大数据相关的文章，当然不可能什么也没有，我的意思就是，有的东西都是不知道是什么玩意的玩意，没有任何的干活。
所以从这个角度来看，是不是我所探求的方向是不对的。
原因我猜测有两个方面：1. 大家不愿意公开的自己的技术方案 2. 这部分技术实际上属于大数据领域，网络安全只是应用，不是重点。
那么本来我是想着从这个角度去探究一些东西，但是现在来看，我可能得不到什么结果了，即使去搭建一个大数据平台，可能我本身也得不到什么东西，其实我也在想，我到底是希望得到什么东西。看了这么多东西之后就发现自己什么有没得到。

---

我感觉是我想要的东西不对，我感觉我到底希望从这个东西学习到什么，没有想明白。大数据只是工具，关键的内容，还是你网络中的数据是什么，而且这个也是我想要学习到的。

参考文献

[1]APT攻击
[2]what-event-correlation-examples-benefits-and-more
[3]security-event-correlation-raw-network-security-data-to-real-time-action/#
[4]big-data-architecture/
[5]big-data-architecture-best
[6]Intrusion detection and Big Heterogeneous Data: a Survey
[7]大数据+网络安全态势感知综合平台