real time robust malicious traffic detection via frequency domain analysis记录一下

现有的机器学习的模型准确度太低，并且吞吐量太低。不能满足高吞吐量的实时网络。且可以被复杂攻击轻松的绕过。

realtime 中文分析

ABSTRACT

对于0-day攻击检测，ML（machine learning）是对基于现有探测规则的很好的补充。但是目前的基于ML的探测规则，准确率和吞吐量太低，因为目前的流量特征提取效率太低了。
同样，ML探测和基于现有规则的探测一样，可以轻松的被复杂攻击所绕过。
whisper利用了频域特征，提高了准确率同时也支持高吞吐量。
whisper利用了由频域特征所表现出的序列特征确保边界信息损失，同时也确保了高准确率和高吞吐量。
更重要的一点是，基于频域特征的数据是很难被攻击者所干扰的。以此保证了whisper的鲁棒性。

INTRODUCTION

传统的恶意流量检测是基于已经配置好的特征库来分析流量的。但是这种方法在面对0-day攻击的时候往往束手无策。
这时候，ML恶意流量检测的提出解决了0-day问题。但仍存在一个问题，由于机器学习算法的处理开销太大，导致ML的检测准确率和吞吐量都不高。
所以目前大部分ML检测都是离线的，不能解决实时问题。
而且攻击者经常使用良性app所产生的噪声包来干扰检测。

whisper为了解决以上问题而提出。通过频域分析，提取网络流量的序列特征，这样提取的特征信息损失低。也能有效的表示低特征冗余数据包的排序模式。以此

• low information loss 保证了准确率和鲁棒性
• low feature redundancy 保证了高吞吐量
  However，分析频域流量的特征并非易事，因为数据量是 large-scale,complicated and dynamic patterns.
  接下来是原理分析

RELATED WORK

machine learning based NIDS == machine learning based Network Intrusion Detection Systems.
DFT == 离散傅里叶变换
whisper和很多现存的模型相比，包括

• signature with NIDSec
• statistic machine learning
• botnet traffic detection

Traffic Classification

ML被广泛应用于traffic classification 。
比如

• web指纹，使Tor匿名服务失效
• 使用TLS加密流量推断用户正在访问的网站
• classify DNS traffic and infer the activities of users
• analyzed the features of various realtime communication applications compressed the statistical features of traffic, which achieved large scale traffic analysis

----

Although traffic classification achieves a different goal from malicious traffic detection and cannot be used in traffic detection, the extracted traffic features in Whisper, the frequency domain features, can be applied to perform efficient traffic classifications

Anomaly Detection with Data Augmentation

Anomaly == 异常，不规则
Augmentation == 增加
数据的增加最近被用于模型训练以面对异常检测。比如

• leveraged Generative Adversarial Network to generate labeled datasets for botnet detection.
• generated paired data by using GAN to train a seq2seq model that aims to invalidate the anonymity of text

Throttling Malicious Traffic

throttling == 节流
（限制恶意流量通信）