网络异常流量数据集CIC-IDS-2017/2018 && 流量特征提取工具CICFlowMeter的使用

网络异常流量数据集CIC-IDS-2017/2018 && 流量特征提取工具CICFlowMeter的使用

  • 1. 数据集CIC-IDS-2017/2018
  • 2. 流量特征提取工具CICFlowMeter

1. 数据集CIC-IDS-2017/2018

下载链接:https://www.unb.ca/cic/datasets/ids-2017.html

通信安全机构(CSE)与加拿大网络安全研究所(CIC)合作项目。
网络异常流量数据集CIC-IDS-2017/2018 && 流量特征提取工具CICFlowMeter的使用_第1张图片
对自1998年以来现有的11个数据集的评估表明,大多数数据集(比如经典的KDDCUP99,NSLKDD等)已经过时不可靠。其中一些数据集缺乏流量多样性和容量,一些数据集没有涵盖各种已知的攻击,而另一些数据集将数据包有效载荷数据匿名化,这不能反映当前的趋势。有些还缺少特征集和元数据。

CIC-IDS-2017 数据集包含良性和最新的常见攻击,类似真实世界数据(PCAPs)。

它的数据采集截至2017年7月7日(星期五)下午5时,共计5天。星期一是正常的一天,只包括正常的流量。实现的攻击包括暴力FTP暴力SSHDoSHeartbleedWeb攻击渗透僵尸网络DDoS。他们分别于周二、周三、周四和周五上午和下午被执行。
网络异常流量数据集CIC-IDS-2017/2018 && 流量特征提取工具CICFlowMeter的使用_第2张图片
CIC-IDS-2017数据集为每天测试得到的流量数据进行了特征提取,生成一共80多条特征,最后给他们一个标签,正常或攻击类型。

这是ids2017数据集的特征,label这个标签是数据集根据实验环境标注的,实际使用CICFlowMeter生成的是无标签的。

| Flow ID | Source IP| Source Port | Destination IP | Destination Port |Protocol | Timestamp| Flow Duration | Total Fwd Packets | Total Backward Packets | Total Length of Fwd Packets | Total Length of Bwd Packets | Fwd Packet Length Max | Fwd Packet Length Min | Fwd Packet Length Mean | Fwd Packet Length Std | Bwd Packet Length Max | Bwd Packet Length Min | Bwd Packet Length Mean | Bwd Packet Length Std | Flow Bytes/s | Flow Packets/s | Flow IAT Mean | Flow IAT Std | Flow IAT Max | Flow IAT Min | Fwd IAT Total | Fwd IAT Mean | Fwd IAT Std | Fwd IAT Max | Fwd IAT Min | Bwd IAT Total | Bwd IAT Mean | Bwd IAT Std | Bwd IAT Max | Bwd IAT Min | Fwd PSH Flags | Bwd PSH Flags | Fwd URG Flags | Bwd URG Flags | Fwd Header Length | Bwd Header Length | Fwd Packets/s | Bwd Packets/s | Min Packet Length | Max Packet Length | Packet Length Mean | Packet Length Std | Packet Length Variance | FIN Flag Count | SYN Flag Count | RST Flag Count | PSH Flag Count | ACK Flag Count | URG Flag Count | CWE Flag Count | ECE Flag Count | Down/Up Ratio | Average Packet Size | Avg Fwd Segment Size | Avg Bwd Segment Size | Fwd Header Length | Fwd Avg Bytes/Bulk | Fwd Avg Packets/Bulk | Fwd Avg Bulk Rate | Bwd Avg Bytes/Bulk | Bwd Avg Packets/Bulk | Bwd Avg Bulk Rate | Subflow Fwd Packets | Subflow Fwd Bytes | Subflow Bwd Packets | Subflow Bwd Bytes | Init_Win_bytes_forward | Init_Win_bytes_backward | act_data_pkt_fwd | min_seg_size_forward | Active Mean | Active Std | Active Max | Active Min | Idle Mean | Idle Std | Idle Max | Idle Min | Label  | External IP |

2. 流量特征提取工具CICFlowMeter

IDS-2017 数据集使用 CICFlowMeter 作为流特征提取工具,能够根据提交的 .pcap文件(使用wireshark软件或者流量sniff函数都可获得网卡的流量数据,格式为.pcap)生成有80多个特征的csv文件,使用方法有两种:在线和离线模式。在线模式可以实时监控并产生特征,监听结束之后可以保存到本地;离线模式是提交一个 .pcap 文件,得到一个包含特征的 csv 文件。

下载地址:https://github.com/ahlashkari/CICFlowMeter
代码是用Java编写的,可用 IntellJ 或者 eclipse 打开;

想要运行,还需一下步骤:

1.Windows 安装 winpcap ,Linux安装libpcap这两个工具是用来解析pcap文件的。
2.下载jnetpcap文件https://sourceforge.net/projects/jnetpcap/files/jnetpcap/1.3/
因为 .pcap 文件是用C写的,而 Java 又不能直接调用C的资源,通过jnetpcap 可以调用C的动态库。
3.在这里用 IntelliJ 打开github下的项目
网络异常流量数据集CIC-IDS-2017/2018 && 流量特征提取工具CICFlowMeter的使用_第3张图片
打开下方的终端,cd 进入到 …/jnetpcap/win/jnetpcap-1.4.r1425目录下

输入命令:mvn install:install-file -Dfile=jnetpcap.jar -DgroupId=org.jnetpcap -DartifactId=jnetpcap -Dversion=1.4.1 -Dpackaging=jar
在这里插入图片描述
(可能会报错,找不到mvn命令,百度装一下,配一下环境变量即可。)
出现如下,就成功了。
在这里插入图片描述
终端cd …回到开始的项目文件夹
输入:gradlew execute就应该出现界面了。
网络异常流量数据集CIC-IDS-2017/2018 && 流量特征提取工具CICFlowMeter的使用_第4张图片
点击上方的network,选择离线模式,选择.pcap文件和目标文件夹,点击OK,就可以得到从.pcap文件提取出的.csv特征文件。
网络异常流量数据集CIC-IDS-2017/2018 && 流量特征提取工具CICFlowMeter的使用_第5张图片
也有可能点击OK之后可以导入.pcap文件,但没反应,这是就需要将从官网下载的项目里的jnetpcap-1.4.r1425用之前下的jnetpcap-1.4.r1425文件夹替换。

参考连接:
https://www.jianshu.com/p/125e2c8e9190
https://www.jianshu.com/p/d72bec65397b
https://metang326.github.io/2019/04/21/
https://blog.csdn.net/u010916338/article/details/84397495

你可能感兴趣的:(网络异常流量数据集CIC-IDS-2017/2018 && 流量特征提取工具CICFlowMeter的使用)