网络异常流量数据集CIC-IDS-2017/2018 && 流量特征提取工具CICFlowMeter的使用

1. 数据集CIC-IDS-2017/2018

下载链接：https://www.unb.ca/cic/datasets/ids-2017.html

通信安全机构(CSE)与加拿大网络安全研究所(CIC)合作项目。

对自1998年以来现有的11个数据集的评估表明，大多数数据集（比如经典的KDDCUP99，NSLKDD等）已经过时且不可靠。其中一些数据集缺乏流量多样性和容量，一些数据集没有涵盖各种已知的攻击，而另一些数据集将数据包有效载荷数据匿名化，这不能反映当前的趋势。有些还缺少特征集和元数据。

CIC-IDS-2017 数据集包含良性和最新的常见攻击，类似真实世界数据(PCAPs)。

它的数据采集截至2017年7月7日(星期五)下午5时，共计5天。星期一是正常的一天，只包括正常的流量。实现的攻击包括暴力FTP、暴力SSH、DoS、Heartbleed、Web攻击、渗透、僵尸网络和DDoS。他们分别于周二、周三、周四和周五上午和下午被执行。

CIC-IDS-2017数据集为每天测试得到的流量数据进行了特征提取，生成一共80多条特征，最后给他们一个标签，正常或攻击类型。

这是ids2017数据集的特征，label这个标签是数据集根据实验环境标注的，实际使用CICFlowMeter生成的是无标签的。

| Flow ID | Source IP| Source Port | Destination IP | Destination Port |Protocol | Timestamp| Flow Duration | Total Fwd Packets | Total Backward Packets | Total Length of Fwd Packets | Total Length of Bwd Packets | Fwd Packet Length Max | Fwd Packet Length Min | Fwd Packet Length Mean | Fwd Packet Length Std | Bwd Packet Length Max | Bwd Packet Length Min | Bwd Packet Length Mean | Bwd Packet Length Std | Flow Bytes/s | Flow Packets/s | Flow IAT Mean | Flow IAT Std | Flow IAT Max | Flow IAT Min | Fwd IAT Total | Fwd IAT Mean | Fwd IAT Std | Fwd IAT Max | Fwd IAT Min | Bwd IAT Total | Bwd IAT Mean | Bwd IAT Std | Bwd IAT Max | Bwd IAT Min | Fwd PSH Flags | Bwd PSH Flags | Fwd URG Flags | Bwd URG Flags | Fwd Header Length | Bwd Header Length | Fwd Packets/s | Bwd Packets/s | Min Packet Length | Max Packet Length | Packet Length Mean | Packet Length Std | Packet Length Variance | FIN Flag Count | SYN Flag Count | RST Flag Count | PSH Flag Count | ACK Flag Count | URG Flag Count | CWE Flag Count | ECE Flag Count | Down/Up Ratio | Average Packet Size | Avg Fwd Segment Size | Avg Bwd Segment Size | Fwd Header Length | Fwd Avg Bytes/Bulk | Fwd Avg Packets/Bulk | Fwd Avg Bulk Rate | Bwd Avg Bytes/Bulk | Bwd Avg Packets/Bulk | Bwd Avg Bulk Rate | Subflow Fwd Packets | Subflow Fwd Bytes | Subflow Bwd Packets | Subflow Bwd Bytes | Init_Win_bytes_forward | Init_Win_bytes_backward | act_data_pkt_fwd | min_seg_size_forward | Active Mean | Active Std | Active Max | Active Min | Idle Mean | Idle Std | Idle Max | Idle Min | Label  | External IP |

2. 流量特征提取工具CICFlowMeter

IDS-2017 数据集使用 CICFlowMeter 作为流特征提取工具，能够根据提交的 .pcap文件(使用wireshark软件或者流量sniff函数都可获得网卡的流量数据，格式为.pcap)生成有80多个特征的csv文件，使用方法有两种：在线和离线模式。在线模式可以实时监控并产生特征，监听结束之后可以保存到本地；离线模式是提交一个 .pcap 文件，得到一个包含特征的 csv 文件。

下载地址：https://github.com/ahlashkari/CICFlowMeter
代码是用Java编写的，可用 IntellJ 或者 eclipse 打开；

想要运行，还需一下步骤：

1.Windows 安装 winpcap ，Linux安装libpcap这两个工具是用来解析pcap文件的。
2.下载jnetpcap文件https://sourceforge.net/projects/jnetpcap/files/jnetpcap/1.3/
因为 .pcap 文件是用C写的，而 Java 又不能直接调用C的资源，通过jnetpcap 可以调用C的动态库。
3.在这里用 IntelliJ 打开github下的项目

打开下方的终端，cd 进入到 …/jnetpcap/win/jnetpcap-1.4.r1425目录下

输入命令：mvn install:install-file -Dfile=jnetpcap.jar -DgroupId=org.jnetpcap -DartifactId=jnetpcap -Dversion=1.4.1 -Dpackaging=jar

（可能会报错，找不到mvn命令，百度装一下，配一下环境变量即可。）
出现如下，就成功了。

终端cd …回到开始的项目文件夹
输入：gradlew execute就应该出现界面了。

点击上方的network，选择离线模式，选择.pcap文件和目标文件夹，点击OK，就可以得到从.pcap文件提取出的.csv特征文件。

也有可能点击OK之后可以导入.pcap文件，但没反应，这是就需要将从官网下载的项目里的jnetpcap-1.4.r1425用之前下的jnetpcap-1.4.r1425文件夹替换。

参考连接：
https://www.jianshu.com/p/125e2c8e9190
https://www.jianshu.com/p/d72bec65397b
https://metang326.github.io/2019/04/21/
https://blog.csdn.net/u010916338/article/details/84397495