nDPI – 快速入门指南(翻译自官方文档)

(注：最近在学习ntop这个工具，其核心是nDPI这个库，关于这个库，官方有一个快速入门指南，不过肯定是英文的，我在阅读过程中，顺便翻译了一下，当然个人知识有限，翻译的有问题的地方，望留言指正，感谢。如果有疑问，建议访问官方文档地址：https://github.com/ntop/nDPI/blob/dev/doc/nDPI_QuickStartGuide.pdf)

nDPI – 快速入门指南

-开源可扩展LGPLv3深度包检测库

nDPI网页	http：//www.ntop.org/products/ndpi/
Ntop网址	www.ntop.org
nDPI许可	LGPLv3

目录

nDPI – 快速入门指南

-开源可扩展LGPLv3深度包检测库

1、nDPI介绍

1.1、下载源

2、nDPI库

2.1、编译nDPI源码

 2.2、编译示例ndpiReader源码

2.3、ndpiReader命令行选项

2.4、协议文件

3、示例

3.1、实时捕获模式

3.2、pcap 捕获模式

3.3、协议文件

4、API nDPI

5、开发nDPI自定义协议

5.1、介绍

5.2、创建新的协议

5.3、添加你的协议到nDPI

---

1、nDPI介绍

nDPI是一个基于OpenDPI的DPI库，目前由ntop维护。

为了给您提供一个跨平台的DPI体验，我们除了支持Unix/Linux外，同时也支持Windows。不仅如此，我们已经通过修改nDPI，使得它更加适合于流量监控应用，我们通过禁用那些对网络流量监控不必要的特性，已经实现了这一功能，因此也加快了DPI引擎的速度。

nDPI允许应用层检测协议，而不管使用的端口是什么。这意味着在非标准端口监测已知协议（例如在80号端口之外的端口检测HTTP协议）或者反过来（例如在80号端口检测Skype流量）都成为了可能。这是由于在当今“端口=应用”的概念不再适用。

在过去的几个月里，我们也已经新增加了几个功能特性，包括：

1. 示例ndpiReader应用在速度/功能方面和封装支持上都得到了加强。（例如你现在可以对GTP隧道流量进行分析）
2. 能够将nDPI编译到Linux内核中，以便于你能使用它开发高效的基于内核的模块。
3. 多方面速度加强，nDPI现在比他的前身（之前的版本）更快。
4. 添加了许多协议（到目前为止我们支持大约200个协议），其中包括如SAP与Citrix等的“业务”协议，也有像Dropbox与Spotify的“桌面”协议。
5. 能够去定义基于端口（和端口范围）的协议检测，以便于你能使用经典的基于端口的检测来去补充协议检测。
6. 为了能让nDPI支持加密的链接，我们已经为SSL（包括服务器与客户端）证书添加了解码器。因此，我们能够使用加密证书来理解弄清楚协议。同时这也能让我们去识别如Citrix Online与Apple ICloud等一般无法检测到的协议。
7. 能通过使用基于字符串的匹配来支持子协议。

 

1.1、下载源

当你在构建ntop与nProbe时nDPI会自动被下载。当然也没有什么能阻止你将其用作一个独立的DPI库。你可以从https://github.com/ntop/nDPI  下载源码。

 

2、nDPI库

2.1、编译nDPI源码

开始使用nDPI库非常地简单。为了编译这个库，你必须满足一些先决条件比如：

GUN autotools/libtool

gawk

gcc

为了实现这些，你需要使用以下命令来安装他们：

一旦你完成了上面的安装，你就能使用以下命令编译nDPI源码：

 2.2、编译示例ndpiReader源码

       开始使用ndpiReader也很简单。为了编译它你必须使用以下命令：

2.3、ndpiReader命令行选项

              这个示例ndpiReader应用在速度/功能分析方面和封装支持上均能被使用。特别的是，ndpiReader能够指定很多命令行选项。

下面列举了可使用的命令选项和每一个选项的简要简要介绍：

 

-i

       这项命令用于指定一个pcap文件来读取数据包，或者指定一个用于实时捕获的设备。而且只能指定两者当中的一个。

-f

       指定一个BPF过滤器用来过滤选定的流量。它只允许nDPI接受那些和过滤器匹配的数据包（如果被指定的话）。

-s

       定义了捕获持续时间，以秒为单位，仅用于实时流量捕获。

-p

       指定了一个协议文件（例如protos.txt）来扩展对子协议和基于端口协议检测的支持。尤其需要小心的是，协议一旦被定义到protos文件中就会覆盖之前的已经存在的协议。

-l

       检测循环数（仅用与测试）

-d

       这个标志会禁用nDPI协议猜测，仅使用DPI。

-t

       打印ndpiReader帮助

-v<1|2>

       使用这个标志时，ndpiReader会生成详细的输出，这个输出能被用于调试其性能。数字1是显示带有“未知协议”数据包的最低等级，而2级会显示地更加详细，两者只能指定其一。

 

2.4、协议文件

       nDPI能够通过基于字符串的匹配支持子协议。这是由于许多新的子协议比如Apple iCloud/iMessage，WhatsApp和许多其他的使用HTTP（s）的协议能够通过解码SSL证书主机或者HTTP“Host:”被检测到。因此我们决定将一个基于流行的Aho-Corasick 算法的高效字符匹配库嵌入到nDPI中，用于数十万子字符的高效匹配（即在普通硬件上能足够快地支持10Gb的流量）。

       你可以在运行时通过使用一个用以下格式的协议文件来指定子协议：

       除此之外，你也能使用以下格式来指定一个基于端口的检测：

       你可以使用ndpiReader这个应用（使用 –p 选项）来测试你的自定义配置。或者你可以使用ndpi_load_protocls_file() nDPI API调用来增强你自己的应用。

 

3、示例

在这一节我们会展示一些ndpiReader的使用范例。

 

3.1、实时捕获模式

       下面这个例子将会展示ndpiReader的实时捕获模式。使用参数-i指定接口设备，参数-s 指定实时捕获持续时间。

 

3.2、pcap 捕获模式

       创建一个pcap文件最简单的方法就是通过使用tcpdump命令，就像下面这个例子：

       一旦pcap文件被创建，你就能启动ndpiReader，使用参数-I :

 

3.3、协议文件

       为了阐明协议文件的特性，我们现在将解释怎样让你识别来自ntop.org的流。

       例如我们可以通过编辑protos.txt文件来实现它：

       一旦这个协议文件已经被修改，你可以启动ndpiReader，使用参数 –p：

 

 

4、API nDPI

       在这一节中nDPI API是重点。

       示例ndpiReader现在有一个基础的例子用来展示如何初始化这个库。需要一个已经编译好的库和一个合适配置的Makefile（即示例Makefile）。

       想要在你的应用中开始使用nDPI的API，除了你自己的包含外，必须也添加下面这个包含文件：

#include"dpi_main.h"

       这个库可以像下面这样初始化：

1、声明协议位掩码，初始化检测模块：

这个函数允许你初始化检测模块。字段有如下含义：

• U_int32_t ticks_per_second

每秒时间戳分辨率（比如1000每毫秒分辨率）。

• void*(*_ndpi_malloc)(unsigned long size);

指向一个内存分配器的函数指针。

• void*(*_ndpi_free)(void*prt);

指向一个调试输出函数的函数指针，在生产环境下置空（NULL）

 

2、通过适当的宏并将他们设置到检测模块中来启用所有协议（需要注意的是，如果你愿意你也可以启用这些协议的子集）。

这个函数能让你设置已经定义到检测模块中的协议位掩码。

 

3、为了加载一个存在的协议文件，你必须使用如下函数：

dpi_load_protocols_file(ndpi_struct, _protoFilePath);

 

4、每当从你的pcap文件或者入口设备中捕获到流时，它们可以通过使用以下函数分析：

这些字段有以下的含义：

• struct ndpi_detection_module_struct*ndpi_struct;

检测模块。

• struct ndpi_flow_struct*flow;

指向连接状态机的流空指针。

• const unsigned char*packet;

这个packet作为一个无符号的字符指针，长度为packetlen。这个指针必须指向第三层（IP报头）。

• const unsigned short packetlen;

packetlen包的长度。

• const U_int32_t current_tickt;

数据包的当前时间戳。

• struct ndpi_id_struct*src;

指向源订阅状态机的空指针。

• struct ndpi_id_struct*dst;

指向目的订阅状态机的空指针。

 

5、一旦流被分析后，有必要通过下面的函数来摧毁检测模块。

 ndpi_exit_detection_module(ndpi_struct, free_wrapper);

这些字段有以下含义：

• struct ndpi_detection_module_struct*ndpi_struct;

需要被消除的检测模块。

• void*(*_ndpi_free)(void*prt);

指向一个内存释放函数的函数指针。

 

  如需进一步的信息，我们建议可以阅读以下文件：

协议解析器文件被包含在nDPI/src/protocols 目录下。

 

 

5、开发nDPI自定义协

在这一节中，我们将展示将你的协议包含在nDPI中的方法。

5.1、介绍

       每个nDPI协议都会作为一个入口函数被实现，在运行时通过nDPI被使用。nDPI有几个协议可以被用来当作这个方面的例子。下面，我们列出了一些主要的概念，如果你打算开发一个nDPI协议，这些是你必须知道的。

5.2、创建新的协议

       每一个协议都必须在下面的头文件中有一个对应的#define：

       例如：

#define NDPI_PROTOCOL_MY_PROTOCOL     171

NDPI_PROTOCOL_MY_PROTOCOL是这个协议的名字，171是这个协议的ID，且必须是独一无二的。

       协议被定义好了之后，你必须创建一个协议源文件，就像：

包括以下内容：

在里面，需要定义一个入口函数，如：

和一个检测核心函数，用来处理一个流的数据包，包括以下内容：

 

和一个特定的函数用来报告关于协议正确的识别信息，如：

5.3、添加你的协议到nDPI

       协议被创建之后，你必须在下面的头文件中声明你的入口函数：

包括如下内容：

每个协议必须与一个NDPI_SELECTION_BITMASK相关联。NDPI_SELECTION_BITMASK的完整列表被包含在文件：

在为你的协议选择了一个确定的位掩码之后，你必须通知nDPI新协议的存在，通过编辑文件：

你需要将你的协议添加到如下函数中：