应用层HTTP数据包的截获与还原技术(3)

 第三章 http数据包截获
3.1 http数据包截获模块设计
3.1.1 体系结构设计
本方案采用Jpcap.dll在数据链路层下进行数据包捕获。Jpcap提供了在Windows或UNIX系统上进行这种访问的Java API，它可以访问底层的网络数据。但Jpcap不是一种纯粹的Java解决方案；它需要依赖本地库的使用。因此，在Windows 或 UNIX上，要使用必要的第三方库，分别是WinPcap或libpcap。
利用专门用于网络监听的一个函数库Jpcap.lib提供的函数完成抓包工作，由于该库提供的函数抓到的包是数据链路层下的帧，因此，它可以被用来基于数据链路层下的流量捕获。其体系结构如下图所示。

图4.1
在最底层是网络适配器（网卡），为了监听所有的包，它被设置为混杂模式（promiscuous mode）工作。这可调用库函数实现。
Packet Capture driver是较低层的捕获堆栈的软件模块。它和网络接口卡相互作用抓包，它提供了应用程序一系列函数可以读写数据链路层上的数据。
Packet.dll从捕获程序里分离出来，工作在用户层，它是一个动态链路库，使捕获程序从提供系统独立的捕获界面的驱动程序中独立出来，它提供了一系列具有捕获能力的函数供上层调用，从而避免了对驱动器的直接操作，并允许应用程序可以不经过重新编译就可以执行在不同操作系统的环境中。
Winpcap 是一个第三方类库，为Jpcap提供基础类。
Jpcap是一个静态库，可以被包捕获程序直接调用，它应用Packet.dll导出的服务向上层应用程序提供强有力的捕获界面。它是应用程序的一部分。
3.1.2 WinPcap工具
WinPcap(windows packet capture)是windows平台下一个免费，公共的网络访问系统。它是由意大利人Fulvio Risso和Loris Degioanni等人提出并实现的。开发winpcap这个项目的目的在于为win32应用程序提供访问网络底层的能力。它提供了以下的各项功能：
1> 捕获原始数据报，包括在共享网络上各主机发送/接收的以及相互之间交换的数据报；
2> 在数据报发往应用程序之前，按照自定义的规则将某些特殊的数据报过滤掉；
3> 在网络上发送原始的数据报；
4> 收集网络通信过程中的统计信息。
WinPcap的主要功能在于独立于主机协议（如TCP-IP）而发送和接收原始数据报。也就是说，WinPcap不能阻塞，过滤或控制其他应用程序数据报的发收，它仅仅只是监听共享网络上传送的数据报。因此，它不能用于QoS调度程序或个人防火墙。
目前，WinPcap开发的主要对象是Windows NT/2000/XP，这主要是因为在使用WinPcap的用户中只有一小部分是仅使用Windows 95/98/Me，并且M$也已经放弃了对win9x的开发。因此本文相关的程序T-ARP也是面向NT/2000/XP用户的。其实WinPcap中的面向9x系统的概念和NT系统的非常相似，只是在某些实现上有点差异，比如说9x只支持ANSI编码，而NT系统则提倡使用Unicode编码。
3.1.3 Packet.dll
Packet.dll是从捕获程序中分离出来，工作在用户层。它是一个动态链接库，使捕获程序从提供系统独立的捕获界面的驱动程序中孤立出来。它提供了一系列的具有捕获能力的函数供上层调用，从而避免了对驱动器的直接操作。并允许应用程序可以不经过重新编译就可以执行在不同的Windows环境中。
首先介绍一些相关的数据结构：
1. typedef struct _ADAPTER ADAPTER //描述一个网络适配器；
2. typedef struct _PACKET PACKET //描述一组网络数据报的结构；
3. typedef struct NetType NetType //描述网络类型的数据结构；
4. typedef struct npf_if_addr npf_if_addr //描述一个网络适配器的ip地址；
5. struct bpf_hdr //数据报头部；
6. struct bpf_stat //当前捕获数据报的统计信息。

下面是Packet.dll的一些主要的函数方法。
1．LPPACKET PacketAllocatePacket(void)
如果运行成功，返回一个_PACKET结构的指针，否则返回NULL。成功返回的结果将 会传送到PacketReceivePacket()函数，接收来自驱动的网络数据报。
2．VOID PacketCloseAdapter(LPADAPTER lpAdapter)
关闭参数中提供的网络适配器，释放相关的ADAPTER结构。
3．VOID PacketFreePacket(LPPACKET lpPacket)
释放参数提供的_PACKET结构。
4．BOOLEAN PacketGetAdapterNames(LPSTR pStr,PULONG BufferSize)
返回可以得到的网络适配器列表及描述。
5．BOOLEAN PacketGetNetInfoEx(LPTSTR AdapterNames,npf_ip_addr *buff, PLONG Nentries)
返回某个网络适配器的全面地址信息。
其中npf_ip_addr结构包含：IPAddress,SubnetMask,Broadcast
IPAddress: ip地址
SubnetMask: 子网掩码
Broadcast: 广播地址
6． BOOLEAN PacketGetNetType(LPADAPTER AdapterObject, NetType *type)
返回某个网络适配器的MAC类型。
NetType结构里包含了LinkSpeed(速度)和LinkType(类型)。其中LinkType包含 以下几种情况：
NdisMedium802_3: Ethernet(802.3)
NdisMediumWan: WAN
NdisMedium802_5: Token Ring(802.5)
NdisMediumFddi: FDDI
NdisMediumAtm: ATM
NdisMediumArcnet878_2: ARCNET(878.2)
7．BOOLEAN PacketGetStats(LPADAPTER AdapterObject,struct bpf_stat *s)
返回几个关于当前捕获报告的统计信息。
其中bpf_stat结构包含：bs_recv, bs_drop,ps_ifdrop,bs_capt
bs_recv: 从网络适配器开始捕获数据报开始所接收到的所有数据报的数目，包括丢失的数据报；
bs_drop: 丢失的数据报数目。在驱动缓冲区已经满时，就会发生数据报丢失的情况。
8．PCHAR PacketGetVersion()
返回关于dll的版本信息。
9． VOID PacketInitPacket(LPPACKET lpPacket, PVOID Buffer, UINT Length)
初始化一个_PACKET结构。
10．LPADAPTER PacketOpetAdapter(LPTSTR AdapterName)
打开一个网络适配器。
11．BOOLEAN PacketReceivePacket(LPADAPTER AdapterObject,LPPACKET lpPacket,BOOLEAN Sync)
从NPF驱动程序读取网络数据报及统计信息。
数据报编码结构： |bpf_hdr|data|Padding|bpf_hdr|data|Padding|
12．BOOLEAN PacketSendPacket(LPADAPTER AdapterObject,LPPACKET lpPacket, BOOLEAN Sync)
发送一个或多个数据报的副本。
13． BOOLEAN PacketSetBuff(LPADAPTER AdapterObject,int dim)
设置捕获数据报的内核级缓冲区大小。
14． BOOLEAN PacketSetHwFilter(LPADAPTER AdapterObject,ULONG Filter)
为接收到的数据报设置硬件过滤规则。

以下为一些典型的过滤规则：
NDIS_PACKET_TYPE_PROMISCUOUS: 设置为混杂模式，接收所有流过的数据报；
NDIS_PACKET_TYPE_DIRECTED: 只有目的地为本地主机网络适配器的数据报才会被接收；
NDIS_PACKET_TYPE_BROADCAST: 只有广播数据报才会被接收；
NDIS_PACKET_TYPE_MULTICAST: 只有与本地主机网络适配器相对应的多播数据报才会被接收；
NDIS_PACKET_TYPE_ALL_MULTICAST: 所有多播数据报均被接收；
NDIS_PACKET_TYPE_ALL_LOCAL: 所有本地数据报均被接收。
15．BOOLEAN PacketSetNumWrites(LPADAPTER AdapterObject,int nwrites)
设置调用PacketSendPacket()函数发送一个数据报副本所重复的次数。
16．BOOLEAN PacketSetReadTimeout(LPADAPTER AdapterObject,int timeout)
设置在接收到一个数据报后“休息”的时间。
3.1.4 Jpcap类库
Jpcap 是一个Java类集合，它为网络数据包的捕获提供接口和系统。包括一个可视化网络事件的协议库和工具。它不是一种纯粹的Java解决方案；它依赖本地库的使用。在Windows 或 UNIX上，你必须有必要的第三方库，分别是WinPcap或libpcap。

下面为Jpcap中一些重要的方法：
1.openedvice()，第一个参数为string,指定要打开的设备名；第二个参数为int，指定每个包返回数据的长度；第三个参数为混杂标志，如果设为1，将网卡设置为混杂模式，监听全网段。第四个参数为以毫秒计超时时限。
2.getdevicelist(),用来返回可用来抓包的接口列表。
3.ProcessPacket()，此用来不间断地抓取指定数量的包，第一个参数为int，指定所须抓包的数量，第二个参数为Jpcaphandler,指明用来分析被抓包的一个对象。
4. setFilter(),此函数用来设置一个过滤器。第一个参数为string ,指明过滤的条件；第二个参数为boolean,如果为真，则过滤器有效。
5.getpacket(),得到一个包。
3.2 数据包的存储
数据的存储主要包括两部分，一部分是TCP包头的信息，另一部分是TCP包的数据部分，TCP包头含有很多的控制信息，包括源端口、目的端口、顺序号、确认号、校验和、窗口大小等，采用数据库access保存，而对于数据部分将采用记事本进行存储，因为研究表明及时存储在记事本，数据的丢失率会小一点。
TCP包的头部格式如图所示：

图4.2
在jbcap的javadoc帮助文档中已经有关于报头信息的函数了，我们只须调用即可，而且上一层的类可以继承下一层的，定义在TCP层的对象可以引用IP层和数据链路层的函数，这些函数已经编写好了， 如下图所示：
Class TCPPacket

java.lang.Object
|
+-jpcap.Packet
|
+-jpcap.IPPacket
|
+-jpcap.TCPPacket
图4.3

在程序的编写过程我用到了如下jpcap中的函数：
定义包的长度：
public int len
Length of this packet
定义包的数据部分
public byte[] data
Packet data (excluding the header)
定义IP包的版本
public byte version
IP version (v4/v6)
定义IP协议的类型
public byte priority
Priority (class) (v4/v6)
定义IP数据包的标记
public boolean d_flag
IP flag bit: [D]elay (v4)
定义IP数据包的偏移量
public short offset
Fragment offset (v4)
定义数据包的目的IP地址
public IPAddress dst_ip
Destination IP address
定义数据包的源IP地址
public IPAddress src_ip
Source IP address
定义TCP数据包的源端口号
public int src_port
Source port number
定义TCP数据包的目的端口号
public int dst_port
Destination port number
定义TCP包的确认序号
public long sequence
Sequence number
3.3 数据包捕获和存储流程图
数据包的截获是通过jpcap对网卡的监听实现的，这需要用到WinPcap等第三方库，Jpcap使用一个事件模型来让你处理包。Jpcap.dll在数据链路层下进行数据包捕获，Jpcap提供了能够在Windows或UNIX系统上数据链路层下进行数据包捕获的Java API，它可以访问底层的网络数据。具体流程见下图


图4.4


3.4 数据包捕获和存储程序片断
……………
if (packet instanceof TCPPacket) //选择经过网卡的的TCP包，网卡本身不能判断，是借助jpcap的自带函数实现
{
tcp=(TCPPacket)packet;
if(tcp.src_port==80||tcp.dst_port==80) //定义为80号端口，确定为HTTP数据包
{
TCPPacket tcpPacket = (TCPPacket)packet;
countlen=countlen+tcpPacket.len;
………………
mainFrame.label1.setText("Capturing on Device "+ i+" "+lists);
Jpcap jpcap=Jpcap.openDevice(Jpcap.getDeviceList(),1000,true,20); //true,the inferface becomes promiscuous mode(混杂模式)
jpcap.loopPacket( -1, new Tcpdump()); //循环抓包，'-1'表示无限次数
……………
try
{
// byte[] b=result.getBytes();
//FileOutputStream fout=new FileOutputStream(myFile);
RandomAccessFile fout=new RandomAccessFile("result.txt","rw"); //保存在记事本文件中
fout.seek(fout.length());
fout.writeBytes(result);
fout.close();
}
catch(FileNotFoundException e)
{
System.err.println(e);
}
catch(IOException e)
{
System.err.println(e);
} //异常情况的处理
System.out.println("The Decode result is :/n"+result);

String temp="insert into bao values("+count+","+tcpPacket.version+","+tcpPacket.rsv_tos+","+
tcpPacket.length+","+ ID2+","+tcpPacket.d_flag+","+tcpPacket.offset+","+ tcpPacket.hop_limit+","+tcpPacket.protocol+",'"+tcpPacket.src_ip+"','"+ //定义存储在数据库中的各字段 tcpPacket.dst_ip+"',"+tcpPacket.sequence+",'"+msg+"')";
System.out.println(tcpPacket.src_ip);
//定义连接数据的语句
Con=DriverManager.getConnection("jdbc:odbc:bao","bao","123");
Stmt.executeQuery(temp);
// Con.close();
rs=Stmt.executeQuery("SELECT * FROM bao");
/* while(rs.next())
{
id=rs.getString(5);
System.out.print("id:"+id+" ");
}*/
Con.close();