非常重要的尝试--使用queue的多线程

 

10月16日我写了一篇《用pcap和dpkt抓取url部分 》，这是个单进程做的，虽然说效率可以，但毕竟是一个进程。人嘛，总得追求完美，如果用多线程该怎么做呢？（我没有这方面经验）

我先是尝试多线程都去调用capture函数，发现得到的结果是多个重复的，也就是说，每个线程都去做了相同的事情；然后我想到是否可以有一个全局列表，一个线程写，另一个线程读，也失败，因为这样可能导致共享访问出问题。最后看书中发现了队列queue，它自己已经实现了数据保护，不需要我们额外考虑会不会冲突，ok，尝试吧。

写了两个类，一个抓包，一个分析

 

Code
 1 #!/usr/bin/env python
 2 #coding=utf-8
 3 import pcap
 4 import dpkt
 5 import threading
 6 from Queue import Queue
 7 import time
 8 
 9 TOTAL_HEADER_LENGTH = 48 #syn和ack包的数据长度是48，包含了8位选项
10 #
11 #class QueueWraper:
12 #    
13 #    def __init__(self):
14 #        self.queue = Queue()
15 #    
16 #    def get():
17 #        #debug
18 #        return self.queue.get()
19 #    def put(obj):
20 #        #debug
21 #        self.queue.put(obj)
22 
23 class Capture(threading.Thread):
24     
25     def __init__(self,threadname, queue, port):
26         threading.Thread.__init__(self,name = threadname)
27         self.sharedata = queue#queue
28         self.port = port
29 
30     def run(self):
31         pc = pcap.pcap()
32         b = 'tcp port '+str(self.port)
33         pc.setfilter(b)
34         for ts,pkt in pc:
35             Eth = dpkt.ethernet.Ethernet(pkt)
36             length = Eth.data.len
37             if length > TOTAL_HEADER_LENGTH:
38                 content = str(`Eth.data.data.data`)
39                 self.sharedata.put(content)
40                 
41 
42 class Makeresult(threading.Thread):
43     
44     def __init__(self,threadname,queue,filepath):
45         threading.Thread.__init__(self,name = threadname)
46         self.sharedata = queue#queue
47         self.filepath = filepath
48     def run(self):
49         fp = open(self.filepath,'ab')
50         while True:
51 #            fp = open(self.filepath,'ab')
52             urlist = self.sharedata.get()
53             if 'GET' in urlist:
54                 print urlist
55                 url = urlist.split()[1]
56 #                print url
57                 fp.write(url+'\r\n')
58                 fp.flush()
59 #                fp.close()
60 #            time.sleep(1)
61 
62 def main():
63     queue = Queue()
64     capture = Capture('capture', queue,80)
65     makeresult = Makeresult('makeresult', queue,'c:\\url.txt')
66     capture.start()
67     makeresult.start()
68     
69 if __name__ == '__main__':
70     main()
71 
72 
73