各线程总结

各线程总结

基础作业
1.阳光问政（zhaopin,抓取岗位）-协程，线程，进程，分布式，
并发读取，写入一个文件

拓展作业

2.淘宝订单抓取-协程，线程，进程，分布式，
并发读取，写入一个文件

3.分布式作业----淘宝A，淘宝B ,淘宝C 作业系统

4.抓取网页的邮箱-----协程，线程，进程，分布式，
协程：
gevent.monkey.patch_all()#自动切
tasklist=[]
for i in range(N):
tasklist.append( gevent.spawn(download,xclist[i],file))
gevent.joinall(tasklist)
线程：

    threadlist=[]
for  i  in range(N):
    mythead=threading.Thread(target=download,args=(urllist,))
    mythead.start()
    threadlist.append(mythead) #加入线程列表
for  thd in  threadlist:
    thd.join()

进程：
import multiprocessing
queue.put(mygetstr)#压入数据
queue=multiprocessing.Queue()#进程之间传递数据
processlist = []
for i in range(N):
process=multiprocessing.Process(target=download,args=(xclist[i],queue))
process.start()
processlist.append(process)
print "start"
for p in processlist:
p.join()#等待所有进程退出
print "okok"
time.sleep(5)
while not queue.empty():
data=queue.get()
print "get",data
分布式：
sever,client

并发读取：
queue= multiprocessing.Manager().Queue() #多进程
processlist = []
for urllist in xclist:
process = multiprocessing.Process(target=go, args=(urllist, queue))
process.start()
processlist.append(process) # 开启多个进程

readprocess=multiprocessing.Process(target=readdata,args=(queue,))#开启读取
readprocess.start()
processlist.append(readprocess)

for p in processlist:
    p.join()  # 等待所有进程退出