爬虫提高效率，和爬取速度，多线程，多协程，多进程demo

多协程

# -*-coding=utf-8-*-

import gevent
from gevent.queue import Queue, Empty
import time
import requests
from gevent import monkey  # 把下面有可能有IO操作的单独做上标记
"""
多协程爬虫coroutine，慢
"""

link_list = []

with open('../alexa.txt', 'r') as file:
    file_list = file.readlines()
    for eachone in file_list:
        #print(eachone)
        link = eachone.split('\t')[1]
        print(link)
        link = link.replace('\n','')
        #print(link)
        link_list.append(link)
start = time.time()
def crawler(index):
    workQueue = Queue(1000)
    Process_id = 'Process-'+str(index)
    while not workQueue.empty():
        url = workQueue.get(timeout=2)
        try:
            r = requests.get(url, timeout=20)
            print(Process_id, workQueue.qsize(), r.status_code, url)
        except Exception as e:
            print(Process_id, workQueue.qsize(), url, "error:", e)
def boss():
    print(link_list)
    for url in link_list:
        workQueue = Queue(1000)
        workQueue.put_nowait(url)
if __name__ == '__main__':
    gevent.spawn(boss).join()
    jobs = []
    for i in range(10):
        jobs.append(gevent.spawn(crawler,i))
    gevent.joinall(jobs)
    end = time.time()
    print("多协程爬虫总时间为",end-start)

多进程

# -*-coding=utf-8-*-

from multiprocessing import cpu_count, Process, Queue
from multiprocessing import current_process
import requests
import time

"""
multiprocessing 对于习惯使用threading多线程的用户非常友好
和threading很想
PRocess_queue多进程爬虫总时间wie 3369.3237142562866
"""
print(cpu_count())
print(current_process())
link_list = []
with open('../alexa.txt', 'r') as file:
    file_list = file.readlines()
    for eachone in file_list:
        link = eachone.split('\t')[1]
        link = link.replace('\n', '')
        link_list.append(link)
start = time.time()

class myProcess(Process):
    def __init__(self, q):
        Process.__init__(self)
        self.q = q

    def run(self):
        print('starting', self.pid)
        while not self.q.empty():
            crawler(self.q)
        print("exiting", self.pid)

def crawler(q):
    url = q.get(timeout=20)
    try:
        r = requests.get(url, timeout=20)
        print(q.qsize(), r.status_code, url)
    except Exception as e:
        print(q.qsize(), url, 'error', e)

if __name__ == '__main__':
    ProcessNames = ['process-1', 'process-2', 'process-3']
    workQueue = Queue(1000)
    # 填充队列
    for url in link_list:
        workQueue.put(url)
    for i in range(0, 6):
        p = myProcess(workQueue)
        p.daemon = True
        p.start()
        p.join()
end = time.time()
print('PRocess_queue多进程爬虫总时间wie', end - start)
 

线程池

# -*-coding=utf-8-*-

from multiprocessing import Pool, Manager
import time
import requests

"""
线程池
当操作对象数目不大时，可以直接利用multiprocesssing还可以使用pool方法

阻塞非阻塞的概念
阻塞非阻塞关注的是程序在等待调用结果时的状态，阻塞要等回调的结果出来，在结果出来之前，当前进程会被挂起，非阻塞为调价进程后
不一定非要结果出来就可以添加其他进程运行
Pool++queue 多进程爬虫总时间为 962.9970803260803
"""

link_list = []
with open('../alexa.txt', 'r') as file:
    file_list = file.readlines()
    for eachone in file_list:
        link = eachone.split('\t')[1]
        link = link.replace('\n', '')
        link_list.append(link)
start = time.time()

def crawler(q, index):
    Process_id = 'Process-' + str(index)
    while not q.empty():
        url = q.get(timeout=2)
        try:
            r = requests.get(url, timeout=20)
            print(Process_id, q.qsize(), r.status_code, url)
        except Exception as e:
            print(Process_id, q.qsize(), url, "error:", e)

if __name__ == '__main__':
    manager = Manager()
    workQueue = manager.Queue(1000)
    # 填充队列
    for url in link_list:
        workQueue.put(url)
    pool = Pool(processes=3)

    for i in range(4):
        #非阻塞
        pool.apply_async(crawler, args=(workQueue, i))
        #阻塞
        #pool.apply(crawler,args=(workQueue, i))
    print("start processing")
    pool.close()
    pool.join()
    end = time.time()
    print("Pool++queue 多进程爬虫总时间为", end - start)

多线程

# -*-coding=utf-8-*-
import threading
import requests
import time
#简单多线程爬虫
link_list = []
#打开文件
with open('../alexa.txt', 'r') as file:
    file_list = file.readlines()
    for eachone in file_list:
        link = eachone.split("\t")[1]
        link = link.replace('\n', '')
        link_list.append(link)
start = time.time()
#爬虫时间700多s
#自定义线程方式多线程(同步)
#爬虫总时间为： 763.8006868362427
class myThread(threading.Thread):
    def __init__(self, name, link_range):
        threading.Thread.__init__(self)
        self.name = name
        self.link_range = link_range

    def run(self):
        print("starting" + self.name)
        crawler(self.name, self.link_range)
        print("Exiting" + self.name)

#解析爬虫网页，存储内容
def crawler(threadName, link_range):
    for i in range(link_range[0], link_range[1] + 1):
        try:
            r = requests.get(link_list[i], timeout=20)
            print(threadName, r.status_code, link_list[i])
        except Exception as e:
            print(threadName, 'Error:', e)

thread_list = []
link_range_list = [(0, 200), (201, 400), (401, 600), (601, 800), (801, 1000)]
# 创建新线程
for i in range(1, 6):
    thread = myThread("Thread-" + str(i), link_range_list[i - 1])
    thread.start()
    thread_list.append(thread)
# 等待所有线程完成
for thread in thread_list:
    thread.join()
end = time.time()
print("爬虫总时间为：", end - start)

定制线程

# -*-coding=utf-8-*-

"""
5个线程全速爬虫，可以使用queue，python中queue模块中提供了同步的线程安全的队列类
包括FIFO(先入先出）队列queue、LIFO(后人先出）队列lifoQUeue和优先级队列prorityQueue)
异步多线程爬虫
爬虫总时间 659.6347289085388
"""
import threading
import requests
import time
import queue as Queue

link_list = []
with open('../alexa.txt', 'r') as file:
    file_list = file.readlines()
    for eachone in file_list:
        link = eachone.split('\t')[1]
        link = link.replace('\n', '')
        link_list.append(link)
start = time.time()

class myThread(threading.Thread):
    def __init__(self, name, q):
        threading.Thread.__init__(self)
        self.name = name
        self.q = q

    def run(self):
        print("starting" + self.name)
        while True:
            try:
                crawler(self.name, self.q)
            except:
                break
        print("Exiting" + self.name)

def crawler(threadName, q):
    url = q.get(timeout=2)
    try:
        r = requests.get(url, timeout=20)
        print(q.qsize(), threadName, r.status_code, url)
    except Exception as e:
        print(q.qsize(), threadName, url, 'Error', e)

threadLIst = ['Thead-1', 'Thead-2', 'Thread-3', 'Thead-4', 'Thead-5']
workQueue = Queue.Queue(1000)
threads = []
#创建新线程
for tName in threadLIst:
    thread = myThread(tName,workQueue)
    thread.start()
    threads.append(thread)
#填充队列
for url in link_list:
    workQueue.put(url)
    #等待所有线程完成
for t in threads:
    t.join()
end = time.time()
print("爬虫总时间",end-start)
 

 

附文件：../alexa.txt

0    http://www.baidu.com
1    http://www.qq.com
2    http://www.naver.com
3    http://www.taobao.com
4    http://www.reddit.com
5    http://www.sohu.com
6    http://www.tmall.com
7    http://www.sina.com.cn
8    http://www.daum.net
9    http://www.jd.com
10    http://www.360.cn
11    http://www.weibo.com
12    http://www.aliexpress.com
13    http://www.linkedin.com
14    http://www.alipay.com
15    http://www.hao123.com
16    http://www.csdn.net
17    http://www.youth.cn
18    http://www.live.com
19    http://www.tianya.cn
20    http://www.microsoftonline.com
21    http://www.office.com
22    http://www.soso.com
23    http://www.so.com
24    http://www.gmw.cn
25    http://www.china.com
26    http://www.nate.com
27    http://www.huaban.com
28    http://www.bing.com
29    http://www.xinhuanet.com
30    http://www.youku.com
31    http://www.zhihu.com
32    http://www.cctv.com
33    http://www.airasia.com
34    http://www.douyu.com
35    http://www.babytree.com
36    http://www.apple.com
37    http://www.sogou.com
38    http://www.china.com.cn
39    http://www.yelp.com
40    http://www.ocbc.com
41    http://www.microsoft.com
42    http://www.mama.cn
43    http://www.bitauto.com
44    http://www.bankofamerica.com
45    http://www.1688.com
46    http://www.stackoverflow.com
47    http://www.163.com
48    http://www.39.net
49    http://www.cnblogs.com
50    http://www.bilibili.com
51    http://www.interpark.com
52    http://www.huanqiu.com
53    http://www.cnzz.com
54    http://www.chinadaily.com.cn
55    http://www.openrice.com
56    http://www.msn.com
57    http://www.k618.cn
58    http://www.yesky.com
59    http://www.caijing.com.cn
60    http://www.emirates.com
61    http://www.amazon.cn
62    http://www.aliyun.com
63    http://www.eastday.com
64    http://www.youdao.com
65    http://www.oeeee.com
66    http://www.ci123.com
67    http://www.baike.com
68    http://www.adobe.com
69    http://www.rednet.cn
70    http://www.iqiyi.com
71    http://www.wemakeprice.com
72    http://www.douban.com
73    http://www.familydoctor.com.cn
74    http://www.agoda.com
75    http://www.jrj.com.cn
76    http://www.read01.com
77    http://www.17ok.com
78    http://www.chinaz.com
79    http://www.youboy.com
80    http://www.tesco.com
81    http://www.alibaba.com
82    http://www.gearbest.com
83    http://www.51sole.com
84    http://www.dbs.com
85    http://www.suning.com
86    http://www.oschina.net
87    http://www.voc.com.cn
88    http://www.zol.com.cn
89    http://www.asos.com
90    http://www.chinaso.com
91    http://www.jianshu.com
92    http://www.ifeng.com
93    http://www.stockstar.com
94    http://www.zhanqi.tv
95    http://www.52pk.com
96    http://www.whatsbuying.com
97    http://www.cqnews.net
98    http://www.gongchang.com
99    http://www.godaddy.com
100    http://www.godaddy.com
101    http://www.wtoip.com
102    http://www.segmentfault.com
103    http://www.evernote.com
104    http://www.dianping.com
105    http://www.qingdaonews.com
106    http://www.guancha.cn
107    http://www.standardchartered.com
108    http://www.singaporeair.com
109    http://www.toutiao.com
110    http://www.jiameng.com
111    http://www.dm5.com
112    http://www.w3school.com.cn
113    http://www.zhaopin.com
114    http://www.99.com
115    http://www.mi.com
116    http://www.b2b.cn
117    http://www.cathaypacific.com
118    http://www.southcn.com
119    http://www.battle.net
120    http://www.ups.com
121    http://www.jb51.net
122    http://www.comcast.net
123    http://www.alicdn.com
124    http://www.v2ex.com
125    http://www.firefoxchina.cn
126    http://www.360doc.com
127    http://www.xunlei.com
128    http://www.sharepoint.com
129    http://www.scol.com.cn
130    http://www.admaimai.com
131    http://www.v1.cn
132    http://www.51cto.com
133    http://www.jqw.com
134    http://www.bzw315.com
135    http://www.126.com
136    http://www.beanfun.com
137    http://www.chooseauto.com.cn
138    http://www.renren.com
139    http://www.taleo.net
140    http://www.51.la
141    http://www.zcool.com.cn
142    http://www.4399.com
143    http://www.duba.com
144    http://www.globaltimes.cn
145    http://www.ycwb.com
146    http://www.sfacg.com
147    http://www.hotelscombined.com
148    http://www.mydrivers.com
149    http://www.taoche.com
150    http://www.runoob.com
151    http://www.tlscontact.com
152    http://www.nba.com
153    http://www.gamebase.com.tw
154    http://www.zhibo8.cc
155    http://www.hexun.com
156    http://www.xiami.com
157    http://www.finnair.com
158    http://www.feng.com
159    http://www.cdstm.cn
160    http://www.uniqlo.com
161    http://www.iciba.com
162    http://www.qudong.com
163    http://www.panda.tv
164    http://www.cnbeta.com
165    http://www.nipic.com
166    http://www.sznews.com
167    http://www.huawei.com
168    http://www.tuicool.com
169    http://www.baimao.com
170    http://www.umeng.com
171    http://www.ccidnet.com
172    http://www.klm.com
173    http://www.qcloud.com
174    http://www.hupu.com
175    http://www.ikanman.com
176    http://www.3dmgame.com
177    http://www.icolor.com.cn
178    http://www.360.com
179    http://www.36kr.com
180    http://www.miui.com
181    http://www.boc.cn
182    http://www.gamersky.com
183    http://www.joyme.com
184    http://www.17173.com
185    http://www.uc.cn
186    http://www.alimama.com
187    http://www.oasgames.com
188    http://www.focus.cn
189    http://www.cnr.cn
190    http://www.miomio.tv
191    http://www.jjwxc.net
192    http://www.5dcar.com
193    http://www.hjenglish.com
194    http://www.dangdang.com
195    http://www.springer.com
196    http://www.to8to.com
197    http://www.xiaomi.com
198    http://www.ctrip.com
199    http://www.delta.com
200    http://www.anjuke.com
201    http://www.cnki.net
202    http://www.surveymonkey.com
203    http://www.tower.im
204    http://www.baiducontent.com
205    http://www.acfun.cn
206    http://www.people.com.cn
207    http://www.jmw.com.cn
208    http://www.worktile.com
209    http://www.newsmth.net
210    http://www.vmall.com
211    http://www.07073.com
212    http://www.qyer.com
213    http://www.hujiang.com
214    http://www.cnnic.cn
215    http://www.meituan.com
216    http://www.yinxiang.com
217    http://www.ngacn.cc
218    http://www.smzdm.com
219    http://www.ccb.com
220    http://www.ali213.net
221    http://www.alibaba-inc.com
222    http://www.3158.cn
223    http://www.vmall.com
224    http://www.nike.com
225    http://www.eqxiu.com
226    http://www.jandan.net
227    http://www.office365.com
228    http://www.imooc.com
229    http://www.ikea.com
230    http://www.united.com
231    http://www.ly.com
232    http://www.epwk.com
233    http://www.tudou.com
234    http://www.leagueoflegends.com
235    http://www.aa.com
236    http://www.garena.com
237    http://www.mafengwo.cn
238    http://www.ifensi.com
239    http://www.pptv.com
240    http://www.fobshanghai.com
241    http://www.asiamiles.com
242    http://www.znds.com
243    http://www.hc360.com
244    http://www.job853.com
245    http://www.sf-express.com
246    http://www.lianjia.com
247    http://www.guokr.com
248    http://www.cmbchina.com
249    http://www.modernweekly.com
250    http://www.ynet.com
251    http://www.dell.com
252    http://www.dict.cn
253    http://www.yinyuetai.com
254    http://www.aizhan.com
255    http://www.gome.com.cn
256    http://www.meishichina.com
257    http://www.51hejia.com
258    http://www.ule.com
259    http://www.ea3w.com
260    http://www.saraba1st.com
261    http://www.chsi.com.cn
262    http://www.vlive.tv
263    http://www.sonhoo.com
264    http://www.hongkongairlines.com
265    http://www.jxnews.com.cn
266    http://www.free.com.tw
267    http://www.docin.com
268    http://www.liepin.com
269    http://www.chinaunix.net
270    http://www.weibo.cn
271    http://www.ifanr.com
272    http://www.51auto.com
273    http://www.ebrun.com
274    http://www.10010.com
275    http://www.hebei.com.cn
276    http://www.tgbus.com
277    http://www.mtime.com
278    http://www.vip.com
279    http://www.kdslife.com
280    http://www.www.gov.cn
281    http://www.cncn.org.cn
282    http://www.techcrunch.com
283    http://www.zbj.com
284    http://www.ip138.com
285    http://www.cyol.com
286    http://www.pc6.com
287    http://www.joox.com
288    http://www.178.com
289    http://www.lagou.com
290    http://www.18183.com
291    http://www.365jia.cn
292    http://www.autohome.com.cn
293    http://www.battlenet.com.cn
294    http://www.oracle.com
295    http://www.miaopai.com
296    http://www.sina.cn
297    http://www.ch.com
298    http://www.yxdown.com
299    http://www.etao.com
300    http://www.vietnamairlines.com
301    http://www.iyiou.com
302    http://www.shop.com
303    http://www.588ku.com
304    http://www.le.com
305    http://www.sina.com
306    http://www.jstv.com
307    http://www.ceconline.com
308    http://www.koreanair.com
309    http://www.skype.com
310    http://www.ih5.cn
311    http://www.ems.com.cn
312    http://www.efu.com.cn
313    http://www.pcbaby.com.cn
314    http://www.shimo.im
315    http://www.macaolife.com
316    http://www.xiu.com
317    http://www.eastmoney.com
318    http://www.xiumi.us
319    http://www.yhd.com
320    http://www.jiemian.com
321    http://www.daikuan.com
322    http://www.ximalaya.com
323    http://www.marriott.com
324    http://www.d1ev.com
325    http://www.xitek.com
326    http://www.chuansong.me
327    http://www.alitrip.com
328    http://www.xiaomi.cn
329    http://www.51job.com
330    http://www.91jm.com
331    http://www.2cto.com
332    http://www.qoo10.com
333    http://www.centadata.com
334    http://www.lufthansa.com
335    http://www.techweb.com.cn
336    http://www.kugou.com
337    http://www.80018.cn
338    http://www.tmtpost.com
339    http://www.house365.com
340    http://www.hp.com
341    http://www.unity3d.com
342    http://www.zoom.us
343    http://www.kafan.cn
344    http://www.liansuo.com
345    http://www.netease.com
346    http://www.10jqka.com.cn
347    http://www.xiazaiba.com
348    http://www.fang.com
349    http://www.smartisan.com
350    http://www.photofans.cn
351    http://www.ooopic.com
352    http://www.zybang.com
353    http://www.gw-ec.com
354    http://www.wed114.cn
355    http://www.huomao.com
356    http://www.ithome.com
357    http://www.ccb.com.cn
358    http://www.chinanews.com
359    http://www.doc88.com
360    http://www.sanguosha.com
361    http://www.evaair.com
362    http://www.icbc.com.cn
363    http://www.youxidudu.com
364    http://www.verycd.com
365    http://www.netcoc.com
366    http://www.pepper.com
367    http://www.dygang.com
368    http://www.liaoxuefeng.com
369    http://www.flyasiana.com
370    http://www.sciencenet.cn
371    http://www.feiyang.com
372    http://www.800hr.com
373    http://www.iconfont.cn
374    http://www.youzan.com
375    http://www.360kan.com
376    http://www.chinabyte.com
377    http://www.samsung.com
378    http://www.zxart.cn
379    http://www.gucheng.com
380    http://www.bootcss.com
381    http://www.cankaoxiaoxi.com
382    http://www.58pic.com
383    http://www.81.cn
384    http://www.csair.com
385    http://www.chiphell.com
386    http://www.antpedia.com
387    http://www.xiachufang.com
388    http://www.winshang.com
389    http://www.fzg360.com
390    http://www.chaduo.com
391    http://www.12306.cn
392    http://www.morningpost.com.cn
393    http://www.soku.com
394    http://www.sspai.com
395    http://www.yoox.com
396    http://www.huxiu.com
397    http://www.nyu.edu
398    http://www.jiwu.com
399    http://www.u17.com
400    http://www.jiayuan.com
401    http://www.yy.com
402    http://www.duowan.com
403    http://www.mbalib.com
404    http://www.wanfangdata.com.cn
405    http://www.ibuying.com
406    http://www.chouti.com
407    http://www.71.net
408    http://www.hrloo.com
409    http://www.meizu.com
410    http://www.miercn.com
411    http://www.fengniao.com
412    http://www.fangdd.com
413    http://www.htc.com
414    http://www.jdzj.com
415    http://www.pcauto.com.cn
416    http://www.kaola.com
417    http://www.kuaidi100.com
418    http://www.yougov.com
419    http://www.ku6.com
420    http://www.sanwen8.cn
421    http://www.yiwugou.com
422    http://www.lottedfs.com
423    http://www.cisco.com
424    http://www.wallstreetcn.com
425    http://www.gamedog.cn
426    http://www.tencent.com
427    http://www.tvhome.com
428    http://www.xbox.com
429    http://www.cr173.com
430    http://www.onlinedown.net
431    http://www.ebay.com.hk
432    http://www.searchs.cn
433    http://www.17track.net
434    http://www.hyundai.com
435    http://www.baixing.com
436    http://www.258.com
437    http://www.cn2che.com
438    http://www.pudn.com
439    http://www.dv37.com
440    http://www.dv37.com
441    http://www.uisdc.com
442    http://www.sojump.com
443    http://www.d1net.com
444    http://www.ganji.com
445    http://www.jobbole.com
446    http://www.pearsoncmg.com
447    http://www.kongfz.com
448    http://www.365jilin.com
449    http://www.strawberrynet.com
450    http://www.11467.com
451    http://www.jobui.com
452    http://www.hh010.com
453    http://www.teambition.com
454    http://www.woshipm.com
455    http://www.lge.com
456    http://www.kanxi.cc
457    http://www.leiphone.com
458    http://www.d1com.com
459    http://www.114so.cn
460    http://www.d1com.com
461    http://www.114so.cn
462    http://www.duomai.com
463    http://www.win007.com
464    http://www.weidian.com
465    http://www.qiku.com
466    http://www.cli.im
467    http://www.flyertea.com
468    http://www.lenovo.com.cn
469    http://www.aso100.com
470    http://www.xueqiu.com
471    http://www.bp.com
472    http://www.dingtalk.com
473    http://www.processon.com
474    http://www.flyme.cn
475    http://www.a9vg.com
476    http://www.sinaimg.cn
477    http://www.saic.gov.cn
478    http://www.mgtv.com
479    http://www.nuomi.com
480    http://www.tiexue.net
481    http://www.vvvdj.com
482    http://www.tvmao.com
483    http://www.panduoduo.net
484    http://www.wechat.com
485    http://www.52pojie.cn
486    http://www.miwifi.com
487    http://www.iteye.com
488    http://www.kanzhun.com
489    http://www.mango.com
490    http://www.cheaa.com
491    http://www.13322.com
492    http://www.jikexueyuan.com
493    http://www.taisha.org
494    http://www.mydigit.cn
495    http://www.gusuwang.com
496    http://www.pinggu.org
497    http://www.lbldy.com
498    http://www.sgcn.com
499    http://www.misumi-ec.com
500    http://www.lofter.com
501    http://www.unrealengine.com
502    http://www.gao7.com
503    http://www.leju.com
504    http://www.home77.com
505    http://www.qunar.com
506    http://www.xdowns.com
507    http://www.oa.com
508    http://www.sgcn.com
509    http://www.szjy188.com
510    http://www.tuniu.com
511    http://www.135editor.com
512    http://www.f.com
513    http://www.zhibo.tv
514    http://www.jiyoujia.com
515    http://www.95516.com
516    http://www.yiqifa.com
517    http://www.cocoachina.com
518    http://www.babyschool.com.cn
519    http://www.iweihai.cn
520    http://www.haowu.com
521    http://www.hm.com
522    http://www.wish.com
523    http://www.fitbit.com
524    http://www.taojindi.com
525    http://www.koolearn.com
526    http://www.xabbs.com
527    http://www.020.com
528    http://www.qiniu.com
529    http://www.25pp.com
530    http://www.nga.cn
531    http://www.educity.cn
532    http://www.zealer.com
533    http://www.xdowns.com
534    http://www.liqu.com
535    http://www.qichacha.com
536    http://www.51credit.com
537    http://www.duomai.com
538    http://www.juooo.com
539    http://www.shanbay.com
540    http://www.juooo.com
541    http://www.shanbay.com
542    http://www.meishij.net
543    http://www.th7.cn
544    http://www.jia400.com
545    http://www.cas.cn
546    http://www.wenwuchina.com
547    http://www.189.cn
548    http://www.liuxue86.com
549    http://www.klook.com
550    http://www.shfft.com
551    http://www.8264.com
552    http://www.china.cn
553    http://www.zhifang.com
554    http://www.made-in-china.com
555    http://www.rabbitpre.com
556    http://www.sap.com
557    http://www.macx.cn
558    http://www.everychina.com
559    http://www.9game.cn
560    http://www.ca800.com
561    http://www.dgtle.com
562    http://www.cloudscar.com
563    http://www.bdhome.cn
564    http://www.news18a.com
565    http://www.shilladfs.com
566    http://www.net-a-porter.com
567    http://www.zealer.com
568    http://www.discoverhongkong.com
569    http://www.80s.tw
570    http://www.9ku.com
571    http://www.33lc.com
572    http://www.thepaper.cn
573    http://www.scswl.cn
574    http://www.officedepot.com
575    http://www.fx678.com
576    http://www.banma.com
577    http://www.eee114.com
578    http://www.9384.com
579    http://www.xuexila.com
580    http://www.9384.com
581    http://www.xuexila.com
582    http://www.cheshen.cn
583    http://www.mr-world.com
584    http://www.fx112.com
585    http://www.97665.com
586    http://www.chinahr.com
587    http://www.acs.org
588    http://www.mikecrm.com
589    http://www.checheng.com
590    http://www.appgame.com
591    http://www.linkhaitao.com
592    http://www.meipai.com
593    http://www.linuxidc.com
594    http://www.fliggy.com
595    http://www.amap.com
596    http://www.4px.com
597    http://www.qpic.cn
598    http://www.modao.cc
599    http://www.dianxiaomi.com
600    http://www.56.com
601    http://www.java.com
602    http://www.hdpfans.com
603    http://www.thinkphp.cn
604    http://www.2345.com
605    http://www.baoku.com
606    http://www.tiancity.com
607    http://www.bcsh.com
608    http://www.bozhong.com
609    http://www.zhiding.cn
610    http://www.longzhu.com
611    http://www.xjtour.com
612    http://www.kancloud.cn
613    http://www.open-open.com
614    http://www.itpub.net
615    http://www.elong.com
616    http://www.pchome.net
617    http://www.pps.tv
618    http://www.qinqinbaby.com
619    http://www.chuandong.com
620    http://www.coding.net
621    http://www.yidianzixun.com
622    http://www.51nb.com
623    http://www.dhgate.com
624    http://www.10086.cn
625    http://www.6vhao.com
626    http://www.5acbd.com
627    http://www.atobo.com.cn
628    http://www.kubo365.com
629    http://www.111cn.net
630    http://www.zhongmin.cn
631    http://www.weiyangx.com
632    http://www.juesheng.com
633    http://www.uuu9.com
634    http://www.siilu.com
635    http://www.pconline.com.cn
636    http://www.dji.com
637    http://www.west.cn
638    http://www.51zxw.net
639    http://www.ctfile.com
640    http://www.idianfa.com
641    http://www.smm.cn
642    http://www.shejis.com
643    http://www.zhangyu.tv
644    http://www.17zwd.com
645    http://www.dhl.com
646    http://www.shfft.com
647    http://www.wanmei.com
648    http://www.122.gov.cn
649    http://www.51nb.com
650    http://www.xici.net
651    http://www.cnki.com.cn
652    http://www.redocn.com
653    http://www.qvc.com
654    http://www.aipai.com
655    http://www.dapenti.com
656    http://www.3lian.com
657    http://www.guidechem.com
658    http://www.jiankang.com
659    http://www.tgfcer.com
660    http://www.freebuf.com
661    http://www.sodao.com
662    http://www.zhcw.com
663    http://www.sh.com
664    http://www.ablesky.com
665    http://www.microsoftstore.com.cn
666    http://www.7k7k.com
667    http://www.southmoney.com
668    http://www.btc123.com
669    http://www.digitaling.com
670    http://www.meitu.com
671    http://www.chinaaet.com
672    http://www.kaoyan.com
673    http://www.aipai.com
674    http://www.tripadvisor.cn
675    http://www.colg.cn
676    http://www.admin5.com
677    http://www.ncar.cc
678    http://www.intel.com
679    http://www.wanyx.com
680    http://www.chmotor.cn
681    http://www.mxhichina.com
682    http://www.jzb.com
683    http://www.it168.com
684    http://www.1kkk.com
685    http://www.cnodejs.org
686    http://www.hudong.com
687    http://www.ucweb.com
688    http://www.xyw.gov.cn
689    http://www.airasiago.com
690    http://www.damai.cn
691    http://www.farnell.com
692    http://www.hi-pda.com
693    http://www.wenku1.com
694    http://www.haosou.com
695    http://www.ishuhui.com
696    http://www.paopaoche.net
697    http://www.csai.cn
698    http://www.zhaoshangbao.com
699    http://www.eol.cn
700    http://www.excelhome.net
701    http://www.missevan.com
702    http://www.cncv.org.cn
703    http://www.365yg.com
704    http://www.huim.com
705    http://www.zxxk.com
706    http://www.51yes.com
707    http://www.cainiao.com
708    http://www.nh87.cn
709    http://www.b0yp.com
710    http://www.qdaily.com
711    http://www.kongzhong.com
712    http://www.shangc.net
713    http://www.dongqiudi.com
714    http://www.jiankang.com
715    http://www.dzsc.com
716    http://www.chinaacc.com
717    http://www.vcg.com
718    http://www.oneplusbbs.com
719    http://www.xuetangx.com
720    http://www.fz222.com
721    http://www.cnwnews.com
722    http://www.chinadmd.com
723    http://www.b2b168.com
724    http://www.pingan.com
725    http://www.pushauction.com
726    http://www.sdo.com
727    http://www.9978.cn
728    http://www.ltaaa.com
729    http://www.gxyj.com
730    http://www.kuaizhan.com
731    http://www.airchina.com.cn
732    http://www.gcl-power.com
733    http://www.medsci.cn
734    http://www.lbxcn.com
735    http://www.lzgd.com.cn
736    http://www.oray.com
737    http://www.taobao.org
738    http://www.btbtdy.com
739    http://www.i2ya.com
740    http://www.istar.cn
741    http://www.xgo.com.cn
742    http://www.66law.cn
743    http://www.heiguang.com
744    http://www.ao.com
745    http://www.jq22.com
746    http://www.qidian.com
747    http://www.goldcarpet.cn
748    http://www.zxbtz.cn
749    http://www.jiushang.cn
750    http://www.cicpa.org.cn
751    http://www.wowenda.com
752    http://www.coursera.org
753    http://www.fangdr.com
754    http://www.cps.com.cn
755    http://www.kmf.com
756    http://www.cri.cn
757    http://www.lmjx.net
758    http://www.lonshinetech.cn
759    http://www.infoq.com
760    http://www.gushiwen.org
761    http://www.ecp888.com
762    http://www.tongtool.com
763    http://www.dajie.com
764    http://www.co188.com
765    http://www.fumanhua.net
766    http://www.maiche168.com
767    http://www.sankuai.com
768    http://www.ucas.ac.cn
769    http://www.lamabang.com
770    http://www.huajiao.com
771    http://www.accorhotels.com
772    http://www.wendangku.net
773    http://www.dragonparking.com
774    http://www.6789.com
775    http://www.xdf.cn
776    http://www.tucao.tv
777    http://www.91yunxiao.com
778    http://www.liebiao.com
779    http://www.9lianmeng.com
780    http://www.51240.com
781    http://www.zhiyoo.com
782    http://www.silkair.com
783    http://www.313.cn
784    http://www.ssl-images-amazon.com
785    http://www.eepw.com.cn
786    http://www.gs307.com
787    http://www.yindou.com
788    http://www.i1515.com
789    http://www.imiker.com
790    http://www.lvmama.com
791    http://www.louisvuitton.com
792    http://www.nowgoal.com
793    http://www.makeding.com
794    http://www.xz7.com
795    http://www.guitarchina.com
796    http://www.wto168.net
797    http://www.abchina.com
798    http://www.fzdm.com
799    http://www.ichacha.net
800    http://www.1024sj.com
801    http://www.ef43.com.cn
802    http://www.newrank.cn
803    http://www.ceair.com
804    http://www.zimuku.net
805    http://www.ppkoo.com
806    http://www.jc35.com
807    http://www.dnspod.cn
808    http://www.hsw.cn
809    http://www.caixin.com
810    http://www.manmanbuy.com
811    http://www.23us.com
812    http://www.asus.com
813    http://www.zoosnet.net
814    http://www.xp510.com
815    http://www.vgtime.com
816    http://www.qiushibaike.com
817    http://www.jinshuju.net
818    http://www.115.com
819    http://www.3367.com
820    http://www.fanli.com
821    http://www.newcger.com
822    http://www.kepu.net.cn
823    http://www.findlaw.cn
824    http://www.jiumei.com
825    http://www.gkstk.com
826    http://www.ihg.com
827    http://www.blizzard.com
828    http://www.lenovo.com
829    http://www.longau.com
830    http://www.seedit.com
831    http://www.ofweek.com
832    http://www.61baobao.com
833    http://www.400.cn
834    http://www.wines-info.com
835    http://www.innisfree.com
836    http://www.weather.com.cn
837    http://www.che168.com
838    http://www.dilidili.wang
839    http://www.7po.com
840    http://www.qiushibaike.com
841    http://www.9r.cn
842    http://www.weather.com.cn
843    http://www.107cine.com
844    http://www.coolapk.com
845    http://www.ixueshu.com
846    http://www.iplaysoft.com
847    http://www.blizzard.cn
848    http://www.dangbei.com
849    http://www.hellorf.com
850    http://www.21food.cn
851    http://www.libaclub.com
852    http://www.outofmemory.cn
853    http://www.ele.me
854    http://www.shihuo.cn
855    http://www.zmz2017.com
856    http://www.zybuluo.com
857    http://www.66ys.tv
858    http://www.sczw.com
859    http://www.xtx6.com
860    http://www.tutorabc.com
861    http://www.zhipin.com
862    http://www.cgdc.com.cn
863    http://www.61learn.com
864    http://www.sm.cn
865    http://www.571xz.com
866    http://www.sobt5.org
867    http://www.starwoodhotels.com
868    http://www.qqtn.com
869    http://www.sgamer.com
870    http://www.120ask.com
871    http://www.appinn.com
872    http://www.qianzhan.com
873    http://www.888pic.com
874    http://www.tianyancha.com
875    http://www.k73.com
876    http://www.yiibai.com
877    http://www.downxia.com
878    http://www.managershare.com
879    http://www.downcc.com
880    http://www.biquge.tw
881    http://www.fgowiki.com
882    http://www.p2peye.com
883    http://www.haosou.com
884    http://www.yimu100.com
885    http://www.fox.com
886    http://www.mrporter.com
887    http://www.genshuixue.com
888    http://www.jisutiyu.com
889    http://www.topfo.com
890    http://www.right.com.cn
891    http://www.5ewin.com
892    http://www.dongnanshan.com
893    http://www.jizhangla.com
894    http://www.laawoo.com
895    http://www.3618med.com
896    http://www.ahgame.com
897    http://www.mamicode.com
898    http://www.wugu.com.cn
899    http://www.115.com
900    http://www.genshuixue.com
901    http://www.57mh.com
902    http://www.oiegg.com
903    http://www.21csp.com.cn
904    http://www.kekenet.com
905    http://www.c5game.com
906    http://www.juejin.im
907    http://www.baofeng.com
908    http://www.kuwo.cn
909    http://www.6.cn
910    http://www.chayu.com
911    http://www.sanwen.net
912    http://www.962.net
913    http://www.etest.net.cn
914    http://www.innisfree.com
915    http://www.dragonair.com
916    http://www.vjshi.com
917    http://www.lawtime.cn
918    http://www.sccnn.com
919    http://www.qqbaobao.com
920    http://www.dragonair.com
921    http://www.vjshi.com
922    http://www.lawtime.cn
923    http://www.sccnn.com
924    http://www.qqbaobao.com
925    http://www.chinaswitch.com
926    http://www.5118.com
927    http://www.cntv.cn
928    http://www.knowsky.com
929    http://www.skyscanner.com
930    http://www.wrz.com
931    http://www.wasu.cn
932    http://www.mojifen.com
933    http://www.nvidia.com
934    http://www.oceanpark.com.hk
935    http://www.pcbeta.com
936    http://www.psnine.com
937    http://www.228.com.cn
938    http://www.zhuixinfan.com
939    http://www.okcoin.cn
940    http://www.huya.com
941    http://www.1ppt.com
942    http://www.fyber.com
943    http://www.72byte.com
944    http://www.cpic.com.cn
945    http://www.wlmq.com
946    http://www.lusongsong.com
947    http://www.fanjian.net
948    http://www.hopetrip.com.hk
949    http://www.hnjy.com.cn
950    http://www.8kana.com
951    http://www.8d.cc
952    http://www.linux.cn
953    http://www.enterprise.com
954    http://www.iqing.in
955    http://www.sg560.com
956    http://www.mnw.cn
957    http://www.trendmicro.com
958    http://www.sipo.gov.cn
959    http://www.a.com.cn
960    http://www.hangame.com
961    http://www.cngold.org
962    http://www.95095.com
963    http://www.ishuo.cn
964    http://www.tecenet.com
965    http://www.jinti.com
966    http://www.sobaidupan.com
967    http://www.ichunqiu.com
968    http://www.xilu.com
969    http://www.3987.com
970    http://www.rr-sc.com
971    http://www.99114.com
972    http://www.haodou.com
973    http://www.wolfram.com
974    http://www.expreview.com
975    http://www.myexception.cn
976    http://www.shixiseng.com
977    http://www.bjjs.gov.cn
978    http://www.xxbiquge.com
979    http://www.lesports.com
980    http://www.hea.cn
981    http://www.24home.com
982    http://www.yeah.net
983    http://www.qcw.com
984    http://www.shoes.net.cn
985    http://www.9c9v.com
986    http://www.bjhjyd.gov.cn
987    http://www.ecvv.com
988    http://www.fanlibang.com
989    http://www.jxmall.com
990    http://www.xcar.com.cn
991    http://www.go108.com.cn
992    http://www.divcss5.com
993    http://www.sc.com
994    http://www.watchstore.com.cn
995    http://www.mexgroup.com
996    http://www.xunyingwang.com
997    http://www.chinagate.cn
998    http://www.zdic.net
999    http://www.bdimg.com