爬取网页爆破目录的爬虫

今天被SCTF的高质量题目给打败了,好难萌新表示做不出来
诶诶诶~~~~~
所以分享一个自己写的shell可以爆破目录爬取爆破的信息

import requests

import os
path = "H:/dict" #这里上自己的字典
files= os.listdir(path) 
for file in files: 
     if not os.path.isdir(file): 
          f = open(path+"/"+file).read()
          iter_f = iter(f)
          list_f=f.split('\n')
          #print list_f
url="url" #上自己的url
#str=open('').read()
#print(str)
#str_list=str.split('\n')
#print(str_list)
for i in list_f:
    url_true=url+i
    try:
        a=requests.get(url_true).status_code
        if a==200:
            print(url_true)
            f=open('i.txt','w')
            f.write(a.content)
            print("yes")
    except:
    		pass
print "end"

额额最近要考试加油复习去了

你可能感兴趣的:(数据爬取)