python网页编程代码大全_Python编写网页爬虫爬取oj上的代码信息
OJ升级,代码可能会丢失. 所以要事先备份. 一開始傻傻的复制粘贴, 后来实在不能忍, 得益于大潇的启示和聪神的原始代码, 网页爬虫走起!
已经有段时间没看Python, 这次网页爬虫的原始代码是 python2.7版本号, 试了一下改动到3.0版本号, 要做非常多包的更替,感觉比較烦,所以索性就在这个2.7版本号上完好了.
首先欣赏一下原始代码,我给加了一些凝视:
# -*- coding: cp936 -*-
import urllib2
import urllib
import re
import thread
import time
import cookielib
cookie_support = urllib2.HTTPCookieProcessor(cookielib.CookieJar())
opener = urllib2.build_opener(cookie_support,urllib2.HTTPHandler)
urllib2.install_opener(opener)
# 以下是正則表達式部分,意在过滤爬取页面的标签信息
class Tool:
A = re.compile(" \;") #A-J对标签进行匹配
B = re.compile("\
")
C = re.compile("
D = re.compile(">\;")
E = re.compile(""\;")
F = re.compile("&")
G = re.compile("Times\ New\ Roman\"\>")
H = re.compile("\")
I = re.compile("'")
J = re.compile(r'语言.*?face=')
def replace_char(self,x): #将标签内容替换成目标内容
x=self.A.sub(" ",x)
x=self.B.sub("\n\t",x)
x=self.C.sub("
x=self.D.sub(">",x)
x=self.E.sub("\"",x)
x=self.F.sub("&",x)
x=self.G.sub("",x)
x=self.H.sub("",x)
x=self.I.sub("\'",x)
x=self.J.sub("",x)
return x
class HTML_Model:
def __init__(self,u,p):
self.userName = u #username与password等登入信息
self.passWord = p
self.mytool = Tool()
self.page = 1 #从代码页的第一页開始爬
self.postdata = urllib.urlencode({
'userName':self.userName,
'password':self.passWord
})
def GetPage(self):
myUrl = "http://acm.njupt.edu.cn/acmhome/login.do"#请求包括网址和登入表单
req=urllib2.Request(
url = myUrl,
data = self.postdata
)#此次对应为打开这个url
myResponse = urllib2.urlopen(req)#读取页面
myPage = myResponse.read()
flag = True#当flag为true时 继续抓取下一页
while flag:#下一页网址
myUrl="http://acm.njupt.edu.cn/acmhome/showstatus.do?problemId=null&contestId=null&userName="+self.userName+"&result=1&language=&page="+str(self.page)
#print(myUrl)
myResponse = urllib2.urlopen(myUrl)#打开下一页的页面
myPage = myResponse.read()#正則表達式搜索是否还有下一页,更新flag. 原理为在当前页查找, 假设当前页面有提交的代码,则含有相似"G++" 这种标签. 也就是说假设我的代码仅仅有84页,那么则在第85页flag-false,不再訪问86页
st="\
next = re.search(st,myPage)
#print(st)
print(next)
if next:
flag=True
print("True")
else:
flag=False
print("False")
#print(myPage)#找到当前页面下全部题目代码的连接,放在myItem这个list中
myItem = re.findall(r'