依赖于 Python2.7,urllib,urllib2,re
1.简单的静态网页解析：
import urllib2
# 解析网页html源码
response = urllib2.urlopen("http://www.baidu.com")
# 打印网页
print response.read()
2.简单的动态网页解析：
POST方法：
import urllib
import urllib2
# 对发送的请求内容进行编码
values = {"username":"[email protected]","password":"XXXX"}
data = urllib.urlencode(values)
# 请求的网址
url = "https://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn"
# Request请求
request = urllib2.Request(url,data)
# 解析接受的网页并打印
response = urllib2.urlopen(request)
print response.read()
有些网站不会同意程序直接用上面的方式进行访问，如果识别有问题，那么站点根本不会响应，所以为了完全模拟浏览器的工作，我们需要设置一些Headers 的属性。
首先，打开我们的浏览器，调试浏览器F12，我用的是Chrome，打开网络监听，示意如下，比如知乎，点登录之后，我们会发现登陆之后界面都变化了，出现一个新的界面，实质上这个页面包含了许许多多的内容，这些内容也不是一次性就加载完成的，实质上是执行了好多次请求，一般是首先请求HTML文件，然后加载JS，CSS 等等，经过多次请求之后，网页的骨架和肌肉全了，整个网页的效果也就出来了。
通过检查network中请求的headers，设置我们爬虫的headers。
3.设置带有headers的POST请求
import urllib
import urllib2
url = 'http://www.server.com/login'
# 设置headers
user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'
values = {'username' : 'cqc', 'password' : 'XXXX' }
headers = { 'User-Agent' : 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)' ,
'Referer':'http://www.zhihu.com/articles' }
data = urllib.urlencode(values)
request = urllib2.Request(url, data, headers)
response = urllib2.urlopen(request)
page = response.read()
urllib2 默认会使用环境变量 http_proxy 来设置 HTTP Proxy。假如一个网站它会检测某一段时间某个IP 的访问次数，如果访问次数过多，它会禁止你的访问。所以你可以设置一些代理服务器来帮助你做工作，每隔一段时间换一个代理。
4.设置代理访问
import urllib2
enable_proxy = True
proxy_handler = urllib2.ProxyHandler({"http" : 'http://some-proxy.com:8080'})
null_proxy_handler = urllib2.ProxyHandler({})
if enable_proxy:
opener = urllib2.build_opener(proxy_handler)
else:
opener = urllib2.build_opener(null_proxy_handler)
urllib2.install_opener(opener)
5.异常处理：
import urllib2
req = urllib2.Request('http://blog.csdn.net/cqcre')
try:
urllib2.urlopen(req)
except urllib2.HTTPError, e:
print e.code
print e.reason
在此，HTTPError是URLError的子类。
100：继续 客户端应当继续发送请求。客户端应当继续发送请求的剩余部分，或者如果请求已经完成，忽略这个响应。
101： 转换协议 在发送完这个响应最后的空行后，服务器将会切换到在Upgrade 消息头中定义的那些协议。只有在切换新的协议更有好处的时候才应该采取类似措施。
102：继续处理 由WebDAV（RFC 2518）扩展的状态码，代表处理将被继续执行。
200：请求成功 处理方式：获得响应的内容，进行处理
201：请求完成，结果是创建了新资源。新创建资源的URI可在响应的实体中得到 处理方式：爬虫中不会遇到
202：请求被接受，但处理尚未完成 处理方式：阻塞等待
204：服务器端已经实现了请求，但是没有返回新的信 息。如果客户是用户代理，则无须为此更新自身的文档视图。 处理方式：丢弃
300：该状态码不被HTTP/1.0的应用程序直接使用， 只是作为3XX类型回应的默认解释。存在多个可用的被请求资源。 处理方式：若程序中能够处理，则进行进一步处理，如果程序中不能处理，则丢弃
301：请求到的资源都会分配一个永久的URL，这样就可以在将来通过该URL来访问此资源 处理方式：重定向到分配的URL
302：请求到的资源在一个不同的URL处临时保存 处理方式：重定向到临时的URL
304：请求的资源未更新 处理方式：丢弃
400：非法请求 处理方式：丢弃
401：未授权 处理方式：丢弃
403：禁止 处理方式：丢弃
404：没有找到 处理方式：丢弃
500：服务器内部错误 服务器遇到了一个未曾预料的状况，导致了它无法完成对请求的处理。一般来说，这个问题都会在服务器端的源代码出现错误时出现。
501：服务器无法识别 服务器不支持当前请求所需要的某个功能。当服务器无法识别请求的方法，并且无法支持其对任何资源的请求。
502：错误网关 作为网关或者代理工作的服务器尝试执行请求时，从上游服务器接收到无效的响应。
503：服务出错 由于临时的服务器维护或者过载，服务器当前无法处理请求。这个状况是临时的，并且将在一段时间以后恢复。
6.爬虫实例：
从https://data.csail.mit.edu/graphics/fivek/下载Expert E的所有图片
# -*- coding:utf-8 -*-
import re
import os
import urllib
import urllib2
class Spider(object):
def __init__(self, url, outdir='.', headers=None):
self.url = url
self.headers = headers
self.outdir = outdir
def download_img(self):
try:
html = urllib2.urlopen(self.url)
page = html.read().decode('utf8')
pattern = re.compile('img\/tiff16_e.*tif')
list = re.findall(pattern, page)
print 'Ready to save {} images.'.format(len(list))
for idx, item in enumerate(list):
self.saveImg(item)
print 'Save Completion:No.{} image {}.'.format(idx, os.path.basename(item))
except urllib2.HTTPError, e:
print 'Error', e.code, ':', e.reason
def saveImg(self, imageURL, item):
imageURL=self.url + imageURL
fileName = os.path.basename(item)
fileName = self.outdir + '/' + fileName
urllib.urlretrieve(imageURL, fileName)
# 使用write写入图片
# u = urllib2.urlopen(imageURL)
# data = u.read()
# f = open(self.outdir + '/' + fileName, 'wb')
# f.write(data)
# # time.sleep(7)
# f.close()
def run(self):
self.download_img()
if __name__ == '__main__':
sp = Spider('https://data.csail.mit.edu/graphics/fivek/')
sp.run()