Python 使用urllib和urllib2模块爬取页面

使用urllib和urllib2模块。

简单的下拉一个网页

import urllib2
 
response = urllib2.urlopen("http://120.26.45.230/dis/forum.php")
print response.read()

urlopen一般接受三个参数,url、date、timeout

• url:请求的 URL
• data:访问 URL 时要传送的数据，默认是none
• timeout:这是超时时间，默认是socket._GLOBAL_DEFAULT_TIMEOUT

构造 Request:

和上边运行结果一样，中间多了一个request对象，逻辑上更清晰

import urllib2

request = urllib2.Request("http://120.26.45.230/dis/forum.php")
response = urllib2.urlopen(request)
print response.read()

在服务器上看nginx 的访问日志是：

120.26.42.23 - - [29/Jun/2016:17:30:58 +0800] "GET /dis/forum.php HTTP/1.1" 200 12964 "-" "Python-urllib/2.7"

POST、GET 数据传送

大部分网站是动态页面，需要动态传递参数，如登录网站的时候。

数据传送分为POST和GET两种方式，两种方式有什么区别呢？

最重要的区别是GET方式是直接以链接形式访问，链接中包含了所有的参数，当然如果包含了密码的话是一种不安全的选择，不过你可以直观地看到自己提交了什么内容。POST则不会在网址上显示所有的参数，不过如果你想直接查看提交了什么就不太方便了，大家可以酌情选择。

POST 方式

下边方式只是介绍 POST 和 GET 方式，可能会被屏蔽掉，因为没有 headers 信息

import urllib
import urllib2

values = {"username":"[email protected]","password":"XXXX"}
data = urllib.urlencode(values) 
url = "https://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn"
request = urllib2.Request(url,data)
response = urllib2.urlopen(request)
print response.read()

GET 方式

import urllib
import urllib2

values={}
values['username'] = "[email protected]"
values['password']="XXXX"
data = urllib.urlencode(values) 
url = "http://passport.csdn.net/account/login"
geturl = url + "?"+data
request = urllib2.Request(geturl)
response = urllib2.urlopen(request)
print response.read()

设置 Headers

有些网站会有安全策略，会过滤 Headers，比如上边的访问肯定会被屏蔽。

120.26.42.23 - - [29/Jun/2016:17:30:58 +0800] "GET /dis/forum.php HTTP/1.1" 200 12964 "-" "Python-urllib/2.7"

设置 headers 中的 agent。

#!/usr/bin/env python
#coding=utf-8

import urllib
import urllib2

# 指定访问的 url 地址
url = "http://120.26.45.230/dis/forum.php"

# 设置头信息中的请求agent
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'

# 用户名和密码，如果不用可以省略
values = {'username':'admin','password':'zhaimi'}

# User-Agent 设置agent 信息，Referer 来对付防盗链
headers = {'User-Agent':user_agent,'Referer':'http://www.zhihu.com/articles'}

# 利用urllib的urlencode方法将字典编码
data = urllib.urlencode(values)

# 请求信息，如果不用密码和用户名，可以改成request = urllib2.Request(url,"",headers)
request = urllib2.Request(url,data,headers)
response = urllib2.urlopen(request)
print response.read()

Proxy 代理的设置

import urllib2
enable_proxy = True
proxy_handler = urllib2.ProxyHandler({"http" : 'http://some-proxy.com:8080'})
null_proxy_handler = urllib2.ProxyHandler({})
if enable_proxy:
    opener = urllib2.build_opener(proxy_handler)
else:
    opener = urllib2.build_opener(null_proxy_handler)
urllib2.install_opener(opener)

下载，比如一个图片，或者一个其他的文件

使用urllib.urlretrieve方法.

import urllib

url = "http://nginx.org/download/nginx-1.8.1.tar.gz"
urllib.urlretrieve(url,"nginx.tar.gz")