Python 爬虫之Urllib基本用法

urllib库中主要含有网络请求的方法，也是爬虫必备的基础方法。

urllib2.urlopen(url[, data[, timeout[, cafile[, capath[, cadefault[, context]]]]])

其中url是必须的参数。data是请求体(在post请求中需要使用)，timeout是超时时间。

使用urllib库写成第一个爬虫文件

import urllib2

request = urllib2.Request("http://www.baidu.com")
response = urllib2.urlopen(request)
print response.read()

保存为firstTest.py 后，在命令行中运行

python firstTest.py

post请求的示例

value = {"key":"value","key2":"value2"}
data = urllib.urlencode(value)
request = urllib2.Request("http://www.baidu.com",data)

其中value便是post请求中的请求体了。

get求请求示例

value = {"key":"value","key2":"value2"}
data = urllib.urlencode(value)
url = "http://www.baidu.com" + "?" +data
request = urllib2.Request(url)

只需要拼接地址即可。