【day5】python/Urllib库。

Urllib：Python内置HTTP请求库，包括urllib.request(请求模块),urllib.error（异常处理模块）,urllib,parse（url解析模块）,

urllib.robotparse（robot.txt解析模块，判断是否可爬取）。

urlopen(url, data, timeout)

第一个参数url即为URL，第二个参数data是访问URL时要传送的数据，第三个timeout是设置超时时间。
第二三个参数是可以不传送的，data默认为空None，timeout默认为 socket._GLOBAL_DEFAULT_TIMEOUT。
第一个参数URL是必须要传送的，在这个例子里面我们传送了百度的URL，执行urlopen方法之后，返回一个response对象，返回信息便保存在这里面。

get方法

import urllib.request
response = urllib.request.urlopen('http://www.baidu.com')
print(response.read().decodoe('utf-8')

Post方式


import urllib.request
values = {"username":"[email protected]","password":"XXXX"}
data = urllib.urlencode(values) 
url = "https://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn"
request = urllib.request.Request(url,data)
response = urllib.request.urlopen(request)
print (response.read())

import urllib.request
response = urllib.request.urlopen('http://httpbin.org/get',timeout=1)
print(response.read())

响应类型

import urllib.request
response = urllib.request.urlopen('http://httpbin.org')
print(type(response))

状态码，响应头

import urllib.request
response = urllib.request.urlopen('http://httpbin.org')
print(response.status)
print(response.getheaders())
print(response.getheader('Server'))

代理

import urllib.requset
httpproxy_handler = urllib.requset.ProxyHandler({"http" : "124.88.67.81:80"})
opener = urllib.request.build_opener(httpproxy_handler)
response = opener.open('http://httpbin.org/get')
print response.read()

Cookies:

1）获取Cookie保存到变量

import urllib.request
import http.cookiejar

URL_ROOT = r'http://d.weibo.com/'

cookie = http.cookiejar.CookieJar()  # 声明一个CookieJar对象实例来保存cookie
handler = urllib.request.HTTPCookieProcessor(cookie)  # 利用urllib2库的HTTPCookieProcessor对象来创建cookie处理器
opener = urllib.request.build_opener(handler)  # 通过handler来构建opener

response = opener.open(URL_ROOT)  # 此处的open方法同urllib2的urlopen方法，也可以传入request

for item in cookie:
    print('Name = ' + item.name)
    print('Value = ' + item.value)

2）保存Cookie到文件

参照：

https://blog.csdn.net/pipisorry/article/details/47905781