Python 3 Urllib 库 简介

Python 3 Urllib 库 常用方法简介

1.urllib.request

  1）urllib.request.urlopen(url) 用于打开一个网址,
    返回的是一个对象，此对象可以调用geturl()获取重定向的网址;
    info()获取网页的meta信息;getcode()获取HTTP状态码

实例代码：

import urllib.request

url = "https://www.baidu.com"
request = urllib.request.urlopen(url)
print(request)
print(request.geturl())
print(request.info())
print(request.getcode())

运行结果：

2.urllib.error

  1）exception urllib.urllib.error.URLError URL异常处理，
    reason 可以报出错误原因
  2)exception urllib.urllib.error.HTTPError  HTTP异常处理，
    code 返回错误代码，reason返回错误原因，headers返回headers信息
  3)exception urllib.urllib.error.ContentTooShortError(msg,content)

示例代码：

import urllib.request

url = "http://www.cache-cache.cn/store-finder/1"
try:
    req = urllib.request.urlopen(url)
except urllib.error.URLError as e:
    print(e.reason)
    print(e.code)
    print(e.headers)

运行结果：

3.urllib.parse

 1）urllib.parse.urlparse(url)对url进行解析，得到scheme,netloc,path,params,query,fragment
 2)urllib.parse.urljoin(base, url, allow_fragments=True)对url进行拼接

示例代码：

from urllib.parse import urljoin, urlparse

url = urlparse('http://www.cache-cache.cn/store-finder/')
print(url)
print(url.scheme)
print(url.netloc)
print(url.path)

url1 = urljoin('http://www.cache-cache.cn/', 'store-finder/')
url2 = urljoin('http://www.cache-cache.cn/', '//store-finder/')
print(url1)
print(url2)

运行结果：