urllib模块介绍和用法

urllib常用的方法有，URLopen，parse，request.error。

下面我们来简单说一下它们的用法

urllib：就是向网页发起请求，至于怎么发起我们就直接上代码了

#首先我们导入我们需要的包
import urllib.urlopen
#我们定义一个url
#输入我们要访问的网址
url = 'www.badu.com'
#这里我们要设置一个UA
haer = {
      'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.6801.400 QQBrowser/10.3.2928.400'
}
#这里是吧参数传给urlopen让他知道我们要访问什么网址,返回一个request
request = urllib.request.Request(url=url,haders=haer)
#这一步是用urlopen向我们定义的url发起请求
response = urllib.request.urlopen(request)
if response.status==200:
    #这我们用到lparse模块的解码
     ym = response.read().decode()
     print(ym)
#这就urlopen的用法了

下面我们简单说一下怎么自定义opener来使用代理来发起请求

#首先我们先导入我们需要的包
from urllib import request,error
#构建多个代理
proxy = {
'https':'182.111.64.7:41766',
'https':'111.194.96.166:8118',
}
 #使用我们的代理发起请求

proxy_handler = request.ProxyHandler(
proxies=proxy
)
#实例化一个opener对象
opener = request.build_opener(proxy_handler)
#定义url
url = 'http://www.baidu.com/'
#使用我们刚才我们的自定义发起请求
response = opener.open(request)
if response.status==200:

     ym = response.read().decode()
     print(ym)