python爬虫学习2_urlLib基本使用
python爬虫学习2_urlLib基本使用
urlLib库
在urlLib应用在python3.0之后。
常用api里面的方法有：
-
urllib.request模块是用来打开和读取URLs的；
-
urllib.error模块包含一些有urllib.request产生的错误，可以使用try进行捕捉处理；
-
urllib.parse模块包含了一些解析URLs的方法；
-
urllib.robotparser模块用来解析robots.txt文本文件.它提供了一个单独的RobotFileParser类，通过该类提供的can_fetch()方法测试爬虫是否可以下载一个页面。
urllib.request.Request(url, data=None, headers={}, method=None)
url = r'http://www.lagou.com/zhaopin/Python/?labelWords=label'
headers = {
'User-Agent':
r'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
r'Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3',
'Referer': r'http://www.lagou.com/zhaopin/Python/?labelWords=label',
'Connection': 'keep-alive'
}
req = request.Request(url, headers=headers)
page = request.urlopen(req).read()
page = page.decode('utf-8')
用来包装头部的数据：
-
User-Agent ：这个头部可以携带如下几条信息：浏览器名和版本号、操作系统名和版本号、默认语言
-
Referer：可以用来防止盗链，有一些网站图片显示来源http://***.com，就是检查Referer来鉴定的
-
Connection：表示连接状态，记录Session的状态。
返回数据处理：
urllib.request请求之后的数据是返回的网页数据，它的处理可以有：
1、decode可以这个api处理为我们可读的数据：
response = request.urlopen("http://www.fanyi.baidu.com/")
html = response.read()
html = html.decode("utf-8")
2、geturl()返回的是一个url的字符串；
3、info()返回的是一些meta标记的元信息，包括一些服务器的信息；
4、getcode()返回的是HTTP的状态码，如果返回200表示请求成功。
if __name__ == "__main__":
req = request.Request("http://fanyi.baidu.com/")
response = request.urlopen(req)
print("geturl打印信息：%s"%(response.geturl()))
print('**********************************************')
print("info打印信息：%s"%(response.info()))
print('**********************************************')
print("getcode打印信息：%s"%(response.getcode()))
5、read() , readline() ,readlines() , fileno() , close() ：对HTTPResponse类型数据进行操作
小demo
百度翻译：
# -*- coding: UTF-8 -*-
from urllib import request
from urllib import parse
import json
if __name__ == "__main__":
# 对应上图的Request URL
request_url = "http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule"
# 创建Form Data字典，存储上图中的Form Data
Form_Data = {}
Form_Data['i'] = 'Jack'
Form_Data['from'] = 'AUTO'
Form_Data['to'] = 'AUTO'
Form_Data['smartresult'] = 'dict'
Form_Data['client'] = 'fanyideskweb'
Form_Data['doctype'] = 'json'
Form_Data['version'] = '2.1'
Form_Data['keyfrom'] = 'fanyi.web'
Form_Data['action'] = 'FY_BY_REALTIME'
Form_Data['typoResult'] = 'false'
# 使用urlencode方法转换标准格式
data = parse.urlencode(Form_Data).encode('utf-8')
# 传递Request对象和转换完格式的数据
response = request.urlopen(request_url, data)
# 读取信息并解码
html = response.read().decode('utf-8')
# 使用json
translate_results = json.loads(html)
# 找到翻译结果
translate_result = translate_results["translateResult"][0][0]['tgt']
# 打印翻译结果
print("翻译的结果是 %s" % translate_result)