requests模块
urlib模块：比较古老，其封装的相关爬虫的操作是比较麻烦，复杂的
requests模块：用法比较简洁并且很高效
requests模块：python是原生的一款基于网络请求的模块，功能非常强大，简单便携，效率极高。
作用：模拟浏览器发请求。
如何使用：
- 指定url
- 基于requests模块发起请求
- 获取响应对象中的数据值
- 持久化存储
环境安装：
pip install requests
入手采集百度首页
import requests
if __name__ == '__main__':
# 指定url
url = "https://www.baidu.com/"
# 发起请求
response = requests.get(url=url)
# 获取请求 返回字符串
info = response.text
# 持久化数据
with open("./数据存储/baidu.html",'w',encoding='utf-8') as fp:
fp.write(info);
print("爬取数据结束")
案例
1、UA检测伪装
简易网页采集器（指定关键字搜索保存）
import requests
#UA伪装：User-Agent 请求载体的身份标识
# UA伪装: 门户网站的服务器会检测对应请求的载体身份标识
# 如果检测到请求的载体身份标识为某一款浏览器，
# 说明该请求是一个正常请求，但是如果检测到请求的载体身份标识不是基于某一款浏览器的，则表示该请求为不正常的请求
# 服务器端很可能就会拒绝该次请求。
if __name__ == '__main__':
getInfo = "电影"
#UA伪装：将对应的User-Agent封装到一个字典中
headers = {
'User-Agent' : "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Mobile Safari/537.36"
}
# 指定url
url = "https://www.sogou.com/web"
param = {
'wd':getInfo
}
# 发起请求
response = requests.get(url=url,params=param,headers=headers)
# 获取请求 返回字符串
info = response.text
# 持久化数据
with open("./数据存储/"+getInfo+".html",'w',encoding='utf-8') as fp:
fp.write(info);
print("爬取数据结束")
2、破解百度翻译
post请求（携带了参数）
响应数据是一组json数据
import json
import requests
# 从response headers信息中的content-type中我们可以知道我们响应得到的数据类型
# python操作json文件通过了两种方法：
# load()：用于读取json文件；
# dump()：用于写入json文件
if __name__ == '__main__':
kw = input("请输入你想要的翻译结果：")
post_url = "https://fanyi.baidu.com/sug"
header = {
'User-Agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Mobile Safari/537.36'
}
data ={
'kw':kw
}
#请求发送
response = requests.post(url=post_url,data=data,headers=header)
#获取响应数据，如果确定响应数据是json类型，才可以使用json()
dict_info = response.json()
##存储文件 将字典数据写入到json文件中
file = open('./数据存储/'+kw+'.json','w',encoding='utf-8');
json.dump(dict_info,fp = file,ensure_ascii=False)
print("爬虫数据完成")
3、豆瓣电影抓取
import json
import requests
if __name__ == '__main__':
url = "https://movie.douban.com/j/chart/top_list"
header = {
'User-Agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Mobile Safari/537.36'
}
param ={
'type': '24',
'interval_id': '100:90',
'action': 'None',
'start': '0', # 从第几部开始取
'limit': '100' #一次取多少数据
}
#请求发送
response = requests.get(url=url,params=param,headers=header)
#获取响应数据，如果确定响应数据是json类型，才可以使用json()
dict_info = response.json()
##存储文件 将字典数据写入到json文件中
file = open('./数据存储/豆瓣喜剧电影信息.json','w',encoding='utf-8');
json.dump(dict_info,fp = file,ensure_ascii=False)
print("爬虫数据完成")
雨果亚马逊选品采集
# 项目目的爬取雨国跨境亚马逊选品信息
# 该网页相关数据包括：产品数据信息。。#最终需要爬取每个产品的详细信息（详情页）---动态加载出的页面数据（不可直接由当前页面的url解析出来）
# 爬取思路：先爬取主页数据再定位到主页各产品名称对应的id（通过首页爬取每个产品对应的产品id） 再对每个详情页发请求
# 验证：用XHR来捕获动态数据包查看动态数据的数据结构与类型
import requests
if __name__ == "__main__":
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36'
} # 反反爬机制：伪装成用户通过浏览器登陆
url = 'https://www.cifnews.com/supply/ajax/product/search'
# 参数的封装
for page in range(1, 6):
page = str(page)
params = {
'page': page, #第一页
'size': '40'
}
# 将发请求与获取响应数据合并起来 获取到的是带有企业id的字典类型的json数据
json_ids = requests.get(url=url, headers=headers,
params=params).json() # 对url发起访问请求；通过post（）方法获取请求页面信息，以.json的数据形式。
id_list = [] # 存储商品的id
all_data_list = [] # 存储所有的商品详情数据
# 批量获取不同产品的id值（企业详情页url=原url+产品id）统一的url+不同的参数
#
# # 该字典的值是一个列表（列表中的每一个小字典对应一个产品信息）
for dic in json_ids['data']: # 遍历列表中的每一个字典并取出id数据
id_list.append(dic['productCode'])
print(id_list)
# 获取商品详情数据 这个地址 每个产品都是写死一个页面数据，所以要保存 需要进行数据处理
for id in id_list:
post_url = 'https://www.cifnews.com/ccee/product/'+id
##采集的是每个产品信息的网页数据，之后需要进行处理
detail_info = requests.get(url=post_url).text
print(detail_info)
##可以批量将每个产品的详情数据保存在list中
# all_data_list.append(detail_json)
# print(detail_json)
# # 持久化存储all_data_list
# fp = open('./数据存储/亚马孙商品.json', 'w', encoding='utf-8') # 写入并保存数据
# json.dump(all_data_list, fp=fp, ensure_ascii=False)
# print('保存成功')