爬虫之requests模块

实战

实战一：爬取搜狗首页页面的数据

import requests

#step1:指定url
url = 'https://www.sogou.com/'
#step2：发起请求
#get方法会返回一个响应对象
response = requests.get(url=url)
#step3:获取响应数据，text返回的字符串形式的响应数据
page_text=response.text
print(page_text)
#step4:持久化存储
with open('./sogou.html','w',encoding='utf-8') as fp:
	f.write(page_text)
priint('爬取数据结束！！！')

实战二：爬取搜狗指定词条对应的搜索结果页面（简易网页采集器）

User-Agent（请求载体的身份标识）
UA检测：门户网站的服务器会检测对应请求的载体身份标识，如果检测到请求的载体身份标识的为某一款浏览器，说明该请求是一个正常的请求。但是，如果检测到的请求载体身份标识不是某一款浏览器的，则表示该请求为不正常的请求（爬虫），则服务器端就很有可能拒绝该次请求
UA伪装：让爬虫对应的请求载体身份标识伪装成某一款浏览器

import requests 
#UA伪装
headers = {
     
	'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36'
	}
url = 'https://www.sogou.com/web'
#处理url携带的参数：封装到字典中
kw = input('enter a word :')
param = {
     
	'qurey':kw
}
#对指定的url发起的请求，对应的url是携带参数的，并且请求过程中处理了参数
response = requests.get(url=url,params=param,headers=headers)
page_text = response.text
fileName = kw + '.html'
with open(fileName,'w',encoding='utf-8') as fp:
	fp.write(page_text)
print(fileName,'保存成功！！')

实战三：破解百度翻译

import requests
import json
#1.指定url
post_url = 'https://fanyi.baidu.com/sug'
#2.进行UA伪装
headers = {
     
	'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36'
	}
#3.post请求参数处理（同get请求一直）
word = input('enter a word: ')
data = {
     
	'kw':word
	}
#4.请求发送
response = requests.post(url=post_url,data=data,headers = headers)
#5.获取响应数据：json（）方法返回的是obj（如果确认响应数据是json类型，才可以使用json（））
dic_obj = response.json()
print(dic_obj)
#6.持久化存储
fileName = word + '.json'
fp = open(fileName,'w',encoding='utf-8')
json.dump(dic_obj,fp=fp,ensure_ascii = False)
print('over!)

实战四：爬取豆瓣电影分类排行榜

import requests
import json
url = 'https://movie.douban.com/j/chart/top_list'
headers = {
     
	'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36'
	}
param = {
     
		'type': '25',
		'interval_id': '100:90',
		'action': '',
		'start': '0', #从库中的第几部电影去取
		'limit': '20' #一次取出的个数
}
response = requests.get(url=url,headers=headers,params=param)
list_data=response.json()
#持久化存储
fp = open('./douban.json','w',encoding='utf-8)
json.dump(list_data,fp=fp,ensure_ascii=False)
print('over!)

实战五：爬取国家药品监督管理总局中基于中华人民共和国化妆品生产许可证相关数据

http://scxk.nmpa.gov.cn:81/xk/
import requests 
import json
#批量获取不同企业的id值
url = 'http://scxk.nmpa.gov.cn:81/xk/itownet/portalAction.do?method=getXkzsList'
headers = {
     
	'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36'
	}
#参数的封装
id_list =[] #存储企业的id
all_data_list =[] #存储所有的企业详情数据
for page in range(1,6):
	page = atr(page)
	data = {
     
		'on': 'true',
		'page': page,
		'pageSize': 15,
		'productName': '',
		'conditionType': 1,
		'applyname': ''
		'applysn': ''
	}
	json_ids = requests.post(url=url,data=data,headers=headers).json()
	for dic in json_ids['list']:
		id_list.append(dic['ID'])
#获取企业详情页数据
post_url = 'http://scxk.nmpa.gov.cn:81/xk/itownet/portalAction.do?method=getXkzsById'
for id in id_list:
	data = {
     
			'id':id
	}
	detail_json = requests.post(url=url,headers=headers,data=data).json()
	all_data_list.append(detail_json)

#持久化存储
fp = open('./alldata.json','w',encoding='utf-8')
json.dump(all_data_list,fp=fp,ensure_ascii=False)
print('over!')