Python爬虫学习之requests库

目录

一、requests的基本使用

二、get请求

三、post请求

四、代理的使用

五、cookie登录以及验证码图片识别

---

一、requests的基本使用

import requests

url  = 'http://www.baidu.com'

response = requests.get(url = url)

#一个类型和六个属性
#Response类型
#print(type(response))

#设置响应的编码格式
response.encoding = 'utf-8'

#以字符串的形式返回网页源码
#print(response.text)

#返回一个url地址
#print(response.url)

#返回二进制数据
# print(response.content)

#返回响应的状态码
print(response.status_code)

#获取响应头
print(response.headers)

二、get请求

import requests

url = 'http://www.baidu.com/s?'

headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'
}

data = {
    'wd':'北京'
}

#url--请求资源地址  params--参数  kwargs--字典
response = requests.get(url=url,params=data,headers=headers)

content = response.text

print(content)

注: 参数用params传递，参数不需要urlencode编码，不需要请求对象的定制。

三、post请求

import requests

post_url = 'https://fanyi.baidu.com/sug'

headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'
}

data = {
    'kw':'eye'
}

#url--请求对象地址  data--参数  kwargs--字典
response = requests.post(url= post_url,data=data,headers=headers)

content = response.text

解决乱码

import json
#注：这里是新版json，需要用encode('utf-8),不能用encoding='utf-8'
obj = json.loads(content.encode('utf-8'))
print(obj)

注：requests的post请求不需要编解码，post请求的参数是data，不需要请求对象的定制。

四、代理的使用

proxy = {
    'http':'101.251.204.174:8080'
}

response = requests.get(url=url,params=data,headers=headers,proxies=proxy)

五、cookie登录以及验证码图片识别

e.g.自动登录古诗文网站

import requests

#登录页面的url地址
url = 'https://so.gushiwen.cn/user/login.aspx?from=http://so.gushiwen.cn/user/collect.aspx'

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'
}

#获取页面的源码
response = requests.get(url=url,headers=headers)
content = response.text

#解析页面源码  获取__VIEWSTATE  __VIEWSTATEGENERATOR
from bs4 import BeautifulSoup

soup = BeautifulSoup(content,'lxml')

#隐藏域hidden
#获取__VIEWSTATE
viewstate = soup.select('#__VIEWSTATE')[0].attrs.get('value')

#获取__VIEWTATEGENERATOR
viewstategenerator = soup.select('#__VIEWSTATEGENERATOR')[0].attrs.get('value')


#获取验证码图片
code = soup.select('#imgCode')[0].attrs.get('src')
code_url = 'https://so.gushiwen.cn'+code

#requests里的session（）
#通过session的返回值，使请求变成一个对象
session = requests.session()
#验证码的url的内容
response_code = session.get(code_url)
#注意此时要使用二进制数据，因为我们要使用图片的下载
content_code = response_code.content
#wb的模式就是将二进制数据写入文件
with open('code.png','wb') as fp:
    fp.write(content_code)

#获取了验证码之后  下载到本地  然后观察验证码 观察之后 然后在控制台输入这个验证码
real_code = input('请输入验证码:')

#点击登录
url_post = 'https://so.gushiwen.cn/user/login.aspx?from=http%3a%2f%2fso.gushiwen.cn%2fuser%2fcollect.aspx'

data_post = {
    '__VIEWSTATE':'',
    '__VIEWSTATEGENERATOR':'',
    'from':'http://so.gushiwen.cn/user/collect.aspx',
    'email':'[email protected]',
    'pwd':'123456',
    'code':'',
    'denglu':'登录'
}

response_post = session.post(url = url_post,headers=headers,data=data_post)

content_post = response_post.text

with open('gushiwen.html','w',encoding='utf-8') as fp:
    fp.write(content_post)