爬虫(1)—— requests模块

本系列为python爬虫的日常记录

get请求

get请求为最基本的请求，模拟网络发送请求

import requests

headers = {
    'User-Agent':
        'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36'
}
r = requests.get(url='https://www.douban.com/', headers=headers)
print(r)

# 

传参

kw = {'wd':'bread'}
r = requests.get(url='https://www.douban.com/', 
params=kw, headers=headers)

查看返回值

# 查看响应内容
# print(r.text)  # 如果出现乱码，则是编解码格式不匹配

# 手动设置编码格式
r.encoding = 'utf-8'
print(r.text)  # 查看返回的 HTML 页面、文本数据或其他非二进制内容

print(r.status_code)
print(r.content)  # 返回字节流数据，以字节形式获取响应的内容（例如处理图像或文件）
print(r.json())  # 将JSON 格式的数据其解析为 Python 对象（如字典或列表）

post请求(data参数)

# 当使用 requests 模块发送 POST 请求时，可以向服务器发送数据，并在请求体中传递参数
url = 'http://httpbin.org/post'
data = {'key1': 'value1', 'key2': 'value2'}

r = requests.post(url, data=data, headers=headers)
# r = requests.post(url, json=data, headers=headers)  
# json参数会自动将字典数据转换为JSON格式，并设置正确的 Content-Type

r.encoding = 'utf-8'
print(r.text)