【爬取百度首页】-将整个html源码保存-headers使用

一、网页分析

爬取这个网页，将整个网页的html源码保存到本地

二、代码实现与步骤

import requests
#1、确定url
base_url = 'https://www.baidu.com/'
#2、准备参数
#params字典
#请求头字典
headers = {
     
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36',
}
#3、发送请求获取响应
#问题：获取到的响应内容不正确。
#你发送的请求就是有问题的。
#客户端请求：请求行，请求头，空行，请求数据。
response = requests.get(base_url,headers = headers)
print(response.content.decode('utf-8'))

三、结果分析

能够得到与百度首页一样的源码

如果不适用headers，则获取的内容错误

header

user-agent 客户端标识，伪装成浏览器