【爬取百度首页】-将整个html源码保存-headers使用

文章目录

  • 一、网页分析
  • 二、代码实现与步骤
  • 三、结果分析

一、网页分析

爬取这个网页,将整个网页的html源码保存到本地
【爬取百度首页】-将整个html源码保存-headers使用_第1张图片

二、代码实现与步骤

import requests
#1、确定url
base_url = 'https://www.baidu.com/'
#2、准备参数
#params字典
#请求头字典
headers = {
     
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36',
}
#3、发送请求获取响应
#问题:获取到的响应内容不正确。
#你发送的请求就是有问题的。
#客户端请求:请求行,请求头,空行,请求数据。
response = requests.get(base_url,headers = headers)
print(response.content.decode('utf-8'))

三、结果分析

能够得到与百度首页一样的源码
在这里插入图片描述

如果不适用headers,则获取的内容错误

header

user-agent 客户端标识,伪装成浏览器

你可能感兴趣的:(Python爬虫,python,http,ajax,数据分析)