爬取网页源码
以网页百度为例爬取网页源码：百度网页
1.先载入包requests
import requests
2.定义表头
headers ={
"Accept":"application/json,textjavascript,*/*;q=0.01",
"Accept-Language":"zh-CN,zh;q=0.9",
"Content-Type":"application/x-www-form-urlencoded;charset = UTF-8",
"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.106 Safari/537.36"}
此块可以在网页中获取
获取步骤如下：
①打开百度网页按F12再按ctrl+F5刷新，点击network之后再按name中的网址
②找到request headers部分即可找到此部分内容：
3.爬取源码
res = requests.get(url = "https://www.baidu.com/",headers = headers)
res.encoding = res.apparent_encoding #加载与网页一样的编码方式
print(res.text)
ok，大公告成！！