爬虫入门模块: requests库
> 众所周知，学好requests库模块，就能解决爬虫一半的问题,下面让我们一起来看一看这个模块的使用实例
- requests模块: python中基于网络请求的模块，模拟浏览器发请求
- requests(模块的使用流程):
指定url、发起请求、获取响应数据、持久化存储
- 先安装requests模块，在命令行输入: pip install requests
一: 需求、爬取搜狗首页的页面数据
```python
# 需求: 爬取搜狗首页的页面数据
# 'https://www.sogou.com/'
import requests
if __name__ == '__main__':
# 指定url
url = 'https://www.sogou.com/'
# 发起请求
response = requests.get(url=url)
# 获取响应数据
content = response.text
print(content)
# 持久化存储
with open('sogou.html', 'w', encoding='utf-8') as fp:
fp.write(content)
print('爬取数据结束！！')
```
二: 实现简单的爬取你想要查询内容的网页
ua伪装: User-Agent(请求载体的身份标识),总体来说就是让你爬取的网站服务器将你视为正常浏览器访问而不是爬虫程序
```python
# 实现简单的爬取你想要查询内容的网页
import requests
if __name__ == '__main__':
url = 'https://www.sogou.com/web'
key = str(input('输入您想要查询的内容: '))
# ua伪装
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.18362'
}
# 处理url携带的参数: 封装到字典中
param = {
'query': key
}
# 发送携带参数的url,并且加入了headers实现ua伪装
response = requests.get(url=url, params=param, headers=headers)
content = response.text
search_result = key + '.html'
with open(search_result, 'w', encoding='utf-8') as fp:
fp.write(content)
print(search_result, '查询页面保存成功: ')
```
- 以上则是requests库的简单使用，喜欢的小伙伴可以将代码拿走使用哦！
- **在这个星球上，你很重要，请珍惜你的珍贵** ~~~~夜斗小神社