【爬虫】学习笔记 Day 2

Write In Front
个人主页： 令夏二十三
欢迎各位→点赞 + 收藏 ⭐ + 留言
系列专栏： 爬虫
总结：希望你看完之后，能对你有所帮助，不足请指正！共同学习交流

文章目录

---

一、requests模块

1. 介绍

requests模块，是Python中原生的一款基于网络请求的模块，功能非常强大，简单便捷，效率极高。

2. 作用

模拟浏览器请求。

3. 使用方法

该模块的使用方法即为其编码流程：

• 指定url

• 发起请求

• 获取响应数据

• 持久化存储

4. 环境安装

交互模式下安装

1. 用win+R打开界面，输入cmd开启交互模式。

2. 输入下面指令：

pip install requests

PyCharm中安装

文件→项目→Python解释器 + →搜索requests→安装

5. 实战编码

需求：爬取搜狗首页的页面数据

代码：

#需求：爬取搜狗首页的页面数据
import requests
if __name__ == "__main__":
    #step 1：指定url
    url='https://www.sogou.com/'
    #step 2：发起请求 根据参数1对url为地址的网站发起请求
    #get方法会返回一个响应对象
    response = requests.get(url=url)
    #step 3：获取响应数据，text返回的是字符串形式的响应数据
    page_text = response.text
    print(page_text)
    #step 4：持久化存储
    with open('./sogou.html','w',encoding='utf-8') as fp:
        fp.write(page_text)
    print('爬取数据结束！')

二、巩固深入案例

三、综合练习