Python爬虫——简单网页抓取（实战案例）小白篇_python爬虫爬取网页数据

**推荐使用request()来进行访问的，因为使用request()来进行访问有两点好处：**


* 可以直接进行post请求，不需要将 data参数转换成JSON格式
* 直接进行GET请求，不需要自己拼接url参数


![](https://img-blog.csdnimg.cn/img_convert/13e1a324bad638e4f3af07d953d27f45.jpeg)


如果只进行基本的爬虫网页抓取，那么urllib足够用了。


**Requests库**


requests库是一个常用于http请求的模块，可以方便的对网页进行爬取，是学习python爬虫比较好的http请求模块，比urllib库更加简洁，并且自带json解析器。


掌握了它，Cookies、登录验证、代理设置等操作都不是事儿。


**1）request提供的方法**


![](https://img-blog.csdnimg.cn/img_convert/1de0d2f3c24cffb6934617e831ce93ed.jpeg)

get(url,params,**kwargs)

* url: 需要爬取的网站地址。
* params: url中的额外参数，字典或者字节流格式，可选。
* \*\*kwargs : 控制访问的参数

post(url, data=None, json=None, **kwargs):

* url: 需要爬取的网站地址。
* data:传递的内容。
* json:json格式传递的内容
* \*\*kwargs : 控制访问的参数

request(method, url, **kwargs):

* method:需要使用的方法
* url：爬行的路径
* \*\*kwargs : 控制访问的参数


**2）控制访问的参数**


![](https://img-blog.csdnimg.cn/img_convert/61b5ee52b4a117ef2ba8606f94460a9d.jpeg)


通过上面方法返回的是一个Response对象，该对象有以下这些属性和方法：


![](https://img-blog.csdnimg.cn/img_convert/3e46f8f17371cf72c4a06b36cee3f598.jpeg)


**requests的优势在于使用简单，相同一个功能，用requests实现起来代码量要少很多。**


戳这里可获取相关的Python基础学习资料哦↓↓↓


**下面的所有资料我全部打包好了并且上传至CSDN官方，需要的点击获取！**


### 

[ [Python零基础2023入门资料包] ]( )


![](https://img-blog.csdnimg.cn/img_convert/bdd135d7ee7b7cd44d7997fbd47272f4.jpeg)


**三、开发工具的掌握**


* PyCharm – 交互很好的Python一款IDE；
* Fiddler – 网页请求监控工具，我们可以使用它来了解用户触发网页请求后发生的详细步骤；


**（1）PyCharm**


PyCharm是一款著名的Python IDE开发工具，拥有一整套可以帮助用户在使用Python语言开发时提高其效率的工具。


**具备基本的调试、语法高亮、Project管理、代码跳转、智能提示、自动完成、单元测试、版本控制。**


**此外，该IDE提供了一些高级功能，以用于支持Django框架下的专业Web开发。**


pycharm官网分为两个版本：


第一个版本是Professional(专业版本)，这个版本功能更加强大，主要是为Python和web开发者而准备，是需要付费的。


第二个版本是社区版&