python的爬虫库_python做爬虫常用库

python做爬虫常用库

一、总结

一句话总结：

urllib：一系列用于操作URL的功能。

requests：基于 urllib 编写的，阻塞式 HTTP 请求库，发出一个请求，一直等待服务器响应后，程序才能进行下一步处理。

selenium：自动化测试工具。一个调用浏览器的 driver，通过这个库你可以直接调用浏览器完成某些操作，比如输入验证码。

aiohttp：基于 asyncio 实现的 HTTP 框架。异步操作借助于 async/await 关键字，使用异步库进行数据抓取，可以大大提高效率。

二、python做爬虫常用库

转自或参考：Python 网络爬虫的常用库汇总 - 实验楼 - 博客园

https://www.cnblogs.com/shiyanlou/p/11504767.html

爬虫的编程语言有不少,但 Python 绝对是其中的主流之一。下面就为大家介绍下 Python 在编写网络爬虫常常用到的一些库。

请求库：实现 HTTP 请求操作

urllib：一系列用于操作URL的功能。

requests：基于 urllib 编写的，阻塞式 HTTP 请求库，发出一个请求，一直等待服务器响应后，程序才能进行下一步处理。

selenium：自动化测试工具。一个调用浏览器的 driver，通过这个库你可以直接调用浏览器完成某些操作，比如输入验证码。

aiohttp：基于 asyncio 实现的 HTTP 框架。异步操作借助于 async/await 关键字，使用