python爬虫中,如果想要需要并发http请求,一般都是使用requests。但是requests 是同步的库,如果想异步的话需要引入 aiohttp。aiohttp是一个基于asyncio实现的HTTP框架,可是实现异步请求,本文介绍Python3爬虫利器aiohttp的安装过程。
1、什么是aiohttp?
asyncio可以实现单线程并发IO操作,是Python中常用的异步处理模块。
aiohttp是一个基于asyncio实现的HTTP框架,它可以帮助我们异步地实现HTTP请求,从而使得我们的程序效率大大提高。
2、相关链接
官方文档:http://aiohttp.readthedocs.io/en/stable
GitHub:https://github.com/aio-libs/aiohttp
PyPI:https://pypi.python.org/pypi/aiohttp
3、pip安装
pip install aiohttp[speedups]
4、验证安装
安装完成之后,可以在Python命令行下测试:
C:\Users\inwsy>python
Python 3.7.4 (tags/v3.7.4:e09359112e, Jul 8 2019, 20:34:20) [MSC v.1916 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> import aiohttp
没报错就安装成功了。
以上就是Python3爬虫利器aiohttp的安装介绍,希能对你有所帮助哟~
更多python爬虫利器推荐:python爬虫利器教程。