python 基于aiohttp的异步爬虫实战

钢铁知识库,一个学习python爬虫、数据分析的知识库。人生苦短,快用python。 之前我们使用requests库爬取某个站点的时候,每发出一个请求,程序必须等待网站返回响应才能接着运行,而在整个爬虫过程中,整个爬虫程序是一直在等待的,实际上没有做任何事情。 像这种占用磁盘/内存IO、网络IO的任

你可能感兴趣的:(python 基于aiohttp的异步爬虫实战)