python爬虫用多线程还是多进程_爬虫采用多线程还是多进程好

爬虫可以实现数据的采集，如果说仅是采集一些小数据，对爬虫的要求并不高，但是如果需要采集大量的数据，那么爬虫可以采用多线程或者多进程，究竟是使用哪一种比较好呢？

其实对于爬虫采用多线程还是多进程好，这需要根据具体的环境分析的，下面小编介绍一些关于爬虫的知识。

一、多线程爬虫的优缺点

1.优势

有效利用CPU时间，极大减小下载出错、阻塞对抓取速度的影响，整体上提高下载的速度，对于没有反爬虫限制的网站，下载速度可以多倍增加。

2.缺点

对于有反爬的网站，速度提升有限，提高了复杂度，对编码要求更高，线程越多，每个线程获得的时间就越少，同时线程切换更频繁也带来额外开销，线程之间资源竞争更激烈。

二、多进程爬虫的优缺点

相对于多线程，多进程爬虫更重，更慢，但也可靠。

多进程爬虫可以认为是分布式爬虫的基础，在单机上也可以用。因为一般大型的网站的服务器都是采用分布式部署的，可以采用多进程同时在不同的服务器器上进行爬取。

三、爬虫采用多线程还是多进程好

进程与线程是明显不同的，因为PYTHON本身由于GIL的关系，也就是它本质一个PYTHON进程只可能有一个线程，不管说的是多少线程都是模拟出来的多线程，所以，你真要快速，这个要用多进程来处理。

在python环境下，多进程稍稍比多线程好实现好理解一点。

因为爬虫大多数都是运行在linux内核的服务器上面，而在linux操作系统下，多进程要比多线程更加合适，因为调度开销和多线程差不多，但是进程性能更好。

如果在windows系统下跑爬虫的话，建议使用框架或者使用多线程。

爬虫毕竟不是服务器交互，没有人会开1k的线程去跑这个，所以一般情况下我们把自己爬虫的效率提升几倍即可。

从上文可知，不管爬虫采用多线程还是多进程好，都有自己的优缺点，可以尝试多实战一些案例，具体分析。