python多线程_Python实现多线程爬虫

最近在写爬虫程序爬取亚马逊上的评论信息，因此也自学了很多爬虫相关的知识，其实网络上已经有很多基于Python的入门爬虫程序了，所以学习起来比较方便，唯独那个多线程爬虫一直都学的不是很明白，所以就写下这篇blog记录一下学到的一些东西（主要是对自己所学的一些东西进行整理和总结）。

一、Python的多线程

Python多线程网上的介绍很多了，但是一直都听说Python的多线程很鸡肋，为什么呢？为什么有人说 Python 的多线程是鸡肋呢？里面的多位大佬已经做出了解释，其实就是因为Python多线程用到了全局解释器锁（GIL锁），这里引用一位大佬的回答 @DarrenChan陈驰：

Python代码的执行由Python虚拟机（解释器）来控制。Python在设计之初就考虑要在主循环中，同时只有一个线程在执行，就像单CPU的系统中运行多个进程那样，内存中可以存放多个程序，但任意时刻，只有一个程序在CPU中运行。同样地，虽然Python解释器可以运行多个线程，但同一时间只有一个线程在解释器中运行。

对Python虚拟机的访问由全局解释器锁（GIL）来控制，正是这个锁能保证同时只有一个线程在运行。在多线程环境中，Python虚拟机按照以下方式执行。

1.设置GIL。

2.切换到一个线程去执行。

3.运行。

4.把线程设置为睡眠状态。

5.解锁GIL。

6.再次重复以上步骤。

对所有面向I/O的（会调用内建的操作系统C代码的）程序来说，GIL会在这个I/O调用之前被释放，以允许其他线程在这个线程等待I/O的时候运行。如果某线程并未使用很多I/O操作，它会在自己的时间片内一直占用处理器和GIL。也就是说，I/O密集型的Python程序比计算密集型的Python程序更能充分利用多线程的好处。

关于python的锁机制，还有一篇博文 Python并发编程之谈谈线程中的“锁机制”（三） 值得大家去看看，里面详细介绍了常用的python锁，同时也附了一些代码，挺不错。

二、线程安全的队列 Queue

队列这种东西大家应该都知道，就是一个先进先出的数据结构，而Python的标准库中提供了一个线程安全的队列，也就是说该模块是适用于多线程编程的先进先出（first-in,first-out，FIFO）数据结构，可以用来在生产者消费者线程之间安全地传递消息或其他数据。它会为调用者处理锁定，使用多个线程可以安全地处理同一个 Queue 实例。Queue 的大小（其中包含的元素个数）可能要受限，以限制内存使用或处理。

在Python 3中要引入Queue和Python 2中引入Queue是不同，引入方式如下：

#python 2
import Queue
# python 3
from queue import Queue

因为是线程安全的，很自然就可以利用Queue来实现一个多线程爬虫咯，而Queue的一些常见操作如下：

# 实例化一个队列，可以在指定队列大小
q = Queue.Queue()
q_50 = Queue.Queue(50) # 指定一个长度为50的队列
# 入队一个数据data
q.put(data)
# 出队并赋值给item
item = q.get()
# 判断队列是否为空，是否满
if q.empty()：
    print('队列为空')
if q.full():
    print('队列满')

除了普通队列，标准库中还有优先队列和后进先出队列这两个队列，分别为LifoQueue和PriorityQueue，其引用方式与Queue类似，使用方法参考 [Python标准库]Queue——线程安全的 FIFO 实现

三、基于多线程爬虫爬取糗事百科的段子

下面进入实战的一个代码，代码的理解也相对简单，相信经过这个代码，大家也可以自行写出一个多线程爬虫。

'''

参考博客/教程

[Python标准库]Queue——线程安全的 FIFO 实现​blog.csdn.net

一个多线程爬虫的教程：

链接：https://pan.baidu.com/s/1qZe96hh7l0jWDbkP7XJERw 密码：czto