使用Docker部署Scrapy爬虫

使用Docker部署Scrapy爬虫


1、目的与步骤


环境：Ubuntu14.04 LTS，爬虫程序使用scrapy开发，功能比较简单，就是下载百度贴吧第一页中所有帖子中的图片。


目的：将基于Scrapy开发的爬虫程序发布到docker容器中。


步骤：
a. 在主机上使用setuptools打包python程序，包括一个运行爬虫的命令行；
b. 定义dockerfile，内容包括安装ssh、pip、setuptools、scrapy，并挂载volume（/data）用来作为下载路径，然后创建镜像；
c. 由镜像启动容器，同时挂载主机目录（爬虫项目目录），然后安装程序；
d. 执行命令开始下载图片。


2、步骤一：打包爬虫程序


前提：在主机上安装pip，使用pip安装setuptools。


主机上的项目目录结构为：


baidutieba
|--baidutieba
|  |--spiders
|  |  |--__init__.py
|  |  |--baidutieba_spider.py
|  |--__init__.py
|  |--items.py
|  |--pipelines.py
|  |--settings.py
|--scrapy.cfg


因为功能比较简单，代码全部在baidutieba_spider.py中，该文件内容如下：


...
class TiebaSpider(Spider):
    name = "tiebaspider"
    allowed_domains = ["tieba.baidu.com"]
    ...


def runspider():
    process = CrawlerProcess({
        'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)'
    })
    process.crawl(TiebaSpider)
    process.start()


类TiebaSpider定义了URL的处理，以及下载的行为。


runspider方法开始运行爬虫（后面会将这个方法映射到一条console命令进行安装）。


在项目根目录下创建setup.py，内容如下：


from setuptools import setup, find_packages
setup(
    name = "baidutieba",
    version = "0.1",
    packages = find_packages(),
    entry_points={
        'console_scripts': [
            'runspider = baidutieba.spiders.baidutieba_spider:runspider',
        ]
    }
)


使用这个setup.py安装后的系统可以通过命令runspider命令直接运行爬虫。


为了打包程序，确认当前在项目根目录，然后执行下列命令：


$ python setup.py bdist_egg


执行成功后，可以看到项目根目录下生成了一些打包文件。


3、步骤二：定义dockerfile


$ vim scrapy_dockerfile


内容如下（因为是docker镜像，所以一些依赖包需要单独安装）：


FROM ubuntu
RUN apt-get update
RUN apt-get -y dist-upgrade
RUN apt-get install -y openssh-server
RUN apt-get install -y python2.7-dev python-pip
RUN apt-get install -y zlib1g-dev libffi-dev libssl-dev
RUN apt-get install -y libxml2-dev libxslt1-dev
RUN pip install setuptools
RUN pip install Scrapy
VOLUME /data


使用dockerfile创建image，首先进入包含dockerfile的目录，然后执行：


$ docker build -f scrapy_dockerfile -t scrapy_image .


4、步骤三：由镜像启动容器并挂载项目目录


启动容器（/program挂载了项目根目录，/data为dockerfile中定义的volume）并进入容器的命令行：


$ docker run -it -v /home/python/PycharmProjects/baidutieba:/program scrapy_image /bin/bash


安装python的scrapy项目(/program挂载的是主机上的项目根目录，该目录下有已经创建的setup.py文件和打包文件):


# cd program


# python setup.py install


安装完成后就可以执行命令了，执行命令，运行爬虫：


# runspider


可以看到开始下载了。


5、查看下载内容


因为是图片下载到容器的/data目录下，首先要找到其对应的主机目录：


# docker ps -l
CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS              PORTS               NAMES
b544f1388274        scrapy_image        "/bin/bash"         14 minutes ago      Up 14 minutes                 


# docker inspect -f {{.Volumes}} jovial_carson
map[/data:/var/lib/docker/volumes/2f8548e541de0b65c214d4195d02ade3104ee6acc8a8da0d0478557afc207d10/_data /program:/home/python/PycharmProjects/baidutieba]


可以看到/data对应主机目录/var/lib/docker/volumes/2f8548e541de0b65c214d4195d02ade3104ee6acc8a8da0d0478557afc207d10/_data，OK进入查收下载内容吧。