Docker环境下Scrapy项目环境的搭建

0、卸载本机上已安装的Docker/OracleVM BOX/Git/Vagrant

如本机是全新安装，没有任何上述软件，可直接跳过本步骤。

0.1 Git和Vagrant在卸载时无脑下一步即可。

0.2 Docker卸载后，原安装目录会留存有项目文件夹，建议可修改文件夹名进行备份留存。

​

0.3 OracleVM卸载前，请务必删除BOX内所有虚拟机。（一般会有名为Default和xxx-provider的虚拟机需要删除）

卸载完毕后，在原OracleVM安装目录下，删除VirtualBox文件夹内的所以留存文件。

 

1、安装Vagrant：（简单的配置路径和下一步即可）

安装完成后，重启电脑。

2、安装DockerToolbox（同样简单的下一步即可）：

安装完成后，本机上应有Docker，Vagrant，OracleVM，Git。

 

3、初始化Docker环境：

打开Docker Quickstart Terminal。

系统会自动初始化环境：

初始化完成界面：

键入命令：

git clone https://github.com/scalingexcellence/scrapybook.git

git项目成功clone后，键入命令，初始化Vagrant系统：

cd scrapybook

vagrant up --no-parallel

安装过程可能会比较慢，约2-5分钟。

安装完成后，请检查以下事项：

①OracleVM BOX内虚拟机是否安装完成（如下图）：

②键入命令检查各虚拟机状态：

vagrant global-status

③尝试ssh连接dev机：

由上图知我dev的id是3d89421，每个人机器的id不同，故请自行更换下述命令中的对应ID。

键入命令：

vagrant ssh 3d89421

 

此时，我们已成功通过ssh连接到dev机。

④检查项目文件状态：

键入命令：

cd book

ll

我们能发现，Docker已将原scrapybook项目下的所有文件自动复制到了dev机的/root/book/目录下。

⑤检查web机状态：

在本地电脑上打开浏览器，进入网址http://localhost:9312/properties/，看是否正常显示。

在Docker的dev机上键入命令：

scrapy shell http://web:9312/properties/property_000000.html

键入命令：

response.body[:50]

证明Scrapy框架成功配置，抓取了html页面的前50个字符。

至此，常规配置完毕。

注：键入exit可退出Docker环境。