[工具&笔记]scrapy相关和docker部分

示例：architecture_spider

Scrapy 相关

参考scrapy文档，scrapyd文档

scrapy的架构非常清晰。

scrapy的架构

一般一个非常简单的爬虫，只需要创建一个Spider，定义一个Item，加上部分setting即可。如果对结果存储有要求，那就加一个ItemPipe。

scrapy命令分在项目内和项目外两部分，如何区分是否在项目内，只需要在命令行看输出即可知道。

对于示例，在项目内，运行：
scrapy genspider idchina http://www.id-china.com.cn/
即可按照默认的模板创建对应的目录和文件，当然也可以全部手动创建。

基本的话，scrapy抓取html并分析。那么如何分析抓取的部分呢？
推荐使用Xpath。Chrome浏览器有插件叫做Xpath Finder，可以用来定位。我一般是用它来一步步验证所猜测的xpath表达式是否正确。
但也可以使用scrapy命令来猜测：
scrapy shell 'http://mixinfo.id-china.com.cn/a-17920-1.html'
使用该命令来分析对应的网页。

写完了，跑一下：
scrapy crawl idchina
terminal中就会有爬虫的执行信息。
当然这是最简单的执行，正式一点或生产环境，就需要使用deploy工具。官方推荐使用scrapyd和scrapyd-deploy，后者未来应该会改名为scrapyd-client，如名所示，它们是一对Client-Server。
使用它们，需要在scrapy.cfg中配置，启动成功后，默认可通过localhost:6800来访问。
如果想要开始爬虫工作，发送命令：
curl http://localhost:6800/schedule.json -d project=architecture_spider -d spider=idchina

这些环境配置，除了在本地配置外，还可以使用docker，更方便，更省时间，更易于移到其他环境使用。

docker 相关

参考Docker 入门教程，Docker 微服务教程，Docker — 从入门到实践

其实我大部分也是照猫画虎。

一个体会：先找下有没有现成的image可用，越接近项目所需的环境应该越好，毕竟我配置水平不怎么样。刚开始我是用一个python的image配的，结果服务全部启动成功，但是端口映射一直不知道为什么总是不行，明明容器内部是可访问的，但是宿主机上就是不可访问该端口。最后放弃治疗，直接找了一个scrapy的image来用。
另外，用别人的image的时候可以顺便看看学学别人的Dockerfile是怎么写的。

如果只是想用一些现成的服务，那么找到对应的image，然后docker pull， docker run即可。
如果想要把自己的服务也打包成一个image，那么就需要写一个Dockerfile，然后docker build。
如果想搞集成，那么就需要使用docker-compose，那么就需要写一个docker-compose.yaml，然后docker-compose up -d。
另外docker images，docker ps，docker rm -f， docker rmi也是常用的。

在示例的docker-compose.yaml中，我把volumes注释掉了，原因是如果加上，那么启动的时候会报错：scrapyd对应的日志目录不存在（Error: The directory named as part of the path /architecture_spider/logs/scrapyd.log does not exist in section 'program:scrapyd' (file: '/etc/supervisor/conf.d/supervisord.conf')）。
其实在Dockerfile中已经创建了，但是我猜测在docker-compose.yaml添加volumes会把对应的log目录消除掉，因为我的.dockerignore文件中包括了logs/。按照我的推理，只需要把这个日志目录移除出volumes所指向的目录之外即可。

docker很好用，非常节省生命，还需要好好学习，第三个参考可以反复看看。