Scrapy学习过程之七：命令行工具

参考：https://docs.scrapy.org/en/latest/topics/commands.html

Configuration settings

关于scrapy命令行工具的配置文件，其格式为ini。配置文件存在于以下几个地方：

1. /etc/scrapy.cfg or c:\scrapy\scrapy.cfg　这个是系统级配置文件
2. ~/.config/scrapy.cfg ($XDG_CONFIG_HOME) and ~/.scrapy.cfg 　这个是用户级
3. 项目内的scrapy.cnf，项目级。

原来项目内自动生成的scrapy.cnf是用来配置scrapy命令行工具的。

上边三个优先级由低到高，最终的配置是三个文件合并的结果。

scrapy命令行可也可通过环境变量配置，这个后边再说。

Default structure of Scrapy projects

默认的scrapy项目的目录结构：

scrapy.cfg
myproject/
    __init__.py
    items.py
    middlewares.py
    pipelines.py
    settings.py
    spiders/
        __init__.py
        spider1.py
        spider2.py
        ...

里边有一项，指向项目中的setting.py文件，后者是python代码文件，里边也全是关于配置的：

[settings]
default = myproject.settings

scrapy创建出来的那个根目录，可以被多个Scrapy项目共享，每个scrapy项目都有自己的setting，当然根目录下的什么item pipeline之类的定义也可以在多个scrapy项目这间共享，这样就可以复用了。

[settings]
default = myproject1.settings
project1 = myproject1.settings
project2 = myproject2.settings

其中有一个default项目，default指的是scrapy项目名称与根目录名称一样的那个项目。

默认情况下scrapy命令行工具使用default那个项目的配置，可以通过设置SCRAPY_PROJECT环境变量指向其它的项目，如：

$ scrapy settings --get BOT_NAME
Project 1 Bot
$ export SCRAPY_PROJECT=project2
$ scrapy settings --get BOT_NAME
Project 2 Bot

一堆命令，看原文吧。反正scrapy这个命令要看在什么目录下运行，目录不同那么它的配置就不同，还与环境变量有关。