Scrapy学习笔记

安装

python：python3
现在各种包对3的支持都变的原来越好了，上一个系统装scarpy时还是各种问题（捂脸）
pip一键安装，省时又省力，对于我这种一装东西就各种问题的人来说，简直救星(✿◡‿◡)

pip install scarpy

创建项目

首先我们先创建一个scarpy项目

scarpy startproject xxx(你的项目名)

这样在当前目录下你将会得到一个名为xxx的文件夹
目录如下

Your_project/
    scrapy.cfg            # deploy configuration file

    Your_project/             # project's Python module, you'll import your code from here
        __init__.py

        items.py          # project items definition file

        pipelines.py      # project pipelines file

        settings.py       # project settings file

        spiders/          # a directory where you'll later put your spiders
            __init__.py

接下来就是你的爬虫写在哪呢，我们要创建一个spider
scarpy为你定义的了一个模板，我们使用它来创建

scarpy genspider YourProjectName StartCom

这样在spider/下你将得到一个spider的py文件

Tool Commands

scarpy提供了很多命令可以使用
可以查看每一个命令的详细内容

scarpy  -h

查看所有命令

scarpy -h

Scrapy提供了两种类型的命令。一种必须在Scrapy项目中运行(针对项目(Project-specific)的命令)，另外一种则不需要(全局命令)。全局命令在项目中运行时的表现可能会与在非项目中运行有些许差别(因为可能会使用项目的设定)。

全局命令:

• startproject
• setting
• runspider
• shell
• fetch
• view
• version

项目(Project-only)命令:

• crawl
• check
• list
• edit
• parse
• genspider
• bench