scrapy框架学习

scapy安装

pip install --upgrade pip
pip install scrapy

Windows上安装可能会出现缺失依赖twisted，可以看一下twisted安装
安装好后再执行一下命令即可

pip install scrapy

scapy常用命令

# 创建scrapy项目
scrapy startproject mySpider
# 先进入项目，使用以下命令，可以在spider目录下，创建父类为scrapy.Spider的的模板，文件名为onespider.py，类名为Onespider，爬虫名为onespider
cd mySpider
scrapy genspider onespider "域名"
# 先进入项目，使用以下命令，可以在spider目录下，创建父类为CrawlSpider的的模板，文件名为xx.py，类名为Xx，爬虫名为xx
scrapy genspider -t crawl xx  "域名"

简单入门

新建项目

scrapy startproject demo

项目目录如下

.
├── demo
│   ├── __init__.py
│   ├── items.py
│   ├── middlewares.py
│   ├── pipelines.py
│   ├── settings.py
│   └── spiders
│       └── __init__.py
└── scrapy.cfg

下面来简单介绍一下各个主要文件的作用：
scrapy.cfg ：项目的配置文件
demo/ ：项目的Python模块，将会从这里引用代码
demo/items.py ：项目的目标文件
demo/pipelines.py ：项目的管道文件
demo/settings.py ：项目的设置文件
demo/spiders/ ：存储爬虫代码目录

我的GitHub
我想去流浪，我想去读书，若有机会，江湖再见