scrapy普通和通用爬虫的创建以及说明

Windows 安装方式
Python 3
升级pip版本：
pip3 install --upgrade pip
通过pip 安装 Scrapy 框架
pip3 install Scrapy
Ubuntu 安装方式
通过pip3 安装 Scrapy 框架
sudo pip3 install scrapy
如果安装不成功再试着添加这些依赖库：
安装非Python的依赖
sudo apt-get install python3-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev

创建普通框架：
新建爬虫项目：
scrapy startproject +名字
新建爬虫文件
scrapy genspider +名字 +域（如：xxx.com）

创建通用爬虫：
新建爬虫项目：
scrapy startproject +名字
新建爬虫文件：
scrapy genspider -t crawl +名字 +域（如：xxx.com）

运行命令：scrapy crawl xxx -

image