在Pycharm中创建Scrapy项目

1.认识Scrapy

简而言之,Scrapy就是一个爬虫模板、一个框架。具有功能强大、速度快(自带异步),代码复杂的特点。因此,可以直接套用。

1.1 scrapy 的构成

在Pycharm中创建Scrapy项目_第1张图片

1.2 Scrapy的安装

pip install Scrapy== 1.8.0

当然在Pycharm环境下,可以通过导包实现,顺序为:Twisted + lxml +Scrapy .

注:
在装包的时候,可能会要求电脑中提前装好Visual C++ ~~

2.Scrapy的使用

2.1 创建Scrapy项目

打开命令行在命令行内打开想要创建项目的文件夹,使用scrapy startproject name 创建项目。
  1. 在Pycharm中打开 View --> Tool Windows --> Termin

你可能感兴趣的:(python,大数据,经验分享)