简而言之,Scrapy就是一个爬虫模板、一个框架。具有功能强大、速度快(自带异步),代码复杂的特点。因此,可以直接套用。
pip install Scrapy== 1.8.0
当然在Pycharm环境下,可以通过导包实现,顺序为:Twisted + lxml +Scrapy .
注:
在装包的时候,可能会要求电脑中提前装好Visual C++ ~~
打开命令行在命令行内打开想要创建项目的文件夹,使用scrapy startproject name 创建项目。
在Pycharm中打开 View --> Tool Windows --> Termin