爬虫:如何在指定的文件夹下创建scrapy项目

安装好了anaconda和Pycharm之后,直接在命令行里pip install scrapy之后就可以安装scrapy了。

在安装的过程中可能会报错不存在twisted,这个可以在百度直接搜素文件下载之后,在命令行输入“pip install +twisted的文件路径”进行安装,然后再安装scrapy就可以了。

安装好了scrapy之后,要怎么创建一个scrapy文件呢?要怎么在指定的文件夹里创建scrapy文件呢?直接看图:

爬虫:如何在指定的文件夹下创建scrapy项目_第1张图片
在指定文件夹下创建scrapy文件的方法

1、使用“G:”进入到想要创建的磁盘中;

2、使用“cd Pycharm”进入到指定的文件夹中;

3、使用“scrapy startproject 项目名称” 创建一个新的项目(是以文件夹显示的);

4、使用“cd 项目名称” 进入新创建的项目文件夹里;

5、使用 “scrapy genspider spider(此为spider文件名,可以自定义) 目标网址” 就可以直接创建一个spider(直接创建抓取的的网址)。

爬虫:如何在指定的文件夹下创建scrapy项目_第2张图片
scrapy startproject Tableau创建的项目文件
爬虫:如何在指定的文件夹下创建scrapy项目_第3张图片
scrapy startproject Tableau创建的项目文件  
爬虫:如何在指定的文件夹下创建scrapy项目_第4张图片
进入spiders文件
爬虫:如何在指定的文件夹下创建scrapy项目_第5张图片
创建的spider文件
爬虫:如何在指定的文件夹下创建scrapy项目_第6张图片
在Pycharm里打开Tableau文件

通过以上的操作就可以在指定的文件夹下创建一个新的scrapy文件,并且把我们要抓取的目标网址也都创建好了。

你可能感兴趣的:(爬虫:如何在指定的文件夹下创建scrapy项目)