Mac python 搭建scrapy爬虫框架

1、在mac上安装好python3,以及相关组件

https://mp.csdn.net/postedit/82262870

2、进入python3的虚拟环境

workon env3.7

3、安装scrapy

pip install scrapy

4、创建一个scrapy项目

   4.1选择路径项目路径 cd /Users/panstark/PycharmProjects

    4.2创建一个项目 scrapy startproject ArticleSpider

5、生成访问固定网址的编程文件

    5.1进入项目中  /Users/panstark/PycharmProjects/ArticleSpider

    5.2生成文件  scrapy genspider jobbole blog.jobbole.com

生成好了这个文件,下面就可以开发了。

 

你可能感兴趣的:(mac,python,scrapy)