爬虫入门课堂+实战笔记-scrapy框架

安装python和scrapy框架：

windows：

先安装好python3

1、下载python 安装，下载pycharm

2、直接下载anaconda安装。包含python和常用库

 再pip install scrapy，

报错说明没有安装visual c++ build tools

直接根据要求百度一个 安装即可。

Mac 见 ：

mac下安装python

步骤

1、利用shell查看网页是否友好

scrapy shell https://www.jianshu.com/u/6b45912862c1

然后再

view(response)

如果弹出正常的页面，则表示页面友好。

如果弹出404 ，就表示页面禁止爬虫。

2、先创建框架蜘蛛文件到桌面，将模板代码放到蜘蛛文件中

3、在shell中调试获得正确的xpath语句

4、将正确的xpath贴入模板的对应部分

5、修改item名称为表格列名

6、运行文件，在cmd中输入scrapy crawl 蜘蛛名 -o 文件名.csv