2018-09-05 scrapy之基础命令

    在这儿介绍一下scrapy很基本的命令以及他们的作用。(这些命令都是在cmd中使用的)

    我们用scrapy shell name 来打开一个name的网址,比如:    

    scrapy shell www.baidu.com   scrapy 就从网上下载了baidu的网站资料，并且打包成response.

    这里面response可以显示出网站打开的状态 （by the way 网站打开的状态有，200系列成功打开，300系列跳转，400系列打开失败，500系列服务器出问题了）。

    view(response),可以调用系统默认的浏览器打开网站，为什么要这么做，因为有些网站的内容是异步加载，不是说下载网站就有内容的，用view(response)可以很清晰的表名哪些是异步那些不是（举例，可以尝试shell 51job网站和拉勾网看一下不同）

    scrapy list 查看当前目录下有多少爬虫

    scrapy crawl name，可以运行一直叫做name的爬虫

    scrapy genspider(留在之后说)

    scrapy check测试爬虫是否有错误

    scrapy startproject name  新建一个叫name的爬虫项目

    我目前比较常用的几个都在这儿了。