Python爬虫:scrapy框架学习(1)牛刀小试

一个最简单的爬虫示例:抓取目标为www.baidu.com

1:利用scrapy创建一个爬虫项目:(项目名可以随意写)

Python爬虫:scrapy框架学习(1)牛刀小试_第1张图片

2:切换到所创目录之内,cd baidu,直到进入/baidu/baidu/spiders这个目录下

Python爬虫:scrapy框架学习(1)牛刀小试_第2张图片

3:接下来我们手动创建一个爬虫(利用vim创建,例:vim 文件名.py)

Python爬虫:scrapy框架学习(1)牛刀小试_第3张图片

name代表着这个爬虫的名字,且这个名字可以随便更改但是唯一。

allowed——domains代表着允许爬虫爬取的范围

start——urls是爬取的地址,因为类型是列表所以允许有多个地址

parse函数,是一个解析函数,它处理的是下载器下载返回的结果,response是一个对象。

接下来我们将爬取到的页面获取并保存到指定文件中。

Python爬虫:scrapy框架学习(1)牛刀小试_第4张图片

之后用scrapy crawl 你py文件中name的值,也就是上图中的name = “demp” 》》》scrapy crawl demp

Python爬虫:scrapy框架学习(1)牛刀小试_第5张图片

你看很简单吧,这是一个最简单的爬虫。

未完待续。。。

你可能感兴趣的:(python)