scrapy的安装和使用

一、scrapy是什么:Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架,可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序

二、scrapy的安装:pip install scrapy -i https://pypi.douban.com/simple

scrapy的安装和使用_第1张图片三、scrapy项目的创建以及运行

1.win+r 进入终端

cd C:\Users\malongqiang\PycharmProjects\pythonProject\ 爬虫练习1018

注意:路径最好是你python代码放置路径(cd + 选中文件夹拉入终端)

dfb96dc6be08499f828bb13dff023ab0.png2.创建scrapy_baidu_1024文件:scrapy startproject scrapy_baidu_1024scrapy的安装和使用_第2张图片3.创建后的结果:scrapy的安装和使用_第3张图片4.进入spiders文件夹下:cd scrapy_baidu_1024\scrapy_baidu_1024\spiders12b55cf73cc345d0ac04919a9a93ebf9.png5.创建爬虫文件baidu.py:scrapy genspider baidu http://www.baidu.comscrapy的安装和使用_第4张图片

scrapy的安装和使用_第5张图片6.baidu.py的内容:scrapy的安装和使用_第6张图片7.写入要打印的内容:my lovescrapy的安装和使用_第7张图片8.运行爬虫文件(baidu):scrapy crawl baiduscrapy的安装和使用_第8张图片9.没有结果,爬取失败,原因如下:robots.txt协议不让爬820a7a77c2264a0aa9fa29fc8ed275de.pngscrapy的安装和使用_第9张图片10.解决办法:找到该目录下的settings注释ROBOTSTXT_OBEY = Truescrapy的安装和使用_第10张图片11.重新运行指令,打印出来结果c45a6157d9f94486807bb09407dc7622.png

四、scrapy相关内容资料:scrapy的安装和使用_第11张图片

 

 

你可能感兴趣的:(1024程序员节)