scrapy爬虫演示---爬取中国新闻网

scrapy爬虫演示

来源:哔哩哔哩网站
视频作者: 九九爱你(不是文章本人)
链接:

https://www.bilibili.com/video/BV1mp411o7mw?from=search&seid=14583196262084808268

创建项目

在这里插入图片描述
scrapy genspider name(爬虫项目名字) “url”(爬取目标)

scrapy爬虫演示---爬取中国新闻网_第1张图片
使用scrapy genspider 创建爬虫项目,名称和url保存位置

运行爬虫

在这里插入图片描述

scrapy crawl  name(爬虫名字)

Google xpath插件:爬虫利器

在这里插入图片描述

爬取代码

在这里插入图片描述

清洗编辑作者信息

在这里插入图片描述
引用re包(import re)
结合使用compile()和search()。
在这里插入图片描述
清洗效果:
在这里插入图片描述
数据不存在,补空值:
在这里插入图片描述
在这里插入图片描述

作者:Irain
QQ联系方式:2573396010
日期:2020年4月13日

你可能感兴趣的:(scrapy爬虫,过程演示,pycharm,python)