使用webScraper 快速上手爬取数据(一)

web Scraper
简介下载
  web Scraper是chrome中的一个插件,用来可视化爬虫,优点便是简单易操作,能满足小白的日常爬虫需求。可以做到不写代码进行爬取需要的数据

使用webScraper 快速上手爬取数据(一)_第1张图片

在chrome浏览器中下载
若无法访问chrome,可以用Firefox浏览器作为替代来使用web scraper插件,下载安装Firefox浏览器
第一次简单爬取
任意进入一个页面,点击F12进入开发者后台。
 

使用webScraper 快速上手爬取数据(一)_第2张图片


下面我们点击create new sitemap,然后点击create sitemap (创建网站地图),打开后会有name和URL选项
 

使用webScraper 快速上手爬取数据(一)_第3张图片

使用webScraper 快速上手爬取数据(一)_第4张图片

第一次进行爬虫练习选择爬取哔哩哔哩首页的视频name
 

使用webScraper 快速上手爬取数据(一)_第5张图片


点击create sitemap
然后Add new selector
 

使用webScraper 快速上手爬取数据(一)_第6张图片


Select选择在页面进行操作: 
 

使用webScraper 快速上手爬取数据(一)_第7张图片


最后点击Save selector
 

使用webScraper 快速上手爬取数据(一)_第8张图片


进行爬取
 

使用webScraper 快速上手爬取数据(一)_第9张图片


设置页面加载延迟,防止访问太快
 

使用webScraper 快速上手爬取数据(一)_第10张图片


然后点击start scraping开始爬取
当窗体一闪而过就说明爬取成功
可以去把爬取到的数据
下载到本地了
 

使用webScraper 快速上手爬取数据(一)_第11张图片


由于bilibili每次打开都会刷新页面所以每次爬取到的name不一样
这就是进行简单使用web Scraper.
下面将会去学习如何将全部数据都爬取下来,以及控制链接参数实现翻页功能等。
**相比前面学习的爬虫框架之类的,这个插件可以说是大大提高工作效率(不用去写复杂代码了,提供了摸鱼时间)。有时站在巨人的肩膀上看世界还是很舒服的。**

你可能感兴趣的:(chrome,webscaper爬虫工具,chrome)