不用写代码的爬虫:使用chrome浏览器的爬虫插件Web Scraper爬取天猫商品信息

用chrome浏览器的爬虫插件Web Scraper爬取天猫商品信息

详细操作请前往我的网盘下载(https://pan.baidu.com/s/1Vr9obGRaiUxWVLoFVNoa_A)可查看操作步骤。
此处以该页面https://list.tmall.com/search_product.htm?spm=875.7931836/B.subpannel2016046.14.700b4265X81Z8k&q=%C5%A3%C4%CC&pos=1&vmarket=&from=mallfp…pc_1_searchbutton&acm=201603142.1003.2.720738&type=p&scm=1003.2.201603142.OTHER_1484586479470_720738为目标,爬取商品的价格,名称,月成交量和评论数。
**1.**首先打开chrome浏览器的开发者工具,切换到Web Scraper,点击Create new sitemap创建新项目,输入项目名及初始网址后点击Create sitemap,流程如下图所示。
不用写代码的爬虫:使用chrome浏览器的爬虫插件Web Scraper爬取天猫商品信息_第1张图片
**2.**点击Add new selector按钮创建一个元素选择器,该选择器主要是用来选择包含多个数据内容的元素,其会返回每个选择元素作为子选择器的母元素,具体操作及填写内容如下:
不用写代码的爬虫:使用chrome浏览器的爬虫插件Web Scraper爬取天猫商品信息_第2张图片
**3.**点击milk按钮后,点击Add new selector按钮创建一个子元素选择器,分别为标题title,价格price,成交量volume,评论数comment-number。以创建价格选择器为例,其他选择器只需修改为相应的id和selector后即可,操作如下图:
不用写代码的爬虫:使用chrome浏览器的爬虫插件Web Scraper爬取天猫商品信息_第3张图片
**4.**创建好后点击Data preview,可以预览所爬取的数据,如下图所示:
不用写代码的爬虫:使用chrome浏览器的爬虫插件Web Scraper爬取天猫商品信息_第4张图片
不用写代码的爬虫:使用chrome浏览器的爬虫插件Web Scraper爬取天猫商品信息_第5张图片
5点击Sitemap tianmao后选择Scrape,最后点击Start scraping开始爬虫
不用写代码的爬虫:使用chrome浏览器的爬虫插件Web Scraper爬取天猫商品信息_第6张图片
**6.**爬取时会弹去一个窗口显示爬去的情况,待爬虫结束后窗口会关闭,点击refresh即可得到数据,部分结果如下:
不用写代码的爬虫:使用chrome浏览器的爬虫插件Web Scraper爬取天猫商品信息_第7张图片
**7.**导出数据,点击Sitemap tianmao后选择Export data as CSV,点击Download now,会在默认下载器里得到该CSV文件,用Excel打开即可。
不用写代码的爬虫:使用chrome浏览器的爬虫插件Web Scraper爬取天猫商品信息_第8张图片
不用写代码的爬虫:使用chrome浏览器的爬虫插件Web Scraper爬取天猫商品信息_第9张图片

你可能感兴趣的:(爬虫)