零编程基础从网页爬取数据

2017-04-12 第十一周  数据分析之数据爬虫

初识爬取网页数据，心中顿时万只草泥马！ 感谢万能的知乎，果真10分钟上手！！！ 知乎链接：https://www.zhihu.com/question/47883186#answer-57771301 

神器一：excel

用那么多年的excel，有哪几个知道excel的黑科技，数据——从网站获取，哈哈哈，如此简单到不可思议吧

神器二：web scary

1、条件：chrome浏览器 + web  scraper插件（官网/或者百度网盘下载）

2、流程：打开chrome浏览器—— 启动web

scraper插件（F12 or control + shift + L）——scraper界面切换至上下窗口模式——创建爬虫（create sitemap,输入name + url）——add new

编辑选择器 selector(id,type=text,selector=select+ Multiple) Delay=500）——Save selector——抓取数据（sitemap-Scrape）——下载数据（Export data as CSV）

3、注意事项

A、偶尔F12 or control + shift + L不出现界面，多点几次稍等一下

B、只下载出单一页面，如果有下一项的如何处理（Url中结尾为page的，Editmetadata的URL中page=1修改成page=[1-3]）

C、导出数据至excel，可能在单一单元格，未按excel数据排列，如何处理