很多人不知道,其实我们最常用的表格,在某些情况下也是可以用来做爬虫的,而且爬下来的数据规整,不需要花太多时间进行数据清洗,来看看是怎么实现的。
首先教大家一个用Excel爬取数据的方法,这里用的Microsoft Excel 2013版本,下面手把手开始教学~
(1)新建Excel,打开它,如下图所示
(2)点击“数据”——“自网站”
(3)在弹出的对话框中输入目标网址,这里以全国实时空气质量网站为例,点击转到,再导入
选择导入位置,确定
(4)结果如下图所示,怎么样,是不是很赞?
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2Ze2kL0s-1645080864686)(https://upload-images.jianshu.io/upload_images/12798471-3cca6b06114efb50?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)]
(5)如果要实时更新数据,可以在“数据”——“全部更新”——“连接属性”中进行设置,输入更新频率即可
使用Google Sheet爬取数据前,要保证三点:使用Chrome浏览器、拥有Google账号、电脑可以科学上网。如果这三个条件具备了的话,下面我们就开始吧~
(1)打开Google Sheet网站:
http://www.google.cn/sheets/about/
(2)在首页上点击“转到Google表格”,然后登录自己的账号,可以看到如下界面,再点击“+”创建新的表格
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-NuTgH8hQ-1645080864690)(https://upload-images.jianshu.io/upload_images/12798471-75e0b88dbb84c8ec?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)]
新建的表格如下:
(3)打开要爬取的目标网站,一个全国实时空气质量网站http://www.pm25.in/rank,目标网站上的表格结构如下图所示
(4)回到Google sheet页面,使用函数=IMPORTHTML(网址, 查询, 索引),“网址”就是要爬取数据的目标网站,“查询”中输入“list”或“table”,这个取决于数据的具体结构类型,“索引”填阿拉伯数字,从1开始,对应着网站中定义的哪一份表格或列表
对于我们要爬取的网站,我们在Google sheet的A1单元格中输入函数
=IMPORTHTML(“http://www.pm25.in/rank”,“table”,1),回车后就爬得数据啦
(5)将爬取好的表格存到本地
是不是感觉超级简单?
当然,没有学习成本的技能缺陷也是很明显的,就是在网页的数据排列没那么规则的时候,或者说多个页面的数据,以上的方法就失效了,这个时候Python就展现出它强大的威力了。
不过,话说回来,这么装逼的技能,而且不需要学习成本,掌握了有什么不好呢,没准什么时候就能用上了。
Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
温馨提示:篇幅有限,已打包文件夹,获取方式在:文末!!!!
观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
我们学习Python必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。
这份完整版的Python全套学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码【100%免费获取】