第3次作业-MOOC学习笔记:Python网络爬虫与信息提取

1.注册中国大学MOOC
2.选择北京理工大学嵩天老师的《Python网络爬虫与信息提取》MOOC课程
3.学习完成第0周至第4周的课程内容,并完成各周作业
4.提供图片或网站显示的学习进度,证明学习的过程。
5.写一篇不少于1000字的学习笔记,谈一下学习的体会和收获。

第3次作业-MOOC学习笔记:Python网络爬虫与信息提取_第1张图片

 

       通过对该课程的学习,初步对网络爬虫有了一定的了解。网络爬虫作为对网络上的信息抓取工具对于网站来说资源占用过高,所以各方都会对其做出限制。一部分通过robot协议来约束,但不能成为绝对限制。一部分通过协议中的信息来判断其是否为爬虫,但是可以修改对应的数据来欺骗。

       网络爬虫利用库文件或者对应的框架来对一些数据进行抓取,但是如何处理抓取的数据是个问题。抓取数据只是最开始的一步。在大数据的背景下,数据本身并不是重点,关键是对于数据的处理,这里包括筛选出有效数据。当然有效数据的选择可以在一开始就选择。在计算机中,通常会用到正则表达式去做数据的筛选,通过给出的正则表达式去匹配满足条件的字符串,就可以达到我们选择有效数据的目的。

       该课程先给我们介绍了requests库的使用,可以抓取页面的代码信息。在这过程中,给我们介绍了如何正确合理的去抓取数据,避免法律纠纷,并给出了相应的例子。在requests库中最常使用的还是get,通过get方法发送请求。http协议的通常还有post请求,也可以用post方法。关于用户登陆,就涉及cookie 和 session。Cookie是保存在本地,而session是保存在服务端。我们要利用cookie去访问登陆界面,通过cookie中保存的信息让服务器认定我们已经登陆。而使用的方法却是session方法。

       之后介绍beautiful soup库。这个库是用于数据解析,解析html文件。在网页中是是哟个html标签语言进行编写的,就需要对其进行解析。还需要注意编码格式问题,bs4库采用utf-8的编码。网页中的信息,还有一些键值对,也就是字典通常时使用json包的方式存储,这时候我们需要对它进行解析从而获得字典。网页访问的过程当中还有表单请求等,这个应该在其他库中会有介绍。

       正则表达式理解难度上稍大,它能够通过匹配条件去匹配大量数据,速率上快速了很多。正则表达式对于字符串的查找相当有效。一个表达式就能代表一组相同特点的字符串,这对于代码编写省力了很多。

       最后一部分介绍了scrapy爬虫框架。这个是专业爬虫,可以根据抓取的内容进行分析,然后根据结果发起一次新的请求。框架通常用于需求高,请求多的情况下,但需要定制内容多的时候就可以使用requests库。框架的学习投入的时间成本会比较高,通过课程的学习还是不能掌握的。课程中简单介绍了爬虫框架的构成,以及简单的使用和例子。

       总的来说,我对于网络爬虫的理解就是抓取网站信息的工具。如何有效的抓取是核心问题。它分为如何不被识别抓取,和抓取的数据有效性。如何不被识别抓取,就会涉及访问次数和效率之间的平衡。而有效抓取,就是对于数据的识别判断,和正则表达式相关。

你可能感兴趣的:(第3次作业-MOOC学习笔记:Python网络爬虫与信息提取)