python-豆瓣简单爬虫-urllib和re使用

案例教程按以下分类:

按爬去内容分成的三种类型,HTML代码包含型、JS生成型、AJAX异步加载型

按是否需要登录。

首先讲解最简单的无需登录HTML代码包含型,以豆瓣电影为例

所需用到的库有,re、urllib。均为python内置包,无需下载,直接引入。re为正则表达式所需包,urllib是核心的爬虫基础包。

re正则表达式及urllib简单讲解

1.re正则表达式的常用匹配方法

re.compile

把正则表达式编译成一个正则表达式对象

re.match 和re.search

re.match匹配字符串的开始,如果字符串开始不符合正则表达式,则匹配失败,函数返回None;而re.search匹配整个字符串,直到找到一个匹配。返回为一个地址,所以需结合group使用


re.findall

re.findall可以获取字符串中所有匹配的字符串。以数组形式返回,匹配失败返回空数组

2.urllib

urllib使用很简单,两行就可以得到结果,首先通过urlopen函数传入url,然后read函数获取该url对应网页的源代码。urlopen一般接受三个参数,urlopen(url,data,timeout),第一个参数url即为URL,第二个参数data是访问URL时要传送的数据,第三个timeout是设置超时时间。第二第三个参数可不设置。示例如下:

response=urllib.urlopen("http://www.baidu.com")

print response.read()

源代码及结果

以爬去豆瓣电影top250的前5条数据为例,源代码及如下

python-豆瓣简单爬虫-urllib和re使用_第1张图片

运行可在cmd(windows+R键,输入cmd)里执行,python命令 执行代码所在路径即可,(贴士:tab键可自动补全路径),如这里代码存储路径为e:\codes\douban.py. douban.py为代码文件名。运行结果如下:rate为电影评分,inq为简介,title为电影名。


python-豆瓣简单爬虫-urllib和re使用_第2张图片

代码具体讲解

大致思路:分析所需爬去的网址,urllib发送请求获取返回html,re正则表达式匹配所需内容

前两行:newmovie代表存储每一条电影数据(包括名称、评分、简介)字典型变量,movieList存储所有电影数据的列表。后三行为所需获取每一条电影的具体三个数据的正则匹配式,.*?代表匹配多个字符(.*?)代表所需抓取的多个字符(一个万能的匹配式)。

该匹配式需要观察具体页面的html代码,以后两者为例,下图为豆瓣网页的html代码,也可在开发者工具中查看。所以按照上图中的表达式,评分匹配出的数据即为9.6,简介匹配出的数据为“希望让人自由”

python-豆瓣简单爬虫-urllib和re使用_第3张图片

核心代码

这里爬取5条数据,设置循环条件为5,设置url,豆瓣每条电影数据是根据start来筛选,start=0则是第一条数据放于顶部,可自行在输入该url在地址栏查看。不同网站可能会有差异,爬去之前需要分析数据显示的规律。第三行使用urllib打开网址并读取返回数据,最后使用decode将其解码,大多数中文网站的网页是以utf-8形式编写。try部分则是具体的re匹配存取过程。

python-豆瓣简单爬虫-urllib和re使用_第4张图片

到此,爬取就结束啦,这只是一个最简单的演示,想获取更多数据按以上程序扩展就可以啦。

你可能感兴趣的:(python-豆瓣简单爬虫-urllib和re使用)