python-豆瓣简单爬虫-urllib和re使用

案例教程按以下分类：

按爬去内容分成的三种类型，HTML代码包含型、JS生成型、AJAX异步加载型

按是否需要登录。

首先讲解最简单的无需登录HTML代码包含型，以豆瓣电影为例

所需用到的库有，re、urllib。均为python内置包，无需下载，直接引入。re为正则表达式所需包，urllib是核心的爬虫基础包。

re正则表达式及urllib简单讲解

1.re正则表达式的常用匹配方法

re.compile

把正则表达式编译成一个正则表达式对象

re.match 和re.search

re.match匹配字符串的开始，如果字符串开始不符合正则表达式，则匹配失败，函数返回None；而re.search匹配整个字符串，直到找到一个匹配。返回为一个地址，所以需结合group使用

re.findall

re.findall可以获取字符串中所有匹配的字符串。以数组形式返回，匹配失败返回空数组

2.urllib

urllib使用很简单，两行就可以得到结果，首先通过urlopen函数传入url，然后read函数获取该url对应网页的源代码。urlopen一般接受三个参数，urlopen(url,data,timeout)，第一个参数url即为URL，第二个参数data是访问URL时要传送的数据，第三个timeout是设置超时时间。第二第三个参数可不设置。示例如下：

response=urllib.urlopen("http://www.baidu.com")

print response.read()

源代码及结果

以爬去豆瓣电影top250的前5条数据为例，源代码及如下

运行可在cmd（windows+R键，输入cmd）里执行，python命令 执行代码所在路径即可，（贴士：tab键可自动补全路径），如这里代码存储路径为e：\codes\douban.py. douban.py为代码文件名。运行结果如下：rate为电影评分，inq为简介，title为电影名。

代码具体讲解

大致思路：分析所需爬去的网址，urllib发送请求获取返回html，re正则表达式匹配所需内容

前两行：newmovie代表存储每一条电影数据（包括名称、评分、简介）字典型变量，movieList存储所有电影数据的列表。后三行为所需获取每一条电影的具体三个数据的正则匹配式，.*?代表匹配多个字符（.*?）代表所需抓取的多个字符（一个万能的匹配式）。

该匹配式需要观察具体页面的html代码，以后两者为例，下图为豆瓣网页的html代码，也可在开发者工具中查看。所以按照上图中的表达式，评分匹配出的数据即为9.6，简介匹配出的数据为“希望让人自由”

核心代码

这里爬取5条数据，设置循环条件为5，设置url，豆瓣每条电影数据是根据start来筛选，start=0则是第一条数据放于顶部，可自行在输入该url在地址栏查看。不同网站可能会有差异，爬去之前需要分析数据显示的规律。第三行使用urllib打开网址并读取返回数据，最后使用decode将其解码，大多数中文网站的网页是以utf-8形式编写。try部分则是具体的re匹配存取过程。

到此，爬取就结束啦，这只是一个最简单的演示，想获取更多数据按以上程序扩展就可以啦。