正则表达式爬取网页数据学习笔记
1、爬取title标签的内容
采用的正则表达式为'就代表我们爬取的内容，以爬取百度首页title为例；
爬取百度标题代码如下：
# -*- coding: utf-8 -*-
import re
import urllib
url = "http://www.baidu.com"
content = urllib.urlopen(url).read()
title = re.findall(r'(.*?) ',content)
print title[0]
爬取结果：
注意：上面输出的汉字出现乱码的情况，现对输出的解析方式做出更改
源码如下：
# -*- coding: utf-8 -*-
import re
import urllib
url = "http://www.baidu.com"
content = urllib.urlopen(url).read()
title = re.findall(r'(.*?) ',content)
for t in title:
print unicode(t,'utf-8')#进行转码
更改后输出结果如下：
2、爬取超链接标签间的内容
HTML中超链接的基本结构为：
<a href="网页链接">a>
HTML中超链接的完整结构为：
(1)获取完整的超链接：
# -*- coding: utf-8 -*-
import re
import urllib
url = "http://www.baidu.com/"
content = urllib.urlopen(url).read()
#获取完整的超链接
res = r""
urls = re.findall(res, content)
for i in urls:
print unicode(i,'utf-8')
注意：
res = r""
所使用的正则表达式，符号间不能有空格符，建议在开发中，把使用的正则表达式单独列出来，方便查看与后续的更改。
运行结果：
(2)获取超链接里面的内容
# -*- coding: utf-8 -*-
import re
import urllib
url = "http://www.baidu.com/"
content = urllib.urlopen(url).read()
#获取超链接里面的内容
res = r'(.*?)'
urls = re.findall(res, content,re.S|re.M)
for t in urls:
print unicode(t,'utf-8')
re.M(re.MULTILINE)：允许多行模式
re.S(re.DOTALL)：支持点任意匹配模式
运行结果：
3、爬取HTML表格（tr标签和td标签）间的内容
网页中常用的布局包括table布局或div布局，其中table表格布局中常见的标签包括tr、th和td，表格行为tr（table row），表格数据为td（table data），表格表头th（table heading）。那么如何抓取这些标签之间的内容呢？大多数的网页表格的数据都是通过JS加载的，如贵州财经大学的招生网信息，我们先不对JS加载的数据进行就了解，先来学习一下爬取纯HTML的表格的内容。
预设HTML源码如下：
<html lang="en">
<head>
<meta charset="UTF-8">
<meta name="viewport" content="width=device-width, initial-scale=1.0">
<meta http-equiv="X-UA-Compatible" content="ie=edge">
<title>贵州财经大学2018年理科各省分数线title>
head>
<body>
<table border="1">
<thead>
<tr><th>最高分th><th>平均分th><th>最低分th><th>省控线th><th>录取批次th>tr>
thead>
<tbody>
<tr>
<td>532td><td>455td><td>379td><td>379td><td class="w210">本科二批td>
tr>
<tr>
<td>556td><td>523td><td>491td><td>484td><td class="w210">本科一批td>
tr>
tbody>
table>
body>
html>
运行结果：
（1）截取部分源代码
在我们只需要网页中的一部分代码来进行分析时，我们可以取特定的部分进行爬取，提高分析的效率
# -*- coding: utf-8 -*-
import re
import urllib
url = "file:///G:/gufe.html" #本地预存的网页
content = urllib.urlopen(url).read()
star = content.find(r'') #爬取网页的起点，标签包含在其中
end =content.find(r'
'''
'''