正则匹配---爬虫中常用的
文章转自：http://blog.csdn.net/skyeyesxy/article/details/50837984
正则表达式学习链接：http://www.runoob.com/python/python-reg-expressions.html
1.正则表达式的符号与方法
常用符号：点号，星号，问号与括号（小括号）
- .:匹配任意字符，换行符\n除外
- *:匹配前一个字符0次或无限次
- ?:匹配前一个字符0次或1次
- .*:贪心算法
- .*?:非贪心算法
- ():括号内的数据作为结果返回
常用方法：findall， search， sub
- findall：匹配所有符合规律的内容，返回包含结果的列表
- search：匹配并提取第一个规律的内容，返回一个正则表达式对象(object)
- sub：替换符合规律的内容，返回替换后的值
1)findall
a.点号.
import re
a = 'xz123'
b = re.findall('x.', a)
print a- 1
- 2
- 3
- 4
- 输出
['xz']
点.是一个占位符，一个.代表一个符号
b.星号*
import re
a = 'xyxy123'
b = re.findall('x*', a)
print b- 1
- 2
- 3
- 4
- 输出
['x', '', 'x', '', '', '', '', '']
依次匹配字符，有则显示，无则显示''(空)。
c.问号?
import re
a = 'xy123'
b = re.findall('x?', a)
print b- 1
- 2
- 3
- 4
- 单独与
*一样，前面附加其他的符号将做非贪心限制
d.贪心.*
import re
secret_code = 'ghkj08hs68xxIxxa14kgj4w314exxlovexxbvk14rgjhxxyouxxfj4286ykjhag2'
b = re.findall('xx.*xx', secret_code)
print b- 1
- 2
- 3
- 4
- 输出
['xxIxxa14kgj4w314exxlovexxbvk14rgjhxxyouxx']
只要满足条件全部显示，贪心算法
e.非贪心.*?
b = re.findall('xx.*?xx', secret_code)- 1
- 输出
['xxIxx', 'xxlovexx', 'xxyouxx']
以上只做了解，一般只用（.*?）
f.经典用法(.*?)
b = re.findall('xx(.*?)xx', secret_code)- 1
- 输出
['I', 'love', 'you']
()包围所需要的内容，括号内的内容作为结果返回，不需要的内容放在括号外面
2)re.S
import re
secret_code = '''ghkj08hs68xxIxxa14kgj4w314exxlove
xxbvk14rgjhxxyouxxfj4286ykjhag2'''
#love后有换行符
b = re.findall('xx(.*?)xx', secret_code)
print b- 1
- 2
- 3
- 4
- 5
- 6
- 输出
['I', 'bvk14rgjh']，因为.不能匹配换行符。所以会一行为一个搜索项去找。匹配任何字符除了新的一行
import re
secret_code = '''ghkj08hs68xxIxxa14kgj4w314exxlove
xxbvk14rgjhxxyouxxfj4286ykjhag2'''
#love后有换行符
b = re.findall('xx(.*?)xx', secret_code, re.S)
print b- 1
- 2
- 3
- 4
- 5
- 6
- 输出
['I', 'love\n', 'you']，re.S让.匹配所有行，包括了换行符（以\n的形式出现）
3)search
re.search(pattern, string, flags=0)
对比search和findall的区别
- search 找到一个后返回，不继续，可大大提高效率
- findall遍历全部，找到尽可能多的项
import re
s2 = '''ghkj08hs68xxIxx123xxlove
xxbvk14rgjhxxfj4286ykjhag2'''
b = re.search('xx(.*?)xx(.*?)xx', s2, re.S).group(1)
print b- 1
- 2
- 3
- 4
- 5
- 输出
I.group(2)输出123.group(3)报错
group是按括号顺序匹配
import re
s2 = '''ghkj08hs68xxIxx123xxlovexxbvk14rgjhxxfj4286ykjhag2'''
f2 = re.findall('xx(.*?)xx123xx(.*?)xx', s2, re.S) #findall没有group
print f2[0][1] #结果是一个元组构成的列表 [('I', '123')]- 1
- 2
- 3
- 4
- 输出123
search匹配的结果返回一个一个的group，如上面的xxIxx123xx匹配成功，group（1）->I,group(2)->123
findall匹配后结果返回一个一个的元组，并且这些元组构成一个list，如上面的如上面的xxIxx123xx匹配成功，结果为
[('I', '123')]，如果后面还有一组可以匹配成功的，xxbxxvxx，结果为 [('I', '123'), ('b', 'v')]
4)sub
re.sub(pattern, repl, string, count=0, flags=0)
参数：
- pattern : 正则中的模式字符串。
- repl : 替换的字符串，也可为一个函数。
- string : 要被查找替换的原始字符串。
- count : 模式匹配后替换的最大次数，默认 0 表示替换所有的匹配。
import re
s = '123abcssfasdfas123'
output = re.sub('123(.*?)123', '123789123', s)
print output- 1
- 2
- 3
- 4
- 输出
123789123- sub将符合条件的()内内容提换，括号是一个小单元，以括号为单位。
5)注意：
from re import findall, search, S
最好不要引入，因为S等容易和变量等混淆，引起歧义
6)compile用法
import re
secret_code = '''ghkj08hs68xxIxxa14kgj4w314exxlove
xxbvk14rgjhxxyouxxfj4286ykjhag2'''
pattern = 'xx(.*?)xx'
new_pattern = re.compile(pattern, re.S)
b = re.findall(new_pattern, secret_code)
print b- 1
- 2
- 3
- 4
- 5
- 6
- 7
因为findall自动调用compile方法，所以不先编译规律compile再匹配
7)匹配纯数字(\d+)
import re
a = 'dfhkgh43gfhja873y5t2167715'
b = re.findall('(\d+)', a)
print b- 1
- 2
- 3
- 4
- 输出
['43', '873', '5', '2167715']
2.应用举例
1)用findall和search从大量文本中匹配内容
a.提取标题
import re
old_url = 'http://www.jikexueyuan.com/course/android/?pageNum=2'
total_page = 20
f = open('text.txt', 'r')
html = f.read()
f.close()
title = re.search('(.*?) ', html, re.S).group(1)
print title- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
text.txt
<html>
<head>
<title>极客学院爬虫测试title>
head>
<body>
<div class="topic"><a href="http://jikexueyuan.com/welcome.html">欢迎参加《Python定向爬虫入门》a>
<div class="list">
<ul>
<li><a href="http://jikexueyuan.com/1.html">这是第一条a>li>
<li><a href="http://jikexueyuan.com/2.html">这是第二条a>li>
<li><a href="http://jikexueyuan.com/3.html">这是第三条a>li>
ul>
div>
div>
body>
html>- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 输出
极客学院爬虫测试
b.提取网址
link = re.findall('href="(.*?)"', html, re.S)
for each in link:
print each- 1
- 2
- 3
输出
http://jikexueyuan.com/welcome.html
http://jikexueyuan.com/1.html
http://jikexueyuan.com/2.html
http://jikexueyuan.com/3.html
c.提取文字信息
先爬大再爬小
text_fied = re.findall('(.*?)
', html, re.S)[0] #使用了非贪婪匹配
the_text = re.findall('">(.*?)', text_fied, re.S) #使用了非贪婪匹配
for every_text in the_text:
print every_text- 1
- 2
- 3
- 4
2)用sub实现翻页功能
for i in range(2, total_page+1):
new_link = re.sub('pageNum=\d+', 'pageNum=%d'%i, old_url, re.S)
print new_link- 1
- 2
- 3
3.实战
目标网站：http://www.jikexueyuan.com/
目标内容：课程图片
实现原理：
- 1.保存网页的源代码
- 2.Python读文件加载源代码
- 3.正则表达式提取图片网址
- 4.下载图片
文本爬虫，半自动爬虫，人工爬虫
import re
import requests
f = open('sourse.txt', 'r')
html = f.read()
f.close()
pic_url = re.findall('img src="(.*?)" class="lessonimg"', html, re.S)
i = 0
for each in pic_url:
print 'now downloading:' + each
pic = requests.get(each)
fp = open('pic\\' + str(i) + '.jpg', 'wb')
fp.write(pic.content)
fp.close()
i += 1- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
import requests实现保存图片的功能
正则表达式学习链接：http://www.runoob.com/python/python-reg-expressions.html
正则表达式修饰符 - 可选标志
正则表达式可以包含一些可选标志修饰符来控制匹配的模式。修饰符被指定为一个可选的标志。多个标志可以通过按位 OR(|) 它们来指定。如 re.I | re.M 被设置成 I 和 M 标志：
| 修饰符 | 描述 |
|---|---|
| re.I | 使匹配对大小写不敏感 |
| re.L | 做本地化识别（locale-aware）匹配 |
| re.M | 多行匹配，影响 ^ 和 $ |
| re.S | 使 . 匹配包括换行在内的所有字符 |
| re.U | 根据Unicode字符集解析字符。这个标志影响 \w, \W, \b, \B. |
| re.X | 该标志通过给予你更灵活的格式以便你将正则表达式写得更易于理解。 |
正则表达式模式
模式字符串使用特殊的语法来表示一个正则表达式：
字母和数字表示他们自身。一个正则表达式模式中的字母和数字匹配同样的字符串。
多数字母和数字前加一个反斜杠时会拥有不同的含义。
标点符号只有被转义时才匹配自身，否则它们表示特殊的含义。
反斜杠本身需要使用反斜杠转义。
由于正则表达式通常都包含反斜杠，所以你最好使用原始字符串来表示它们。模式元素(如 r'\t'，等价于 '\\t')匹配相应的特殊字符。
下表列出了正则表达式模式语法中的特殊元素。如果你使用模式的同时提供了可选的标志参数，某些模式元素的含义会改变。
| 模式 | 描述 |
|---|---|
| ^ | 匹配字符串的开头 |
| $ | 匹配字符串的末尾。 |
| . | 匹配任意字符，除了换行符，当re.DOTALL标记被指定时，则可以匹配包括换行符的任意字符。 |
| [...] | 用来表示一组字符,单独列出：[amk] 匹配 'a'，'m'或'k' |
| [^...] | 不在[]中的字符：[^abc] 匹配除了a,b,c之外的字符。 |
| re* | 匹配0个或多个的表达式。 |
| re+ | 匹配1个或多个的表达式。 |
| re? | 匹配0个或1个由前面的正则表达式定义的片段，非贪婪方式 |
| re{ n} | |
| re{ n,} | 精确匹配n个前面表达式。 |
| re{ n, m} | 匹配 n 到 m 次由前面的正则表达式定义的片段，贪婪方式 |
| a| b | 匹配a或b |
| (re) | G匹配括号内的表达式，也表示一个组 |
| (?imx) | 正则表达式包含三种可选标志：i, m, 或 x 。只影响括号中的区域。 |
| (?-imx) | 正则表达式关闭 i, m, 或 x 可选标志。只影响括号中的区域。 |
| (?: re) | 类似 (...), 但是不表示一个组 |
| (?imx: re) | 在括号中使用i, m, 或 x 可选标志 |
| (?-imx: re) | 在括号中不使用i, m, 或 x 可选标志 |
| (?#...) | 注释. |
| (?= re) | 前向肯定界定符。如果所含正则表达式，以 ... 表示，在当前位置成功匹配时成功，否则失败。但一旦所含表达式已经尝试，匹配引擎根本没有提高；模式的剩余部分还要尝试界定符的右边。 |
| (?! re) | 前向否定界定符。与肯定界定符相反；当所含表达式不能在字符串当前位置匹配时成功 |
| (?> re) | 匹配的独立模式，省去回溯。 |
| \w | 匹配字母数字及下划线 |
| \W | 匹配非字母数字及下划线 |
| \s | 匹配任意空白字符，等价于 [\t\n\r\f]. |
| \S | 匹配任意非空字符 |
| \d | 匹配任意数字，等价于 [0-9]. |
| \D | 匹配任意非数字 |
| \A | 匹配字符串开始 |
| \Z | 匹配字符串结束，如果是存在换行，只匹配到换行前的结束字符串。c |
| \z | 匹配字符串结束 |
| \G | 匹配最后匹配完成的位置。 |
| \b | 匹配一个单词边界，也就是指单词和空格间的位置。例如， 'er\b' 可以匹配"never" 中的 'er'，但不能匹配 "verb" 中的 'er'。 |
| \B | 匹配非单词边界。'er\B' 能匹配 "verb" 中的 'er'，但不能匹配 "never" 中的 'er'。 |
| \n, \t, 等. | 匹配一个换行符。匹配一个制表符。等 |
| \1...\9 | 匹配第n个分组的内容。 |
| \10 | 匹配第n个分组的内容，如果它经匹配。否则指的是八进制字符码的表达式。 |
正则表达式实例
字符匹配
| 实例 | 描述 |
|---|---|
| python | 匹配 "python". |
字符类
| 实例 | 描述 |
|---|---|
| [Pp]ython | 匹配 "Python" 或 "python" |
| rub[ye] | 匹配 "ruby" 或 "rube" |
| [aeiou] | 匹配中括号内的任意一个字母 |
| [0-9] | 匹配任何数字。类似于 [0123456789] |
| [a-z] | 匹配任何小写字母 |
| [A-Z] | 匹配任何大写字母 |
| [a-zA-Z0-9] | 匹配任何字母及数字 |
| [^aeiou] | 除了aeiou字母以外的所有字符 |
| [^0-9] | 匹配除了数字外的字符 |
特殊字符类
| 实例 | 描述 |
|---|---|
| . | 匹配除 "\n" 之外的任何单个字符。要匹配包括 '\n' 在内的任何字符，请使用象 '[.\n]' 的模式。 |
| \d | 匹配一个数字字符。等价于 [0-9]。 |
| \D | 匹配一个非数字字符。等价于 [^0-9]。 |
| \s | 匹配任何空白字符，包括空格、制表符、换页符等等。等价于 [ \f\n\r\t\v]。 |
| \S | 匹配任何非空白字符。等价于 [^ \f\n\r\t\v]。 |
| \w | 匹配包括下划线的任何单词字符。等价于'[A-Za-z0-9_]'。 |
| \W | 匹配任何非单词字符。等价于 '[^A-Za-z0-9_]'。 |