scrapy爬虫基础知识之正则表达式

正则表达式

作用:
判断某个子串是否符合某个模式，并提取关键部分

正则表达式常用限定词含义

^b 代表以b开头
.  v代表任意字符
*  代表前面字符可以重复任意多次（包括0次）
.* 代表任意字符串
3$ 字符串必须以3结尾
？非贪婪匹配模式
+ 出现至少一次
{1} 限定前面字符出现的次数为1次
{2,} 限定前面字符出现的次数至少两次
{2,5} 限定前面字符出现的次数至少两次最多5次
str1|str2 匹配到str1或str2
regex_str = "^b.*"  （以b为开头的任意字串）
[abcd] 可以为abcd中任何一个字符
[0-9] 0-9区间的任意数字
[^1] 不为1
[] 内的字符没有特殊含义 [*]就是*本身
\s 代表空格
\S 代表非空格
\w 效果等于[a-zA-Z0-9_]
\W 代表非[a-zA-Z0-9_]
[\u4E00-\u9FA5]代表是个汉字
\d  数字

实例

import re  # 导入正则表达式包
regex_str = "^b.*" # 模式串
line = "b1"  # 待匹配串
print(re.match(regex_str,line)) 

进行匹配，如果成功返回模式匹配的变量
结果:
<_sre.SRE_Match object; span=(0, 2), match='b1'>

正则表达式的贪婪匹配

• 匹配项 line = "gooooogg"
• 模式串 regex_str = ".(g.g).*"
  () 代表提取具有该特征的子串

match_obj = re.match(regex_str,line)
match_obj.group(1)返回匹配的一个特征子串，即（）内的东西

结果为gg 而不是gooooog
原因为 ：括号两端字符 (g 和 g)
为由贪婪匹配得到的，最后一个满足要求的字符

regex_str = ".*？(g.*g).*"
？表示非贪婪匹配，返回第一个符合要求的字符
这次输出为 gooooogg

原因 ：
虽然第一个g是非贪婪匹配到的，符合要求的第一个字符，但是第二个g还是贪婪匹配（前面没有？），匹配到最后的g

修正 regex_str = "*？(g.*？g).*"
输出为 gooooog

".*(b.+b).*"
提取的子串b和b之前至少有一个字符

"(b|a)123"能匹配到b123或者a123

电话号码常见匹配
（1[48357][0-9]{9}

比如要提取 study in 北京大学字段
regex_str = .*（[\u4E00-\u9FA5]+大学）
最后只能匹配到京大学
需要使用 .*？（[\u4E00-\u9FA5]+大学）
取消贪婪匹配

提取”出生于1999年“的年份
".(\d+)年" 只能提取到9年
可以".？(\d+)年" 取消贪婪
或者".*(\d{4})年"

综合实例 - 处理不同格式的生日提取

line = "xxx出生于1999/10/1"
line = "xxx出生于1999-10-1"
line = "xxx出生于199910-01"
line = "xxx出生于1999-10"

regex_str=".*出生于（\d{4}[年/-]\d{1,2}([月/-]$|\[月/-]d{1,2})|$）"

因为最后的结尾有三种可能

其他

• scrapy基于twisted的异步IO框架，性能是其最大优势。
• scrapy内置 css/xpath selector，能方便地对html进行分析
• beautifulsoup重要缺点 ：慢