Python爬虫-数据解析学习笔记之正则表达式

1、正则表达式描述

  又称规则表达式(英语:Regular Expression,在代码中常简写为regex、regexp或RE),计算机科学的一个概念。正则表达式通常被用来检索、替换那些符合某个模式(规则)的文本。
  正则表达式是对字符串操作的一种逻辑公式,就是用事先定义好的一些特定字符、及这些特定字符的组合,组成一个“规则字符串”,这个“规则字符串”用来表达对字符串的一种过滤逻辑。

2、匹配单个字符

   A)匹配某个字符串,示例代码如下:

import re
text = 'hello'
ret = re.match('he',text)
print(ret.group())

  运行结果:

he

   B)点.:匹配任意的字符,示例代码如下:

import re
text = "ab"
ret = re.match('.',text)
print(ret.group())

  运行结果:

a

  说明:点.不能匹配不到换行符,示例代码如下:

import re
text = "\n"
ret = re.match('.',text)
print(ret)
print(ret.group())

  运行结果:

None
AttributeError: 'NoneType' object has no attribute 'group'

   C)\d:匹配任意的数字,示例代码如下:

import re
text = "123"
ret = re.match('\d',text)
print(ret.group())

  运行结果:

1

   D)\D:匹配任意的非数字,示例代码如下:

import re
text = "a"
ret = re.match('\D',text)
print(ret.group())

  运行结果:

a

  如果text是等于一个数字,那么就匹配不成功了,示例代码如下:

import re
text = "1"
ret = re.match('\D',text)
print(ret)
print(ret.group())

  运行结果:

None
AttributeError: 'NoneType' object has no attribute 'group'

   E)\s:匹配任意的空白字符(包括\n\t\r,空格等),示例代码如下:

import re
text = "\t"
ret = re.match('\s',text)
print(repr(ret.group()))

  运行结果:

'\t'

   F)\w:匹配的是a~zA~Z、数字和下划线_,示例代码如下:

import re
text = "_"
ret = re.match('\w',text)
print(ret.group())

  运行结果:

_

  如果要匹配一个其他的字符,那么就匹配不到,示例代码如下:

import re
text = "+"
ret = re.match('\w',text)
print(ret)
print(ret.group())

  运行结果:

None
AttributeError: 'NoneType' object has no attribute

   G)\W:匹配与\w相反的,示例代码如下:

import re
text = "+"
ret = re.match('\W',text)
print(ret.group())

  运行结果:

+

  如果text是一个下划线或者英文字符,那么就匹配不到了,示例代码如下:

import re
text = "_"
ret = re.match('\W',text)
print(ret)
print(ret.group())

  运行结果:

None
AttributeError: 'NoneType' object has no attribute

   H)[]:组合方式,只要满足中括号中的某一项都算匹配成功,示例代码如下:

import re
text = "0755-88888888"
ret = re.match('[\d\-]+',text)
print(ret.group())

  运行结果:

0755-88888888

   H.1)[0-9]代替\d,示例代码如下:

import re
text = "09"
ret = re.match('[0-9]',text)
print(ret.group())

  运行结果:

0

   H.2)[^0-9]代替\D,示例代码如下:

import re
text = "a"
ret = re.match('[^0-9]',text)
print(ret.group())

  运行结果:

a

  如果text是等于一个数字,那么就匹配不成功了,示例代码如下:

import re
text = "1"
ret = re.match('[^0-9]',text)
print(ret)
print(ret.group())

  运行结果:

None
AttributeError: 'NoneType' object has no attribute 'group'

   H.3)[0-9a-zA-Z_]代替\w,示例代码如下:

import re
text = "_"
ret = re.match('0-9a-zA-Z_',text)
print(ret.group())

  运行结果:

_

   H.4)[^0-9a-zA-Z_]代替\W,示例代码如下:

import re
text = "+"
ret = re.match('[^0-9a-zA-Z_]',text)
print(ret.group())

  运行结果:

+

  如果text是一个下划线或者英文字符,那么就匹配不到了,示例代码如下:

import re
text = "_"
ret = re.match('[^0-9a-zA-Z_]',text)
print(ret)
print(ret.group())

  运行结果:

None
AttributeError: 'NoneType' object has no attribute
3、匹配多个字符

   A)*:可以匹配0或者任意多个字符,示例代码如下:

import re
text = "0755"
ret = re.match('\d*',text)
print(ret.group())

  运行结果:

0755  # 匹配的要求是\d,那么就要求是数字,后面跟了一个星号,就可以匹配到0755这四个字符。

   B)+:可以匹配1个或者任意多个字符,最少一个,示例代码如下:

import re
text = "abc"
ret = re.match('\w+',text)
print(ret.group())

  运行结果:

abc  # 匹配的是\w,那么就要求是英文字符,后面跟了一个加号,意味着最少要有一个满足\w的字符才能够匹配到

   如果text是一个空白字符或者是一个不满足\w的字符,那么就会报错,示例代码如下:

import re
text = ""
ret = re.match('\w+',text)
print(ret)
print(ret.group())

  运行结果:

None
AttributeError: 'NoneType' object has no attribute

   C)?:匹配的字符可以出现一次或者不出现(0或者1),示例代码如下:

import re
text = "123"
ret = re.match('\d?',text)
print(ret.group())

  运行结果:

1

   D){n}:匹配n个字符,示例代码如下:

import re
text = "123"
ret = re.match('\d{2}',text)
print(ret.group())

  运行结果:

12

   E){m,n}:匹配m-n个字符,在这中间的字符都可以匹配到,示例代码如下:

import re
text = "123"
ret = re.match('\d{1,2}',text)
prit(ret.group())

  运行结果:

12

  如果text只有一个字符,那么也可以匹配出来,示例代码如下:

import re
text = "1"
ret = re.match('\d{1,2}',text)
prit(ret.group())

  运行结果:

1

4、实践案例(1)

   A)验证手机号码:手机号码的规则是以1开头,第二位可以是3456789,后面那9位就可以随意了,示例代码如下:

import re
text = '13985685945'
ret = re.match('1[3-9]\d{9}', text)  # 正则表达式也可以写成“1[^1-2]\d{9}”
print(ret.group())

  运行结果:

13985685945

   B)验证邮箱:邮箱的规则是邮箱名称是用数字、字母、下划线组成的,然后是@符号,后面就是域名了,示例代码如下:

import re
text = '[email protected]'
ret = re.match('\w+@\w+.[a-zA-Z\.]+', text)  # 正则表达式也可以写成'[a-zA-Z0-9_]+@[a-zA-Z0-9_]+.[a-zA-Z\.]+'
print(ret.group())

  运行结果:

[email protected]

   C)验证URL:URL的规则是前面是http或者https或者是ftp然后再加上一个冒号:,再加上两个斜杠//,再后面就是可以出现任意非空白字符了,示例代码如下:

import re
text = 'https://www.baidu.com'
ret = re.match('(http|https|ftp)://[^\s]+', text)
print(ret.group())

  运行结果:

https://www.baidu.com

   D)验证身份证:身份证的规则是,总共有18位,前面17位都是数字,后面一位可以是数字,也可以是小写的x,也可以是大写的X,示例代码如下:

import re
text = '61042219900128264x'
ret = re.match('\d{17}[\dxX]', text)  # 正则表达式也可以写成'\d{17}[0-9xX]'
print(ret.group())

  运行结果:

61042219900128264x

5、其他匹配规则

   A)^:表示以...开始,示例代码如下:

import re
text = "hello"
ret = re.match('^he',text)
print(ret.group())

  运行结果:

he

  说明1:如果^是在中括号[]中,那么代表的是取反操作;
  说明2:re.match()函数本身就是从头开始匹配,所以在使用re.match()函数时可以不使用^约束从头开始匹配。

   B)$:表示以...结束,示例代码如下:

import re
# 匹配163.com的邮箱
text = "[email protected]"
ret = re.match('\[email protected]$',text)
print(ret.group())

  运行结果:

[email protected]

   C)|:匹配多个表达式或者字符串,示例代码如下:

import re
text = "https"
ret = re.match('http|https|ftp',text)
print(ret.group())

  运行结果:

https

   D)贪婪模式和非贪婪模式,贪婪模式—正则表达式会匹配尽量多的字符,默认是贪婪模式。非贪婪模式—正则表达式会尽量少的匹配字符。示例代码如下:

import re
text = "0123456"
ret = re.match('\d+',text)
print(ret.group())  # 因为默认采用贪婪模式,所以会输出0123456

  运行结果:

0123456

   可以改成非贪婪模式,那么就只会匹配到0,示例代码如下:

import re
text = "0123456"
ret = re.match('\d+?',text)
print(ret.group())  # 因为采用采用贪婪模式,所以会输出0

  运行结果:

0

6、实践案例(2)

   匹配0-100之间的数字,示例代码如下:

import re
text = "99"
ret = re.match('[1-9]\d?$|100$',text)
print(ret.group())

   运行结果:

99

7、转义字符和原生字符串

   在正则表达式中,有些字符是有特殊意义的字符,因此如果想要匹配这些字符,那么就必须使用反斜杠\进行转义。比如$代表的是以...结尾,如果想要匹配$,那么就必须使用\$,示例代码如下:

import re
text = "apple price is $99,orange paice is $88"
ret = re.search('\$(\d+)',text)
print(ret.group())

   运行结果:

$99

   原生字符串:在正则表达式中,\是专门用来做转义的,在Python中\也是用来做转义的,因此如果想要在普通的字符串中匹配出\,那么要给出四个\,示例代码如下:

import re
text = "apple \c"
ret = re.search('\\\\c',text)
print(ret.group())

   运行结果:

\c

   因此要使用原生字符串就可以解决这个问题,示例代码如下:

import re
text = "apple \c"
ret = re.search(r'\\c',text)
print(ret.group())

   运行结果:

\c

8、Python的re模块

   A)match()函数:从开始的位置进行匹配,如果开始的位置没有匹配到。就直接失败了,示例代码如下:

import re
text = 'hello'
ret = re.match('h',text)
print(ret.group())

   运行结果:

h

   如果第一个字母不是h,那么就会失败,示例代码如下:

import re
text = 'ahello'
ret = re.match('h',text)
print(ret)
print(ret.group())

   运行结果:

None
AttributeError: 'NoneType' object has no attribute 'group'

   如果想要匹配换行的数据,那么就要传入一个flag=re.DOTALL,就可以匹配换行符了,示例代码如下:

import re
text = "abc\nabc"
ret = re.match('abc.*abc', text, re.DOTALL)
print(ret.group())

   运行结果:

abc
abc

   B)search()函数:在字符串中找满足条件的字符,如果找到,就返回,说白了,就是只会找到第一个满足条件的,示例代码如下:

import re
text = 'apple price $99 orange price $88'
ret = re.search('\$\d+',text)
print(ret.group())

   运行结果:

$99

   C)分组:在正则表达式中,可以对过滤到的字符串进行分组。分组使用圆括号的方式。
   a)group:和group(0)是等价的,返回的是整个满足条件的字符串;
   b)groups:返回的是里面的子组,索引从1开始;
   c)group(1):返回的是第一个子组,可以传入多个。
   示例代码如下:

import re
text = "apple price is $99,orange price is $10"
ret = re.search(r".*(\$\d+).*(\$\d+)",text)
print(ret.group())
print(ret.group(0))
print(ret.group(1))
print(ret.group(2))
print(ret.group(1, 2))
print(ret.groups())

   运行结果:

apple price is $99,orange price is $10
apple price is $99,orange price is $10
$99
$10
('$99', '$10')
('$99', '$10')

   D)findall()函数:找出所有满足条件的,返回的是一个列表,示例代码如下:

import re
text = 'apple price $99 orange price $88'
ret = re.findall('\$\d+', text)
print(ret)

   运行结果:

['$99', '$88']

   E)sub()函数:用来替换字符串,将匹配到的字符串替换为其他字符串,示例代码如下:

import re
text = 'apple price $99 orange price $88'
ret = re.sub('\d+', '0', text)
print(ret)

   运行结果:

apple price $0 orange price $0

   sub函数的案例,获取拉勾网中的数据,示例代码如下:

import re
import re
html = """

基本要求:

1、精通HTML5、CSS3、 JavaScript等Web前端开发技术,对html5页面适配充分了解,熟悉不同浏览器间的差异,熟练写出兼容各种浏览器的代码;

2、熟悉运用常见JS开发框架,如JQuery、vue、angular,能快速高效实现各种交互效果;

3、熟悉编写能够自动适应HTML5界面,能让网页格式自动适应各款各大小的手机;

4、利用HTML5相关技术开发移动平台、PC终端的前端页面,实现HTML5模板化;

5、熟悉手机端和PC端web实现的差异,有移动平台web前端开发经验,了解移动互联网产品和行业,有在Android,iOS等平台下HTML5+CSS+JavaScript(或移动JS框架)开发经验者优先考虑;6、良好的沟通能力和团队协作精神,对移动互联网行业有浓厚兴趣,有较强的研究能力和学习能力;

7、能够承担公司前端培训工作,对公司各业务线的前端(HTML5\CSS3)工作进行支撑和指导。


岗位职责:

1、利用html5及相关技术开发移动平台、微信、APP等前端页面,各类交互的实现;

2、持续的优化前端体验和页面响应速度,并保证兼容性和执行效率;

3、根据产品需求,分析并给出最优的页面前端结构解决方案;

4、协助后台及客户端开发人员完成功能开发和调试;

5、移动端主流浏览器的适配、移动端界面自适应研发。

""" ret = re.sub('',"",html) print(ret)

   运行结果:

基本要求:
1、精通HTML5、CSS3、 JavaScript等Web前端开发技术,对html5页面适配充分了解,熟悉不同浏览器间的差异,熟练写出兼容各种浏览器的代码;
2、熟悉运用常见JS开发框架,如JQuery、vue、angular,能快速高效实现各种交互效果;
3、熟悉编写能够自动适应HTML5界面,能让网页格式自动适应各款各大小的手机;
4、利用HTML5相关技术开发移动平台、PC终端的前端页面,实现HTML5模板化;
5、熟悉手机端和PC端web实现的差异,有移动平台web前端开发经验,了解移动互联网产品和行业,有在Android,iOS等平台下HTML5+CSS+JavaScript(或移动JS框架)开发经验者优先考虑;6、良好的沟通能力和团队协作精神,对移动互联网行业有浓厚兴趣,有较强的研究能力和学习能力;
7、能够承担公司前端培训工作,对公司各业务线的前端(HTML5\CSS3)工作进行支撑和指导。

岗位职责:
1、利用html5及相关技术开发移动平台、微信、APP等前端页面,各类交互的实现;
2、持续的优化前端体验和页面响应速度,并保证兼容性和执行效率;
3、根据产品需求,分析并给出最优的页面前端结构解决方案;
4、协助后台及客户端开发人员完成功能开发和调试;
5、移动端主流浏览器的适配、移动端界面自适应研发。

   F)split()函数:使用正则表达式来分割字符串,示例代码如下:

import re
text = "hello world ni hao"
ret = re.split('\W', text)
print(ret)

   运行结果:

["hello","world","ni","hao"]

   G)compile()函数:对于一些经常要用到的正则表达式,可以使用compile进行编译,后期再使用的时候可以直接拿过来用,执行效率会更快,而且compile还可以指定flag=re.VERBOSE,在写正则表达式的时候可以做好注释,示例代码如下:

import re
text = "the number is 20.50"
r = re.compile(r"""
                \d+ # 小数点前面的数字
                \.? # 小数点
                \d* # 小数点后面的数字
                """, re.VERBOSE)
ret = re.search(r, text)
print(ret.group())

   运行结果:

20.50

你可能感兴趣的:(Python爬虫-数据解析学习笔记之正则表达式)