常用模块

一、re正则模块

1.正则符号

在线测试工具 http://tool.chinaz.com/regex/

贪婪匹配：
    默认都是贪婪匹配。贪婪匹配都是取大，比如:   *表示更多次、+表示多次、?表示一次，当然这只是默认的，当默认贪婪匹配不到，就会*表示零次、+表示一次、？表示零次

取消贪婪匹配：
    量词后面加问号（？）。 eg: 待匹配：李杰和李莲英和李二棍子    正则表达式：李.+?  结果：李杰   李莲  李二    ，因为+后面跟了？，所以+表示一次
        
    res3 = re.findall('李.?','李杰和李莲英和李二棍子')
    print(res3)
    # 结果：['李杰', '李莲', '李二']
    
转义符：

\   :   取消转义

　　eg:  \\n 表示\n

2.正则方法

1.findall(全文查找返回):

​ 1.找出字符串中符合正则的内容
​ 2.返回列表，列表中是正则表达匹配的内容

res = re.findall('a','asd jeff ball')
res1 = re.findall('[a-z]+','asd jeff ball')
print(res1)

结果：

2.search(从上至下查找):

1.返回一个对象，必须调用group才能看到结果
2.根据正则查找一次，只要查到结果就不会往后查找
3.当查找结果不存在（返回的None），再调用group直接报错，因为none没有group方法

res2 = re.search('a','asd jeff ball')
if res2:
    print(res2.group())
 # 结果 ： a

3.match(匹配开头):

1.match匹配字符串开头
2.没有同样返回None
3.同样调用group报错

res3 = re.match('a','asd jeff ball')
if res3:
    print(res3.group())
    # 结果： a

res3 = re.match('a','sd jeff ball')
print(res3.group())
# 结果：报错，返回值为None,没有grop()这个方法

结果： 报错

4.split(切割)：

ret = re.split('[ab]', 'abcd') # 先按'a'分割得到''和'bcd',在对''和'bcd'分别按'b'分割
print(ret) # ['', '', 'cd']

str = "abcd,ssdhu,123"
print (str.split( )  )    # 以空格为分隔符，包含 \n
print (str.split(' ,', 1 ) )# 以逗号为分隔符，分隔成两个
# 结果：   ['abcd,ssdhu,123']
        ['abcd,ssdhu,123']

5.sub(替换)

ret = re.sub('999', 'H', 'jeff age max 999 8884', 2)# 将数字替换成'H'，参数1表示只替换1个

print(ret)  
# 结果： jeff age max H 8884

6.subn(替换，返回元组)

ret = re.subn('4', '换', 'eva3egon4yuan4')  # 将数字替换成'H'，返回元组(替换的结果,替换了多少次)
print(ret)
# 结果：
('eva3egon换yuan换', 2)   2：替换了两次

7.compile(正则封装为对象)

obj = re.compile('\d{3}')  #将正则表达式编译成为一个 正则表达式对象，规则要匹配的是3个数字
ret = obj.search('abc123eeee') #正则表达式对象调用search，参数为待匹配的字符串
print(ret.group())  #结果 ： 123

8.finditer(迭代)

ret = re.finditer('\d', 'ds3sy4784a')   #finditer返回一个存放匹配结果的迭代器
print(ret)  # 
print(next(ret).group())  #查看第一个结果
print(next(ret).group())  #查看第二个结果
print([i.group() for i in ret])  #查看剩余的左右结果

9.分组

res = re.search('^[1-9]\d{14}(\d{2}[0-9x])?$',110105199812067023
print(res)

print(res.group(1))  # 获取正则表达式括号阔起来分组的内容
print(res.group(2))  # search与match均支持获取分组内容的操作  跟正则无关是python机制

10.起别名：

re.search('^[1-9]?P(\d{14})(\d{2}[0-9x])?$',110105199812067023)
print(res.group(passwd))

3.正则应用场景

- 爬虫: re, BeautifulSoup4, Xpath, selector
- 数据分析过滤数据: re, pandas, numpy...
- 用户名与密码、手机认证：检测输入内容的合法性

4.正则练习

import re

ret = re.findall('a', 'eva egon yuan')  # 返回所有满足匹配条件的结果,放在列表里
print(ret) #结果 : ['a', 'a']

ret = re.search('a', 'eva egon yuan').group()
print(ret) #结果 : 'a'
# 函数会在字符串内查找模式匹配,只到找到第一个匹配然后返回一个包含匹配信息的对象,该对象可以
# 通过调用group()方法得到匹配的字符串,如果字符串没有匹配，则返回None。

ret = re.match('a', 'abc').group()  # 同search,不过尽在字符串开始处进行匹配
print(ret)
#结果 : 'a'

ret = re.split('[ab]', 'abcd')  # 先按'a'分割得到''和'bcd',在对''和'bcd'分别按'b'分割
print(ret)  # ['', '', 'cd']

ret = re.sub('\d', 'H', 'eva3egon4yuan4', 1)#将数字替换成'H'，参数1表示只替换1个
print(ret) #evaHegon4yuan4

ret = re.subn('\d', 'H', 'eva3egon4yuan4')#将数字替换成'H'，返回元组(替换的结果,替换了多少次)
print(ret)

obj = re.compile('\d{3}')  #将正则表达式编译成为一个 正则表达式对象，规则要匹配的是3个数字
ret = obj.search('abc123eeee') #正则表达式对象调用search，参数为待匹配的字符串
print(ret.group())  #结果 ： 123

import re
ret = re.finditer('\d', 'ds3sy4784a')   #finditer返回一个存放匹配结果的迭代器
print(ret)  # 
print(next(ret).group())  #查看第一个结果
print(next(ret).group())  #查看第二个结果
print([i.group() for i in ret])  #查看剩余的左右结果

1.findall 的优先级查询

import re

ret = re.findall('www.(baidu|oldboy).com', 'www.oldboy.com')
print(ret)  # ['oldboy']     这是因为findall会优先把匹配结果组里内容返回,如果想要匹配结果,取消权限即可

ret = re.findall('www.(?:baidu|oldboy).com', 'www.oldboy.com')
print(ret)  # ['www.oldboy.com']

2.split 的优先级查询

ret=re.split("\d+","eva3egon4yuan")
print(ret) #结果 ： ['eva', 'egon', 'yuan']

ret=re.split("(\d+)","eva3egon4yuan")
print(ret) #结果 ： ['eva', '3', 'egon', '4', 'yuan']

#在匹配部分加上（）之后所切出的结果是不同的，
#没有（）的没有保留所匹配的项，但是有（）的却能够保留了匹配的项，
#这个在某些需要保留匹配部分的使用过程是非常重要的。

5.综合练习与扩展

1.匹配标签

import re


ret = re.search("<(?P\w+)>\w+","
hello
")
#还可以在分组中利用?的形式给分组起名字
#获取的匹配结果可以直接用group('名字')拿到对应的值
print(ret.group('tag_name'))  #结果 ：h1
print(ret.group())  #结果 ：
hello

ret = re.search(r"<(\w+)>\w+","
hello
")
#如果不给组起名字，也可以用\序号来找到对应的组，表示要找的内容和前面的组内容一致
#获取的匹配结果可以直接用group(序号)拿到对应的值
print(ret.group(1))
print(ret.group())  #结果 ：
hello

2.匹配整数

import re

ret=re.findall(r"\d+","1-2*(60+(-40.35/5)-(-4*3))")
print(ret) #['1', '2', '60', '40', '35', '5', '4', '3']
ret=re.findall(r"-?\d+\.\d*|(-?\d+)","1-2*(60+(-40.35/5)-(-4*3))")
print(ret) #['1', '-2', '60', '', '5', '-4', '3']
ret.remove("")
print(ret) #['1', '-2', '60', '5', '-4', '3']

3.数字匹配

1、 匹配一段文本中的每行的邮箱
      http://blog.csdn.net/make164492212/article/details/51656638

2、 匹配一段文本中的每行的时间字符串，比如：‘1990-07-12’；

   分别取出1年的12个月（^(0?[1-9]|1[0-2])$）、
   一个月的31天：^((0?[1-9])|((1|2)[0-9])|30|31)$

3、 匹配qq号。(腾讯QQ号从10000开始)  ［1,9］[0,9]{4,}

4、 匹配一个浮点数。       ^(-?\d+)(\.\d+)?$   或者  -?\d+\.?\d*

5、 匹配汉字。             ^[\u4e00-\u9fa5]{0,}$ 

6、 匹配出所有整数

4.爬虫练习

import requests

import re
import json

def getPage(url):

    response=requests.get(url)
    return response.text

def parsePage(s):
    
    com=re.compile('
.*?
.*?(?P\d+).*?(?P