2-Python 基本的正则表达式

本章概要：
　　PyCharm的安装与配置
　　正则表达式符号与方法
　　正则表达式的应用举例
　　实例--制作文本爬虫

1、PyCharm的安装与配置

PyCharm是由JetBrains开发的Python集成开发环境(IDE), 支持调试、语法、高亮、Project管理、代码跳转、智能提示、自动完成、单元测试、版本控制等常用功能。

一、PyCharm的安装

1、PyCharm 官方首页: http://www.jetbrains.com/pycharm/

2、PyCharm 配置
　　字体、行号

３、PyCharm的使用
　　运行、调试代码

---

2、正则表达式符号与方法

常用符号：点号，星号，问号和括号
　　常用方法：findall, search, sub
　　常用技巧

---

一、常用符号

.：匹配任意字符，换行符\n除外
　　*****：匹配前一个字符0次或无限次
　　?：匹配前一个字符0次或1次
　　.*****：贪心算法
　　.*?：非贪心算法
　　()：括号内的数据作为结果返回

二、常用方法

• findall：匹配所有符合规律的内容，返回包含结果的列表
• search：匹配并提取第一个符合规律的内容，返回一个正则表达式（object）
• sub:替换符合规律的内容，返回替换后的值

1、.使用
.：匹配任意字符，换行符\n除外

import re

#.的使用举例
a = 'xy123'
b = re.findall('x.',a)
print b

>>> 
['xy']

import re

#.的使用举例
a = 'xy123'
b = re.findall('x..',a)
print b

>>> 
['xy1']

import re

#.的使用举例
a = 'xy123'
b = re.findall('x...',a)
print b

>>> 
['xy12']

2、*****的使用
*：匹配前一个字符0次或无限次

import re

#*的使用举例
a = 'xyxy123'
b = re.findall('x*',a)
print b

>>> 
['x', '', 'x', '', '', '', '', '']

3、?的使用
?：匹配前一个字符0次或1次

import re

#?的使用举例
a = 'xy123'
b = re.findall('x?',a)
print b

>>> 
['x', '', '', '', '', '']

上面的内容全部都是只需要了解即可，需要掌握的只有下面这一种组合方式(.?)*

4、.*****的使用
.*****：贪心算法

import re

#.*的使用举例
secret_code = 'hadkfalifexxIxxfasdjifja134xxlovexx23345sdfxxyouxx8dfse'
b = re.findall('xx.*xx',secret_code)
print b

>>> 
['xxIxxfasdjifja134xxlovexx23345sdfxxyouxx']

5、.*****?：贪心算法

import re

secret_code = 'hadkfalifexxIxxfasdjifja134xxlovexx23345sdfxxyouxx8dfse'

#.*？的使用举例
c = re.findall('xx.*?xx',secret_code)
print c

>>> 
['xxIxx', 'xxlovexx', 'xxyouxx']

6、()的使用

import re

secret_code = 'hadkfalifexxIxxfasdjifja134xxlovexx23345sdfxxyouxx8dfse'

#使用括号与不使用括号的差别
d = re.findall('xx(.*?)xx',secret_code)
print d
for each in d:
    print each

>>> 
['I', 'love', 'you']
I
love
you

import re

s = '''sdfxxhello
xxfsdfxxworldxxasdf'''

d = re.findall('xx(.*?)xx',s)
print d

>>> 
['fsdf']

re.S的作用，使得.包括\n

import re

s = '''sdfxxhello
xxfsdfxxworldxxasdf'''

d = re.findall('xx(.*?)xx',s, re.S)
print d

>>> 
['hello\n', 'world']

findall与search的使用
对比findall与search的区别

import re

secret_code = 'hadkfalifexxIxxfasdjifja134xxlovexx23345sdfxxyouxx8dfse'

# 对比findall与search的区别
s2 = 'asdfxxIxx123xxlovexxdfd'
f = re.search('xx(.*?)xx123xx(.*?)xx',s2).group(1)
print f

>>> 
I

import re

# 对比findall与search的区别
s2 = 'asdfxxIxx123xxlovexxdfd'
f = re.search('xx(.*?)xx123xx(.*?)xx',s2).group(2)
print f

>>> 
love

当把2换成3，代码报错。
有几个括号就有几个输出，即相当于列表中有几个元素，使用group调用。

import re

# 对比findall与search的区别
s2 = 'asdfxxIxx123xxlovexxdfd'
f2 = re.findall('xx(.*?)xx123xx(.*?)xx',s2)
print f2[0][1]

>>> 
love

sub的使用

import re

#sub的使用举例
s = '123rrrrr123'
output = re.sub('123(.*?)123','123%d123'%789,s)
print output

>>> 
123789123

三、常用技巧

import re
　　from re import *
　　from re import findall, search, sub, S
　　不需要compile
　　使用\d+匹配纯数字

import re
from re import findall,search,S

secret_code = 'hadkfalifexxIxxfasdjifja134xxlovexx23345sdfxxyouxx8dfse'

# 演示不同的导入方法
info = findall('xx(.*?)xx',secret_code,S)
for each in info:
    print each

>>> 
I
love
you

注意：

• 千万不要使用 S 的形式，容易混淆
• 在确定只有一个内容时，使用search可以提高效率

compile的使用
不建议使用compile,因为findal已经采用了compile的方法了

import re
from re import findall,search,S

secret_code = 'hadkfalifexxIxxfasdjifja134xxlovexx23345sdfxxyouxx8dfse'

#不要使用compile
pattern = 'xx(.*?)xx'
new_pattern = re.compile(pattern,re.S)
output = re.findall(new_pattern,secret_code)
print output

>>> 
['I', 'love', 'you']

匹配纯数字

import re

#匹配数字
a = 'asdfasf1234567fasd555fas'
b = re.findall('(\d+)',a)
print b

>>> 
['1234567', '555']

---

3、正则表达式的应用

课程概要：
　　使用findall与search从大量文本中匹配感兴趣的内容
　　使用sub实现幻夜内容

匹配多段内容：
　　灵活使用findall与search
　　先抓大后抓小

实现翻页：

• 实验网址：http://www.jikexueyuan.com/course/android/?pageNum=2
• 核心代码：
  　　new_link=re.sub("pageNum=\d", "pageNum=%d+"%i, old_url)

【text.txt】

  
    
  
  
    
欢迎参加《Python定向爬虫入门课程》
      

        

          
这是第一条
          
这是第二条
          
这是第三条
        
      
    
  

【代码】

# -*- coding:utf8 -*-

import re
old_url="http://www.jikexueyuan.com/course/android/?pageNum=2"
total_page=20

f=open("text.txt", r)
html=f.read()
f.close()

# 爬标题
title=re.search("