Python 爬虫库以及库函数总结&&踩坑

 

1. Re库的基本使用

• Re库介绍：

  • Re库是Python的标准库，主要用于字符串匹配。

  • 调用方式：import re

• 正则表达式的表示类型：

  • raw string类型（原生字符串类型）：

    • re库采用raw string类型表示正则表达式，表示为：r'text'

    • 例如：r'[1-9]\d{5}'

    • raw string是指不包含转义符的字符串

  • string类型，更繁琐。

    • 例如：'[1-9]\\d{5}'；'\\d{3}-\\d{8}|\\d{4}-\\d{7}'

    当正则表达式包含转义符时，建议使用raw string类型来表示正则表达式。

• Re库主要功能函数：

函数	说明
re.search()	在一个字符串中搜索匹配正则表达式的第一个位置，返回match对象
re.match()	从一个字符串的开始位置起匹配正则表达式，返回match对象
re.findall()	搜索字符串，以列表类型返回全部能匹配的字符串
re.split()	将一个字符串按照正则表达式匹配结果进行分割，返回列表类型
re.finditer()	搜索字符串，返回一个匹配结果的迭代类型，每个迭代元素是match对象
re.sub()	在一个字符串中替换所有匹配正则表达式的子串，返回替换后的字符串
re.compile()	返回的是一个匹配对象，它单独使用就没有任何意义，需要和findall(), search(), match(）搭配使用。

• re.search(pattern,string,flags=0)

  • 在一个字符串中搜索匹配正则表达式的第一个位置，返回match对象。

    • pattern：正则表达式的字符串或原生字符串表示

    • string：待匹配字符串

    • flags：正则表达式使用时的控制标记

      • re.I(re.IGNORECASE)：忽略正则表达式的大小写，[A-Z]能够匹配小写字符

      • re.M(re.MULTILINE)：正则表达式中的^操作符能够将给定字符串的每行当作匹配开始

      • re.S(re.DOTALL)：正则表达式中的.操作符能够匹配所有字符，默认匹配除换行外的所有字符****！！！！****

                          

• re.match(pattern, string, flags = 0)

  • 从一个字符串的开始位置起匹配正则表达式，返回match对象。

    • pattern：正则表达式的字符串或原生字符串表示

    • string：待匹配字符串

    • flags：正则表达式使用时的控制标记

                            

• re.findall(pattern, string, flags = 0)

  • 搜索字符串，以列表类型返回全部能匹配的子串。

    • pattern：正则表达式的字符串或原生字符串表示

    • string：待匹配字符串

    • flags：正则表达式使用时的控制标记

                            

• re.split(pattern, string, maxsplit = 0, flags = 0)

  • 搜索字符串，以列表类型返回全部能匹配的子串。

    • pattern：正则表达式的字符串或原生字符串表示

    • string：待匹配字符串

    • maxsplit：最大分割数，剩余部分作为最后一个元素输出

    • flags：正则表达式使用时的控制标记

                            

• re.finditer(pattern, string, flags = 0)

  • 搜索字符串，返回一个匹配结果的迭代类型，每个迭代元素是match对象。

    • pattern：正则表达式的字符串或原生字符串表示

    • string：待匹配字符串

    • flags：正则表达式使用时的控制标记

                               

• re.compile()

  compile()的定义：

  compile(pattern, flags=0) 
  Compile a regular expression pattern, returning a pattern object.

  从compile()函数的定义中，可以看出返回的是一个匹配对象，它单独使用就没有任何意义，需要和findall(), search(), match(）搭配使用。 
  compile()与findall()一起使用，返回一个列表。

  import re
  
  def main():
      content = 'Hello, I am Jerry, from Chongqing, a montain city, nice to meet you……'
      regex = re.compile('\w*o\w*')
      x = regex.findall(content)
      print(x)
  
  
  if __name__ == '__main__':
      main()
  # ['Hello', 'from', 'Chongqing', 'montain', 'to', 'you']

  
  compile()与match()一起使用，可返回一个class、str、tuple。但是一定需要注意match()，从位置0开始匹配，匹配不到会返回None，返回None的时候就没有span/group属性了，并且与group使用，返回一个单词‘Hello’后匹配就会结束。

  import re
  
  def main():
      content = 'Hello, I am Jerry, from Chongqing, a montain city, nice to meet you……'
      regex = re.compile('\w*o\w*')
      y = regex.match(content)
      print(y)
      print(type(y))
      print(y.group())
      print(y.span())
  
  
  if __name__ == '__main__':
      main()
  # <_sre.SRE_Match object; span=(0, 5), match='Hello'>
  # 
  # Hello
  # (0, 5)

  compile()与search()搭配使用, 返回的类型与match()差不多， 但是不同的是search(), 可以不从位置0开始匹配。但是匹配一个单词之后，匹配和match()一样，匹配就会结束。

   

• re.sub(pattern, repl, string, count = 0, flags = 0)

  • 在一个字符串中替换所有匹配正则表达式的子串，返回替换后的字符串。

    • pattern：正则表达式的字符串或原生字符串表示

    • repl：替换匹配字符串的字符串

    • string：待匹配字符串

    • count：匹配的最大替换次数

    • flags：正则表达式使用时的控制标记