python爬虫学习笔记 -- 信息提取 及HTML内容查找方法(soup.find_all()) + 正则表达式

方法一： 完整解析信息的标记形式，再提取关键信息

需要标记解析器（例如bs4库的标签树遍历）

优点： 信息解析准确

缺点：提取过程繁琐， 速度慢

 

方法二： 无视标记形式，直接搜索关键信息

直接对信息的文本查找函数即可

优点：简介， 快速

缺点：提取结果准确性与信息内容相关

 

融合方法：结合形式的解析和搜索方法，提取关键信息

XML JSON YAML搜索

需要标记解析器及文本查找函数

 

例：

for link in soup.find_all('a'):

    print(link.get('href'))

//输出所有的url链接

//href属性用于指定超链接目标的URL

 

<>.find_all(name, attrs, recursive, string, **kwrs)

查找soup中的变量内容, 返回值是符合条件的标签列表形式

// soup.find_all('a') / find_all(['a', 'b'])

name: 对标签名的检索字符串

attrs：对标签属性值的检索字符串，可标注属性检索

//直接检索属性域： find_all(id = 'link1')

recursive : 是否对子孙全部检索， 默认True，如果只想搜索当前节点的儿子节点层信息，应设置为False

// soup.find_all('a', recursive = 'False') -- 表示当前节点的子节点层无‘a’开头的标签

string： 标签<>...中字符串区域的检索字符串

 

find_all()的简易形式：

(...) 等价于 .find_all()

soup(...) 等价于 soup.find_all()

 

import re -- 正则表达式库

re.compile('b') // 返回所有以b开头的信息

soup.find_all(re.compile('b'))

正则表达式： 可以对需要检索的信息进行筛选

 

find_all()扩展方法(同find_all()参数)：

1. <>.find() // 搜索且只返回一个结果

2. <>find_parents() // 先辈节点中搜索，返回列表类型

3.<>find_parent() // 返回一个结果

4.<>find_next_siblings() / <>find_next_sibling() // 后续平行节点中搜索，返回列表/一个值

5.<>find_previous_siblings() / <>find_previous_sibling() // 前序平行节点中搜索，返回列表/一个值