Python——网络数据采集（二）

使用BeautifulSoup的 find() 和 findAll() 抓取目标标签下的内容：

使用beautifulsoup解析后的网页通常是一种带标签的类文本形式，个人认为难点就是怎么通过层层标签的阻拦，抓取到目标内容。
findAll (tag, attributes, recursive, text, limit, keywords)
find(tag, attributes, recursive, text, keywords)

1. 标签参数 tag ，可以传一个标签的名称或多个标签名称组成的 Python 列表做标签参数。例如，下面的代码将返回一个包含 HTML 文档中所有标题标签的列表：findAll({“h1”,“h2”,“h3”,“h4”,“h5”,“h6”})
2. 属性参数 attributes 是用一个 Python 字典封装一个标签的若干属性和对应的属性值。例 如，下面这个函数会返回 HTML 文档里红色与绿色两种颜色的 span 标签：findAll(“span”, {“class”:{“green”, “red”}})
3. 递归参数 recursive 是一个布尔变量。你想抓取 HTML 文档标签结构里多少层的信息？如果 recursive 设置为 True, findAll 就会根据你的要求去查找标签参数的所有子标签，以及子 标签的子标签。如果 recursive 设置为 False，findAll 就只查找文档的一级标签。findAll 默认是支持递归查找的（recursive 默认值是 True）；一般情况下这个参数不需要设置，除 非你真正了解自己需要哪些信息，而且抓取速度非常重要，那时你可以设置递归参数.
4. 文本参数 text 有点不同，它是用标签的文本内容去匹配，而不是用标签的属性。假如我们 想查找前面网页中包含“the prince”内容的标签数量，我们可以把之前的 findAll 方法换 成下面的代码：nameList = bsObj.findAll(text=“the prince”)
5. 范围限制参数 limit，显然只用于 findAll 方法。find 其实等价于 findAll 的 limit 等于 1 时的情形。如果你只对网页中获取的前 x 项结果感兴趣，就可以设置它。但是要注意， 这个参数设置之后，获得的前几项结果是按照网页上的顺序排序的，未必是你想要的那 前几项。
6. 关键词参数 keyword，可以让你选择那些具有指定属性的标签。例如：allText = bsObj.findAll(id=“text”)

使用正则表达式指代要摘取的内容

常用解析HTML的库

• BeautifulSoup ，是 Python 里最受欢迎的 HTML 解析库之一
• lxml 库 ，可以用来解析 HTML 和 XML 文档，它在处理绝大多数 HTML 文档时速度都非常快。
• HTML parser ，Python 自带的解析库

扩展：

1. 对于一个标签对象，可以用下面的代码获取它的全部属性：myTag.attrs
   要注意这行代码返回的是一个 Python 字典对象，可以获取和操作这些属性。比如要获取图 片的资源位置 src，可以用下面这行代码：myImgTag.attrs[“src”]
2. Lambda 表达式本质上就是一个函数，可以作为其他函数的变量使用；也就是说，一个函 数不是定义成 f(x, y)，而是定义成 f(g(x), y)，或 f(g(x), h(x)) 的形式。例如，下面的代码就是获取有两个属性的标签：soup.findAll(lambda tag: len(tag.attrs) == 2)
   3.BeautifulSoup 允许我们把特定函数类型当作 findAll 函数的参数。唯一的限制条件是这些 函数必须把一个标签作为参数且返回结果是布尔类型。BeautifulSoup 用这个函数来评估它 遇到的每个标签对象，最后把评估结果为“真”的标签保留，把其他标签剔除。