Python3爬虫编程学习笔记（六）BeautifulSoup库入门学习

 

• 如果觉得XPath语法掌握起来有难度，那么BeautifulSoup库就可以象学习Python基础知识一样简单，它是直接从获取的网页源代码中读取字符串。由于它是将整个文档树一次性解析并读入内存，速度稍慢、资源占用稍高一点，胜在简单实用。

详细请参阅中文文档：https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html

一、BeautifulSoup库安装

BeautifulSoup是第三方库，需要安装才能导入使用：

pip install beautifulsoup4 -i https://pypi.douban.com/simple/

如果没有安装“lxml‘库，还需要安装，以配合解析网页用，该当同上。

二、创建soup对象

要使用BeautifulSoup，必须先创建Soup对象：

1. 导入模块

from bs4 import BeautifulSoup

2. 创建对象

# 使用'lxml'解析器，速度较快，也可以使用标准库解析器'parser.HTML'或其他解析器
soup = BeautifulSoup(html, 'lxml')

三、BeautifulSoup提取数据

1.获取标签的属性

• 通过形如字典键值（下标）的形式：

href = a['href']    # 推荐使用这种形式
href = a.attrs['href']  # 通过attrs属性形式

2.获取标签的文本

• .string、.strings、.stripped_strings及get_text()方法：
  a. .string：获取某个标签下的非标签字符串(含与标签同一行的注释文本，多行用.contents)，返回一个字符串。
  b. .strings：获取某个标签下的所有子孙标签字符串，返回一个生成器。
  c. .stripped_strings：获取某个标签下的所有子孙标签字符串，返回一个生成器，并会去掉所有空白字符。
  d. get_text()：获取某个标签下的子孙非标签字符串，返回一个字符串，不方便数据清洗。
  e. .contents：获取不同行的注释文本

    strs = p.contents

### 3.find_all()的用法

在提取标签数据的时候，第一个是标签的名字。如果在提取标签时想使用标签的属性进行过滤，可以在方法中通过关键字参数过滤，将属性的名字及对应的值传递"class=‘XXX’"，或者是使用"attrs"属性，将所有的属性以及对应的值话一个字典中传给"attrs"属性？

trs = soup.find_all('tr')   # 获取所有的tr标签
for tr in trs:
    tr.find_all('td',class_='list-item')    # 使用参数形式，class后加下划线
    tr.find_all('td',attrs={'class':'list-item'})
    # 使用attrs属性形式,如果是name属性，建议用此形式查找

• 有时候在提取标签时，不想提取那么多，可以使用’limit’参数进行限定查找次数：

trs=soup.find_all('tr', limit=2)[1]  # 只获取前2个tr标签，减少资源占用，加快查找速度

• find()与find_all()的区别：
  1)find()：找到第一个符合条件的标签就结束并返回目标值，返回一个元素
  2)find_all()：将所有满足条件的标签都以列表的形式返回，参数limit=1达到与find()一样效果。

4.提取数据练习

以百度首页源码为例，从第3个div开始，提取div下a节点的所有文本，代码如下：

# -*- encoding: utf-8 -*-
from bs4 import BeautifulSoup

html = '''



    
    
    
    
    


  

    

        

          

            新闻 
            hao123 
            地图 
            视频 
            贴吧 
            更多产品 
            测试
            Tne end
          
        
    
        

  

< / html > '''

bs = BeautifulSoup(html, 'lxml')  # 可以使用其他解析器
divs = bs.find_all('div')[3:]   # 第3个div起到最后止才有需要的数据
# print(divs)
for div in divs:   # 遍历div节点，提取有用数据
    info = {}
    # print(div.get_text())   # 不方便清洗数据
    # infos = div.find_all('a') # 在div下查找到需要的节点，并从其列表提取数据
    # news = infos[0].string
    # h123 = infos[1].string
    # map_ = infos[2].string
    # movies = infos[3].string
    # tieba = infos[4].string
    # print(maps)
    # infos = list(div.strings)  # 提取所有非标签的字符串，有空行
    infos=list(div.stripped_strings)    # 提取所有非标签的字符串并支队空白符
    # 将数据存入字典
    info['news'] = news
    info['h123'] = h123
    info['map'] = map_
    info['movies'] = movies
    info['tieba'] = tieba
    # {'news': '新闻', 'hao': 'hao123', 'map': '地图', 'movie': '视频', 'tieba': '贴吧'}
    print(info)

四、CSS选择器

BeautifulSoup中使用CSS选择器，须使用select()方法
具体用法如下：

1. 根据标签的名字选择：

soup.select('p')

2. 根据类名选择，要在类的前面加一个点"."：

soup.select('.box')  

3. 根据id名字选择，要在id的前面加一个#号：

soup.select('#box') # 在CSS中，"#"号代表id(一个规范的网页中，id只能出现一次相同的值，如身份证号)  

4. 组合查找：
   4.1 查找子孙元素，要在子孙元素中间有一个空格：

soup.select('.box p')    # 此处"#"号表示后面跟的是类的值  

   4.2 查找直接子元素，要在直接子元素前加一个">"号：

soup.select('.box > p')   # 此处"."号表示后面跟的是类的值  

5. 根据属性的名字进行查找，应该先写标签名字，然后再在中括号中写属性的值：

soup.select('p[name="username"]')  

6. 在根据类名或者id进行查找时，如果要根据标签名进行过滤，那么可以在类的前面或id前面加上标签名字：

soup.select('div.line1')
soup.select('div[class="line1"]')
soup.select('div#')  

代码示例：

html = '''上例的文本'''
bs = BeautifulSoup(html, 'lxml')

# 1.获取所有的div标签
divs = bs.select('div')
for div in divs:
    print(div)

# 2.获取第2个div标签
div = bs.select('div')[2]
print(div)

# 3.获取所有class = "head_wrapper"的div标签，属性有两种写法
# divs = bs.select('div.head_wrapper')
divs = bs.select('div[class="head_wrapper"]')
for div in divs:
    print(div)

# 4.将所有a标签的"href"值提取出来
a_list = list(bs.select('a'))  # 转换成一个列表，便于提取数据
for a in a_list:
    href = a['href']
    print(href)

# 5.获取所有a标签的文本
divs = bs.select('#u1')
for div in divs:
    infos = list(div.stripped_strings)
    # 转换成一个列表，便于提取数据,如是.strings则不去除空白符
    print(infos)

五、BeautifulSoup库的四种类对象

1、Tag对象

BeautifulSoup中所有的标签都是Tag类型，并且BeautifulSoup本质上也是一个Tag类型，所以一些方法如find/find_all并不是BeautifulSoup的，而是Tag的。

__init__(self, parser=None, builder=None, name=None, namespace=None,
                 prefix=None, attrs=None, parent=None, previous=None,
                 is_xml=None, sourceline=None, sourcepos=None,
                 can_be_empty_element=None, cdata_list_attributes=None,
                 preserve_whitespace_tags=None
    )

如：

from bs4 import BeautifulSoup

bs = BeautifulSoup(html, 'lxml')
print(type(bs))     # 

2、NavigableString对象

继承自Python中的str，用起来就跟使用python的str一样，如.string。

from bs4 import BeautifulSoup

bs = BeautifulSoup(html, 'lxml')
a = bs.find('a')
print(a.string) # "新闻"，本质上是一个字符串
print(type(a.string))   # 

3、BeautifulSoup对象

继承自Tag，用来生成BeautifulSoup树，所有方法同Tag,find()/select()等方法都一样能用，在select()查找出来的子节点中也一样能用所有方法。

from bs4 import BeautifulSoup

bs = BeautifulSoup(html, 'lxml')
divs = bs.find_all('div')
for div in divs:
    print(type(div))    # 
    break

4、Comment对象

就是继承自NavigableSting，如果在一行可以用.string提取注释的文本，如果存在多行注释，换行了，通过.contents获取。

from bs4 import BeautifulSoup

bs = BeautifulSoup(html, 'lxml')
p = bs.find('p')
# print(p.string)     # 换行了，返回None
# 如果注释不在同一行就用ceontents遍历
print(p.contents)   # 返回包括换行符的列表
# print(type(p.string))   # 
print(type(p.contents))   # 

六、遍历文档树

• 使用contents和children遍历soup文档树。

返回某个标签下的直接子元素，其中也包括字符串，区别：conntents返回列表，children返回迭代器（迭代器对象）。

1.contents

from bs4 import BeautifulSoup

bs = BeautifulSoup(html, 'lxml')
p = bs.find('p')
# 如果注释不在同一行就用ceontents遍历
print(p.contents)   # 返回包括换行符的列表['\n', '我是注释字符串', '\n']
print(type(p.contents))   # 
for element in p.contents:
    print(element)

2.children

from bs4 import BeautifulSoup

bs = BeautifulSoup(html, 'lxml')
print(type(bs.head.children))  # 
for h in bs.head.children:
    print(h)

 

---

说明：本学习笔记根据晚上观看学习B站乐林贝斯发布的视频《Python爬虫】新手强烈推荐：Python爬虫教程，学爬虫这一套就够了》所作笔记，非常感谢老师！

---

学习笔记系列：

Python3爬虫编程学习笔记（一）缘由

Python3爬虫编程学习笔记（二）爬虫原理

Python3爬虫编程学习笔记（三）学习urllib库基本用法

Python3爬虫编程学习笔记（四）学习Requests第三方库基本用法

Python3爬虫编程学习笔记（五）实战：爬取安居客房屋信息之 XPath学习