BeautifulSoup4（bs4）

BeautifulSoup4是一个高效的网页解析库，可以从HTML或XML文件中提取数据

支持不同的解析器，比如，对HTML解析，对XML解析，对HTML5解析

就是一个非常强大的工具，爬虫利器

一个灵感又方便的网页解析库，处理高效，支持多种解析器

利用它就不用编写正则表达式也能方便的实现网页信息的抓取

由于BS4解析页面时需要依赖文档解析器，所以还需要安装lxml作为解析库。

安装
pip install BeautifulSoup4
Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库
pip install lxml
lxml 是一种使用 Python 编写的解析库，可以迅速、灵活地处理 XML 和 HTML

1 常见对象

BeautifulSoup4将HTML文档转换成一个树形结构，每个节点都是Python对象。

• Tag：是HTML中的一个个标签。我们可以利用soup加标签名轻松地获取这些标签的内容，这些对象的类型是bs4.element.Tag。但是注意，它查找的是在所有内容中的第一个符合要求的标签。

• NavigableString：如果拿到标签后，还想获取标签中的内容。那么可以通过tag.string获取标签中的文字

  string：获取某个标签下的非标签字符串。返回来的是个字符串。如果这个标签下有多行字符，那么就不能获取到了。

  strings：获取某个标签下的子孙非标签字符串。返回来的是个生成器。

  stripped_strings：获取某个标签下的子孙非标签字符串，会去掉空白字符。返回来的是个生成器。

h = """

    
        
    
    
    
The Dormouse's story
    
Once upon a time there were three little sisters; and their names were
    ,
    Lacie and
    Tillie;
    and they lived at the bottom of a well.
    
...
"""

# 1，导包
from bs4 import BeautifulSoup 
#,2，实例化对象
soup = BeautifulSoup(h, 'lxml')  # 参数1：要解析的内容  参数2：解析器

# 通过标签选取，会返回包含标签本身及其里面的所有内容
print(soup.head) # 包含head标签在内的所有内容
print(soup.p) # 返回匹配的第一个结果

# .string是属性,作用是获取字符串文本
print(soup.title.string)

2 find与find_all

• find：找到第一个满足条件的标签就返回。
• find_all：将所有满足条件的标签都返回。
  • 在提取标签的时候，第一个参数是标签的名字。然后如果在提取标签的时候想要使用标签属性进行过滤，那么可以在这个方法中通过关键字参数的形式，将属性的名字以及对应的值传进去。或者是使用attrs属性，将所有的属性以及对应的值放在一个字典中传给attrs属性。
  • 有些时候，在提取标签的时候，不想提取那么多，那么可以使用limit参数。限制提取多少个。

使用find_all()根据标签名查找

html='''

    

        
Hello
    
    

        

            
Foo
            
Bar
            
Jay
        
        

            
Foo-2
            
Bar-2
        
    

'''
from bs4 import BeautifulSoup

soup = BeautifulSoup(html, 'lxml')

# print(soup.find_all('ul'))  # 拿到所有ul标签及其里面内容
print(soup.find_all('ul')[0])
print(soup.find_all('div'))

get_text() 获取内容

for ul in soup.find_all('ul'):
#     print(ul)
    print(ul.get_text())

使用find_all()根据属性查找

html='''

    

        
Hello
    
    

        

            
Foo
            
Bar
            
Jay
        
        

            
Foo
            
Bar
        
    

'''
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')

# 特殊属性查找
# print(soup.find_all(class='element'))  #  注意：错误案例
# a = soup.find_all(class_='element')  # class属于Python关键字，做特殊处理 _
# print(a) 


# 推荐的查找方法！！！   --- 指定标签和属性
# print(soup.find_all('li',{'class':'element'}))  
print('----'*10)
print(soup.find_all('ul',{'id':'list-1'}))

text=() 根据文本值选择

html='''

    

        
Hello
    
    

        

            
Foo
            
Bar
            
Jay
        
        

            
Foo
            
Bar
        
    

'''
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')

# 语法格式：text='要查找的文本内容'
print(soup.find_all(text='Foo')) # 可以做内容统计用

print(len(soup.find_all(text='Foo'))) # 统计数量

3 select方法

详情了解：https://baike.baidu.com/item/css%E9%80%89%E6%8B%A9%E5%99%A8/2819686?fr=aladdin

使用css选择器的语法找出元素。

如果对HTML里的CSS选择器很熟悉可以考虑用此方法

注意：

1，用CSS选择器时，标签名不加任何修饰，class类名前加. , id名前加# 

2，用到的方法是soup.select()，返回类型是list

3，多个过滤条件需要用空格隔开,严格遵守从前往后逐层筛选

• 通过标签名查找：

  soup.select('a')
  

• 通过类名查找：

  soup.select('.sister')
  

• 通过id查找：

  soup.select("#link1")
  

• 组合查找：

  soup.select("p #link1")
  soup.select("head > title")
  

• 通过属性查找

  soup.select('a[href="https://www.baidu.com/"]')
  

html='''
q321312321

    

        
Hello
    
    

        

            
Foo
            
Bar
            
Jay
        
        

            
Foo
            
Bar
        
    

'''
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')

# 根据标签去找 标签不加任何修饰 多个条件用空格隔开
print(soup.select('ul li'))  
print("----"*10)

# class类名前加.  
print(soup.select('.panel-heading'))
print("----"*10)
# 多个条件用空格隔开
print(soup.select('ul.list')) 
print(soup.select('ul .element')) 
# print("----"*10)

# 注意：可以混合使用！！
# 比如：根据id和class去找
a = soup.select('#list-1 .element')#从这个例子可以看出.select方法会获取满足条件的所有内容
print(a)
for i in a:
    print(i.string)