爬虫学习记录4-BeautifulSoup解析html语句,检索

在beautifulsoup中我们可以通过检索其标签名称得到对应的内容,也可以通过直接检索关键字得到内容,下面将进行实例:

import requests

from bs4 import BeautifulSoup

r=requests.get("https://www.baidu.com")

soup=BeautifulSoup(r.text,'html.parser')

1.find_all()

若要查找返回获取的网页结果中的所有a标签内容,则可以通过soup.find_all('a')得到所有的a标签内容。也可以获得多种标签的查找结果:soup.find_all(['a','b'])


也可以通过如图所示,打印出结果中的所有标签。另外在这个过程中我们也可以结合正则表达式来完成一定规则要求的查找。


正则表达式结合


查找标签中是否有对应的属性


精确查找

拓展方法:

拓展方法

因为find_all()函数在BeautifulSoup中太过常用,所以也设定了专门的简写

tag.fina_all()=tag(),soup.find_all()=soup()

你可能感兴趣的:(爬虫学习记录4-BeautifulSoup解析html语句,检索)