python|爬虫beautifulsoup的用法

beautifulsoup:用来解析网页得到我们想要的数据,我用的是bs4了
##引入模块
from bs4 import BeautifullSoup

##网址

name_url = 'https://mp.csdn.net/postedit'

##得到网页信息
html = requests.get(name_url)

##创建对象

html = BeautifulSoup(name_url)

##搜索文档树
1.soup.find( name , attrs , recursive , text , **kwargs )    BeautifulSoup中可以通过name和attrs去定位名称和属性,以找到特定的html代码。更值得称赞的是,attrs支持正则表达式。
name_soup =soup.find('class': 'attrs')
class='div','span'等根据具体的name属性在标签里面找到
attrs='text','title-author'等,按f12打开网页源码,看一下

2.soup.find_all()
                    find_all() 返回的是整个文档的搜索结果,如果文档内容较多则搜索过程耗时过长,加上 limit 限制,当结果到达 limit 值时停止搜索并返回结果。
                    find_all() 会检索当前tag的所有子孙节点,如果只想搜索tag的直接子节点,可以使用参数 recursive=False

find() 方法和 find_all() 方法的参数使用基本一致,只是 find() 的搜索方法只会返回第一个满足要求的结果,等价于 find_all() 方法并将 limit 设置为1。如:
soup.find_all('div', class_='thumb', limit=1)
soup.find('div', class_='thumb')
具体详细信息可直接参考 Beautiful Soup 库的 官方说明文档

你可能感兴趣的:(爬虫)