python网络爬虫——BeautifulSoup模块

目录

1 解析器

2 对象的种类

（1）TAG

（2）BeautifulSoup

3 信息提取

（1）文档树搜索

(2) CSS选择器

(3) 与Urlopen结合

---

from bs4 import BeautifulSoup

soup  = BeautifulSoup(html,"html.parser")

---

1 解析器

2 对象的种类

（1）TAG

Tag类型即节点，比如HTML中的a标签、p标签等等，

Tag                              标签<>                     soup.a

Name                         标签的名字

               soup.a.name      

Attributes                    标签的属性                     soup.a.attrs

NavigableString         标签内非属性字符串       soup.a.string

Comment                   标签内字符串的注释部分

#tag标签
def getHTMLTag(soup):
    print("1.1 title标签："+str(soup.title))
    print("1.2 a标签："+str(soup.a))
    print("  1.2.1 a标签的名字："+str(soup.a.name))
    print("  1.2.2 a标签的属性：" + str(soup.a.attrs))
    print("       1) 获取a标签中的onclick属性"+str(soup.a['onclick'])+str(soup.a.get('onclick')))
    print("2.1 获取标签内部的文字："+str(soup.a.string)+str(type(soup.a.string)))
    return

（2）BeautifulSoup

BeautifulSoup类型是整个文档的根形式，一种特殊的Tag类型,支持遍历文档树和搜索文档树的大部分方法，但是没有name和attrs属性。