BeautifulSoup 使用select方法详解（通过标签名，类名， id，组合，属性查找）

import requests
from bs4 import BeautifulSoup

blslib="html5lib"
user_agent="Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36"
headers={"user-agent":user_agent}
def demo1(url):
    r=requests.get(url,headers=headers)
    print(r.encoding)
    data =r.text.encode(r.encoding).decode('gbk')
    s =BeautifulSoup(data,blslib)
    row=s.select('#newAlexa > table > tbody > tr')  //定位到id=#newAlexa下面的table > tbody > tr  #定位之间要空格

    print(row)


if __name__ =="__main__":
    url="http://www.ip138.com/post/"
    demo1(url)

 

 1 html = """
 2 
 3 
 4 
The Dormouse's story
 5 
Once upon a time there were three little sisters; and their names were
 6 ,
 7 Lacie and
 8 Tillie;
 9 and they lived at the bottom of a well.
10 
...
11 """

 

我们在写 CSS 时，标签名不加任何修饰，类名前加点，id名前加 #，在这里我们也可以利用类似的方法来筛选元素，用到的方法是 soup.select()，返回类型是 list
（1）通过标签名查找
 

print soup.select('title') 
#[]
 
print soup.select('a')
#[, Lacie, Tillie]
 
print soup.select('b')
#[The Dormouse's story]

（2）通过类名查找
 

print soup.select('.sister')
#[, Lacie, Tillie]

（3）通过 id 名查找
 

print soup.select('#link1')
#[]

（4）组合查找

组合查找即和写 class 文件时，标签名与类名、id名进行的组合原理是一样的，例如查找 p 标签中，id 等于 link1的内容，二者需要用空格分开
 

print soup.select('p #link1')
#[]

直接子标签查找
 

print soup.select("head > title")
#[]

（5）属性查找

查找时还可以加入属性元素，属性需要用中括号括起来，注意属性和标签属于同一节点，所以中间不能加空格，否则会无法匹配到。
 

print soup.select("head > title")
#[]
 
print soup.select('a[href="http://example.com/elsie"]')
#[]

同样，属性仍然可以与上述查找方式组合，不在同一节点的空格隔开，同一节点的不加空格
 

print soup.select('p a[href="http://example.com/elsie"]')
#[]