Python爬虫数据提取方式——使用PyQuery查找元素

html = """
    

        

            
One
            
Two
            
Three
            
Four
            

                百度一下
                
第一段
                
第2段
                
第3段
                

                    第4段
                    法大师傅大师傅
                
                
第5段
                
第6段
            
        
    
"""

pyquery：仿照jquery语法，封装的一个包，和bs4有点类似。

首先：利用PyQuery类，对Html这个文档进行序列化，结果是一个文档对象

doc_obj = PyQuery(html)
print(doc_obj)

接下来：开始查找元素的方法

从doc_obj这个对象中根据类名匹配元素

   ul = doc_obj('.list') 

   # ul是一个对象
   print(ul) 
   print(type(ul)

#从ul中查找a
print(ul('a'))

当前元素对象.find(): 在当前对象中查找后代元素

当前元素对象.chrildren(): 在当前对象中查找直接子元素

print(ul.find('a'))

父元素查找

parent(): 直接父元素

parents(): 所有的父元素

a = ul('a')
print(a.parent('#inner'))

兄弟元素的查找

li = doc_obj('.one')
print(li.siblings())
print(li.siblings('.two'))

获取标签的属性或文本（遍历元素）

ul = doc_obj('.list')

# generator object
 res = ul('li').items()
 for li in res:
     print(li)
     # 获取标签对象的文本内容
     print(li.text())
     # 获取标签属性
     print(li.attr('class'))

获取标签下文本内容

inner_div = doc_obj('#inner')
p = inner_div('p')
print(p.text())