pyquery爬取数据的简单实例（参考）

爬取oschina部分指定网页内容（仅供参考）
初学者 发现一份总结的非常详细的参考资料：https://cuiqingcai.com/5551.html
from pyquery import PyQuery as pq
headers={“User-Agent”: “Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36”}
doc = pq(‘https://www.oschina.net’,headers=headers)
#print(doc)
n=doc(’.nav-list’) #筛选class为nav-list的节点
print(n)
print(n.html()) #使用html()方法返回了第一个nav-list节点内部的html文件
a=doc(’.nav-item a’)
print(a) #只会输出第一行的代码
b=doc(’.nav-list .nav-item a’) #这两行意思和上面a表达的意思一样的都是通过节点内部节点选取节点
print(b)
for i in a.items(): #使用item()方法遍历并输出
print(i.attr(‘href’)) #使用attr()方法获取属性
print(i.text()) #使用text()方法获取内部文本