在使用python进行网页解析的时候,利用好一些第三方开源框架能够有效快速的对网页进行解析,提取去我们所需要的信息
python本身自带的htmlparser 太过笨重,在解析中有诸多不便,在这利用pyquery 进行html 进行解析
from pyquery import PyQuery as pq
import urllib,urllib2
import json
url = 'http://zhan.renren.com/tag?value=gif&json=true&type=&page=1'
data = urllib2.urlopen(url)
html = json.load(data)["posts"]
d = pq(html)
items = d("article")#获取article标签
itemCount = items.length#所有含article标签的个数
print 'article.length: ' + str(items.length)
for i in xrange(0, itemCount):
#print d(items[i]).html()
item = d(items[i])
auther = item.find('.post-site-user .name-card').text()#对于层级关系可以使用 find('.XXX + 空格 +标签')层层递进下去
print str(i) + ". auther:" + auther
pn = item.find('.hot-num').parent().prev().text()#父节点/兄弟节点
print pn
title = item.find('.feed-title').text()#获取 所有'feed-title' 的内容
print str(i) + ". title:" + title
gifUrl = item.find('.hot-view img').attr("src")#获取src属性值
print str(i) + ". gifurl:" + gifUrl
tags = item.find('.feed-topic a')
for j in xrange(0, tags.length):
print str(i) + "." + str(j) + " tag:" + d(tags[j]).text()#对于列表等数据提取同样可以使用pq解析