主要是学习一下正则,实现了最基本的功能,抓取热门的第一页,在此基础上还可以再发挥发挥。
import urllib.request import re data = urllib.request.urlopen('http://www.qiushibaike.com/hot/page/1').read() prog = re.compile('<div class="content" title="(.*?)">(.*?)</div>',re.S) prog2 = re.compile('<div.*?class="content".*?title="(.*?)">\\n(.*?)</div',re.S) result = re.findall(prog2,data.decode('utf-8')) for v in result: print (v[0],v[1])