python网络爬虫案例：批量爬取百度贴吧页面数据

⾸先我们创建⼀个 python⽂件, tiebaSpider.py，我们要完成的是，输⼊⼀个百度贴吧的地址，⽐如：

百度贴吧 LOL 吧第⼀⻚：http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=0 这个是 lol 吧的第⼀⻚的 url 地址，如果打开第⼆⻚，你会发现他的 url 如下： 第⼆⻚： http://tieba.baidu.com/fkw=lol&ie=utf-8&pn=50
第三⻚： http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=100

发现规律了吧，贴吧中每个⻚⾯不同之处，就是 url 最后的 pn 的值，其余的都是⼀样的，我们可以抓住这个规律。

1、简单写⼀个⼩爬⾍程序，来爬取百度 LOL 吧的所有⽹⻚

我们已经之前写出⼀个爬取⼀个⽹⻚的代码。现在，我们可以将它封装成⼀个⼩函数 loadPage，供我们使⽤。

def loadPage(url):
'''
'''
通过 URL 请求爬取到 html 静态⻚⾯源代码
url：需要爬取的 url 地址
req = urllib2.Request(url)
response = urllib2.urlopen(req)
html = response.read()
return html

接下来，我们写⼀个百度贴吧爬⾍接⼝，我们需要传递 3 个参数给这个接⼝， ⼀个是我们要爬取的 url 地址，以及起始⻚码和终⽌⻚码，表示要爬取⻚码的范围。

def tiebaSpider(url, beginPage, endPage):
'''
'''
百度贴吧爬⾍核⼼程序：
url: 要爬取的 url 地址
beginPage: 爬⾍贴吧的起始⻚数
endPage: 爬⾍贴吧的终⽌⻚数
user_agent = "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1
; Trident/5.0;" # IE9.0 的 User-Agent
headers = {"User-Agent":user_agent}
for i in range(beginPage, endPage+1):
pn = 50 * (i - 1)
html = loadPage(url+str(pn))

最后如果我们希望将爬取到了每⻚的信息存储在本地磁盘上，我们可以简单写⼀个存储⽂件的接⼝。

def writeFile(file_name, text):
'''
'''
将字符串内容写到⽂件中: 
file_name: ⽂件路径
text: 要写进的字符串
print "正在存储⽂件" + file_name
f = open(file_name, 'w+')
f.write(text)
f.close()

ok，接下来就是写⼀个 main 函数吧，然后提示⽤户输⼊即将爬取的百度贴吧 url 地址。 （ 注意 ：百度贴吧最后⻚码” pn= “后的数字，这些数字为我们传⼊的⻚码参数，所以我们再提供的时候不能包括数字）

if name == ' main ':
tiebaurl = str(raw_input('请输⼊贴吧的地址, 去掉 pn=后⾯的数字:'))
beginPage = int(raw_input('请输⼊开始的⻚数'))
endPage = int(raw_input('请输⼊结束的⻚数'))
tiebaSpider(tiebaurl, beginPage, endPage)

综上, 全部代码完成。好了，最后我们测试⼀下。

2、爬虫代码测试

运⾏后，输⼊lol 吧的 url 地址 http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn= （ 注意=号后⾯不要加数字，因为我们要⾃动添加 ）

Power@PowerMac ~$ python tiebaSpider.py
请输⼊贴吧的地址, 去掉 pn=后⾯的数字: http://tieba.baidu.com/f?kw=lol&i
e=utf-8&pn=
请输⼊开始的⻚数 5 请输⼊结束
的⻚数 10
正在下载第 5 个⽹⻚
正在存储⽂件 5.html 正
在下载第 6 个⽹⻚ 正在
存储⽂件 6.html 正在下
载第 7 个⽹⻚ 正在存储
⽂件 7.html 正在下载第
8 个⽹⻚ 正在存储⽂件
8.html 正在下载第 9 个
⽹⻚ 正在存储⽂件
9.html 正在下载第 10
个⽹⻚ 正在存储⽂件
10.html

3、总结

其实很多⽹站都是这样的，当前⽹址下会有⼏个 html⻚⾯，分别对应⽹址后的⽹⻚序号。
这样⼀个简单的爬⾍程序就可以批量获取⽹站⻚⾯源码，然后我们就可以从中筛选⾃⼰想要的数据信息了。
点击获取全套python爬虫视频教程，从爬虫基础到高级项目实战教程，非常值得零基础的人学习爬虫，理论+项目实践，终成爬虫大神。