python爬贴吧回复_Python爬虫如何爬取贴吧内容

爬取贴吧内容

先了解贴吧url组成:

每个贴吧url都是以'https://tieba.baidu.com/f?'开头，然后是关键字 kw=‘’贴吧名字‘’，再后面是 &pn=页数 （pn=0第一页，pn=50第二页，依次类推）

更多关于Python爬虫的相关知识，可以关注Python学习网的Python爬虫栏目。

1.先写一个main，提示用户输入要爬取的贴吧名，并用urllib.urlencode()进行转码，然后组合url

2.接下来，写一个百度贴吧爬虫接口tiebaSpider()，需要传递3个参数给这个接口， 一个是main里组合的url地址，以及起始页码和终止页码，表示要爬取页码的范围。

3.前面写出一个爬取一个网页的代码。然后，将它封装成一个小函数loadPage（），供我们使用。

相关推荐：《Python相关教程》

4.将爬取到的每页的信息存储在本地磁盘上，我们可以简单写一个存储文件的接口writePage()# _*_ coding:utf-8 _*_

import urllib,urllib2

def loadPage(url,filen