⾸先我们创建⼀个 python⽂件, tiebaSpider.py，我们要完成的是，输⼊⼀个百度贴吧的地址，⽐如：
百度贴吧 LOL 吧第⼀⻚：http://tieba.baidu.com/f?kw=l... 这个是 lol 吧的第⼀⻚的 url 地址，如果打开第⼆⻚，你会发现他的 url 如下： 第⼆⻚： http://tieba.baidu.com/fkw=lo...
第三⻚： http://tieba.baidu.com/f?kw=l...
发现规律了吧，贴吧中每个⻚⾯不同之处，就是 url 最后的 pn 的值，其余的都是⼀样的，我们可以抓住这个规律。
1、简单写⼀个⼩爬⾍程序，来爬取百度 LOL 吧的所有⽹⻚
我们已经之前写出⼀个爬取⼀个⽹⻚的代码。现在，我们可以将它封装成⼀个⼩函数 loadPage，供我们使⽤。
def loadPage(url): ''' ''' 通过 URL 请求爬取到 html 静态⻚⾯源代码 url：需要爬取的 url 地址 req = urllib2.Request(url) response = urllib2.urlopen(req) html = response.read() return html
接下来，我们写⼀个百度贴吧爬⾍接⼝，我们需要传递 3 个参数给这个接⼝， ⼀个是我们要爬取的 url 地址，以及起始⻚码和终⽌⻚码，表示要爬取⻚码的范围。
def tiebaSpider(url, beginPage, endPage): ''' ''' 百度贴吧爬⾍核⼼程序： url: 要爬取的 url 地址 beginPage: 爬⾍贴吧的起始⻚数 endPage: 爬⾍贴吧的终⽌⻚数 user_agent = "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1 ; Trident/5.0;" # IE9.0 的 User-Agent headers = {"User-Agent":user_agent} for i in range(beginPage, endPage+1): pn = 50 * (i - 1) html = loadPage(url+str(pn))
最后如果我们希望将爬取到了每⻚的信息存储在本地磁盘上，我们可以简单写⼀个存储⽂件的接⼝。
def writeFile(file_name, text): ''' ''' 将字符串内容写到⽂件中: file_name: ⽂件路径 text: 要写进的字符串 print "正在存储⽂件" + file_name f = open(file_name, 'w+') f.write(text) f.close()
ok，接下来就是写⼀个 main 函数吧，然后提示⽤户输⼊即将爬取的百度贴吧 url 地址。 （ 注意 ：百度贴吧最后⻚码” pn= “后的数字，这些数字为我们传⼊的⻚码参数，所以我们再提供的时候不能包括数字）
if name == ' main ': tiebaurl = str(raw_input('请输⼊贴吧的地址, 去掉 pn=后⾯的数字:')) beginPage = int(raw_input('请输⼊开始的⻚数')) endPage = int(raw_input('请输⼊结束的⻚数')) tiebaSpider(tiebaurl, beginPage, endPage)
综上, 全部代码完成。好了，最后我们测试⼀下。
2、爬虫代码测试
运⾏后，输⼊lol 吧的 url 地址 http://tieba.baidu.com/f?kw=l... （ 注意=号后⾯不要加数字，因为我们要⾃动添加 ）
Power@PowerMac ~$ python tiebaSpider.py 请输⼊贴吧的地址, 去掉 pn=后⾯的数字: http://tieba.baidu.com/f?kw=lol&i e=utf-8&pn= 请输⼊开始的⻚数 5 请输⼊结束 的⻚数 10 正在下载第 5 个⽹⻚ 正在存储⽂件 5.html 正 在下载第 6 个⽹⻚ 正在 存储⽂件 6.html 正在下 载第 7 个⽹⻚ 正在存储 ⽂件 7.html 正在下载第 8 个⽹⻚ 正在存储⽂件 8.html 正在下载第 9 个 ⽹⻚ 正在存储⽂件 9.html 正在下载第 10 个⽹⻚ 正在存储⽂件 10.html
3、总结
其实很多⽹站都是这样的，当前⽹址下会有⼏个 html⻚⾯，分别对应⽹址后的⽹⻚序号。
这样⼀个简单的爬⾍程序就可以批量获取⽹站⻚⾯源码，然后我们就可以从中筛选⾃⼰想要的数据信息了。
点击获取全套python爬虫视频教程，从爬虫基础到高级项目实战教程，非常值得零基础的人学习爬虫，理论+项目实践，终成爬虫大神。