爬虫实战——百度贴吧

开始

首先使用chrome浏览器，进入百度贴吧

注意输入框中的url

分析

为了进行具体的url分析，我在搜索框中输入"Python"，看一下url的变化

观察url变化

这时url变成了：

http://tieba.baidu.com/f?ie=utf-8&kw=python&fr=search&red_tag=b2531475437

通过分析，做一个测试, 删除url一些东西：

http://tieba.baidu.com/f?&kw=python

依旧可以得到正常的页面

下面进行翻页测试：

得到这样的一条url：

http://tieba.baidu.com/f?kw=python&ie=utf-8&pn=50

通过分析，再进行一次测试，删除url中的一些东西：

得到下面的url

http://tieba.baidu.com/f?kw=python&pn=50

依旧可以得到相应的页面，因此可以得出结论：

kw 和 pn 是这个页面中最重要的关键词，kw控制关键词(其实就是keyword的缩写)， pn(其实就是page_number的缩写)控制翻页，每翻一页，pn增加50，也就是说一页有50条数据。

分析结束，开始代码

初始url先用这个，之后再慢慢修改： http://tieba.baidu.com/f?kw=python&pn=50

直接上代码，注意看代码中的注释

# 爬取百度贴吧
import requests


class BdTieba():
    def __init__(self, name, pn):
        # 保存贴吧名
        self.name = name
        # 初始url
        self.base_url = "http://tieba.baidu.com/f?kw={}&pn=".format(name)
        # 构造请求头
        self.headers = {
            "User-Agent": "Mozilla / 5.0(Windows NT 10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/69.0.3497.100Safari/537.36"
        }

        # 2. 批量生成url
        # 使用列表推导式生成了url列表
        self.url_list = [self.base_url + str(i*50) for i in range(pn)]
        # 打印测试
        # print(self.url_list)

    # 3. 批量发送请求，封装发送请求
    def get_data(self, url):
        response = requests.get(url, headers=self.headers)
        return response.content

    def save_data(self, data, index):
        filename = self.name + "_{}.html".format(index)
        with open(filename, "wb") as f:
            f.write(data)

    def run(self):
        # 1.请求初始url，测试使用
        # response = requests.get(url=self.base_url, headers=self.headers)
        # 打印测试,测试成功返回结果
        # print(response.text)

        # 2.批量生成url
        for url in self.url_list:
            data = self.get_data(url)

        # 3.批量发送请求
            # 4.保存网页，为了保存的网页名字不重复，且有顺序，这里使用index进行区分
            # 获取当前url的index
            index = self.url_list.index(url)
            # 保存
            self.save_data(data, index)



if __name__ == '__main__':
    bdspider = BdTieba("python", 10)
    bdspider.run()

这里我只通过批量生成url，并批量获取url响应，并保存了url响应数据，这里测试了10页数据，如果想要爬取每个url中的数据，还需要进行页面分析和提取，这里就需要使用xpath，作为新手入门的一个教程，后续我会拿这个项目继续改进，增加xpath解析，爬取每页的文字信息，这里就先到这了。

后面我会写一篇关于xpath的简单快速上手文章，然后再对这个实战进行下一步的更新

over~

peace~

---

个人博客: www.limiao.tech

微信公众号：TechBoard