爬取百度贴吧

#这里调用的是requests模块
import requests

class TiebaSpider():  #定义一个TiebaSpider类
    def __init__(self,tieba_name):
    	#定义贴吧名字
        self.tieba_name=tieba_name
        #组合得到要爬取的url
        self.url_temp="https://tieba.baidu.com/f?kw="+tieba_name+'&ie=utf-8&pn={}'
        #模拟请求头
        self.headers={'User-Agent':'Mozilla/5.0'}
    
    def get_url_list(self):#1.1根据调用的方法以及赋参，获得要爬取的url列表
        return [self.url_temp.format(i*50) for i in range(1000)]
    
    def parse_url(self,url):
        print(url)#打印列表中的每个url
        response=requests.get(url=url,headers=self.headers)#根据url，headers发送get请求
        return response.content.decode()#对获得的响应进行解码
    
    def save_html(self,html_str,page_num):#保存获得的url页面
        file_path='{}--第{}页.html'.format(self.tieba_name,page_num)
        with open (file_path,'w',encoding='utf-8')as f:
        #文件名为file_path，'w'方式写入，定义了编码格式为utf-8，可以避免乱码
            f.write(html_str)
    
    def run(self):
        #1.构造url列表（调用get_url_list方法）
        url_list=self.get_url_list()
        #2.对url列表进行遍历，发送请求，获取响应
        for url in url_list:
        	#2.1调用parse_url方法，对获得的url地址发送get请求
            html_str=self.parse_url(url)
            #2.2对每个url请求得到的页面，进行编码排序
            page_num=url_list.index(url)+1
            #2.3简单保存爬取得到的贴吧数据
            self.save_html(html_str,page_num)
            
if __name__ == '__main__':
    ba_name=input('请输入要查询的贴吧名：')
    #调用TiebaSpider这个类，并赋参ba_name
    tieba_spider=TiebaSpider(ba_name)
    #再调用run方法
    tieba_spider.run()