Python 爬虫技术，百度贴吧数据抓取，网页

"""
    百度贴吧数据抓取：
        要求：
            1、输入百度贴吧的名称
            2、输入抓取的起始页和终止页
            3、把每一页的内容保存到本地：第一页.html、第二页.html
"""
"""
    步骤：
        1、找URL的规律（拼接URL）
        # http://tieba.baidu.com/f?kw=搜索&pn
        第一页 pn=0
        第二页 pn=50
        第三页 pn=100
        第 n页 pn=(n-1)*50  
        
        
        url中关键的两个参数：
            1、kw: 搜索关键字
            2、pn: 帖子的数量 每页50条
            
        
        2、获取响应内容
        3、再保存到本地/数据库      
        
        
                
"""
# http://tieba.baidu.com/f?kw=

import urllib.request

import urllib.parse
#这是发送请求获取响应的函数
def zhixing(urls):

    headers = {"User-Agent":
                   "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36"}

    request = urllib.request.Request(urls, headers=headers)
    response = urllib.request.urlopen(request)

    html = response.read().decode("utf-8")

    return html
def save(page,html):
    with open("第%d页.html" % page, 'w', encoding="utf-8") as f:
        print("正在写入第%d页" % page)
        f.write(html)
        f.close()
        print("第%d页写入完成" % page)

        # f = open("第%d页.html"%page, 'w', encoding="utf-8")
        # print("正在写入第%d页"%page)
        # f.write(html)
        # f.close()
        # print("第%d页写入完成"%page)
def main():
    url = "http://tieba.baidu.com/f?"

    name = input("请输入要贴吧名称：")
    begin = int(input("请输入要看的起始页："))
    end = int(input("请输入要看的终止页："))
    for page in range(begin,end+1):
        page1 = (page-1)*50
        dic = {"kw":name,
             "pn":page1}

        dic = urllib.parse.urlencode(dic)
        urls = url + dic

        html = zhixing(urls)

        print(urls)

        save(page,html)


if __name__ == "__main__":
    main()