公众号历史文章爬虫

 

•  所需工具： python3.6 fidder抓包工具 Mysql数据库

第一步：

      1.登录手机版微信，搜索到所爬取的公众号、在电脑端打开历史消息
      2.打开fidder抓包工具、清除session、准备抓包
      3.打开公众号历史信息界面向下滑动、滑动到第二页出现带有json标识的网址

第二步（点击json查看json数据是否和公众号文章符合）

这个就是我们需要的地址,直接点开用浏览器查看,offset就是关键参数,我们要修改的翻页参数.

第三步（Python代码部分）

def GZH():
    iurl = input("请输入网址:")
    for i in range(10):
        page = "offset="+str(i*10)
        ourl = iurl.replace("offset=0",page)
        print(ourl)
        headers = {'Host': 'mp.weixin.qq.com',
                   'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)                                Chrome/39.0.2171.95 Safari/537.36 MicroMessenger/6.5.2.501 NetType/WIFI WindowsWechat                                QBCore/3.43.1021.400 QQBrowser/9.0.2524.400'
               }
        time.sleep(5)
        req = request.Request(url=ourl, headers=headers)
        HTML = request.urlopen(req)
        html = HTML.read()
        content1 = json.loads(html)
        content = str(content1)
        #print(content)
        import re
        title_list = re.findall(r'"title":"(.+?)"',content,re.S)
        content_url_list = re.findall(r'"content_url":"(.+?)"',content, re.S)
        for title, content_url in zip(title_list, content_url_list):
            print(title, ',', content_url)
GZH()

完整取出公众号的历史文章标题+网址