「数据分析师的网络爬虫」Fiddler Web抓取微信公众号历史全部文章

文章目录

  • 内容介绍
  • 工具下载和使用
  • 公众号数据截取

内容介绍

开发环境为 Python3.6 ,爬虫项目全部内容索引目录

看懂Python爬虫框架,所见即所得一切皆有可能

本文介绍使用工具 Fiddler Web 抓取公众号文章列表和详情数据,帮助数据运营岗位的小伙伴分析各种公众号的内容。

虽说不会敲代码的 Python数据分析师 不是好的数据分析师,但你不是正儿八经的开发人员,代码敲的那么溜有什么用?学点数据爬虫基础能让繁琐的数据CV工作(Ctrl+C,Ctrl+V)成为自动化就足够了。

工具下载和使用

Fiddler Web 工具下载

Fiddler Web 工具界面
「数据分析师的网络爬虫」Fiddler Web抓取微信公众号历史全部文章_第1张图片
Fiddler Web 基础设置

1.工具设置
「数据分析师的网络爬虫」Fiddler Web抓取微信公众号历史全部文章_第2张图片

「数据分析师的网络爬虫」Fiddler Web抓取微信公众号历史全部文章_第3张图片
「数据分析师的网络爬虫」Fiddler Web抓取微信公众号历史全部文章_第4张图片
2.过滤器设置「数据分析师的网络爬虫」Fiddler Web抓取微信公众号历史全部文章_第5张图片

「数据分析师的网络爬虫」Fiddler Web抓取微信公众号历史全部文章_第6张图片
3.证书安装
浏览器输入:http://localhost:8888
「数据分析师的网络爬虫」Fiddler Web抓取微信公众号历史全部文章_第7张图片
「数据分析师的网络爬虫」Fiddler Web抓取微信公众号历史全部文章_第8张图片

公众号数据截取

打开任意公众号,查看历史文章。
「数据分析师的网络爬虫」Fiddler Web抓取微信公众号历史全部文章_第9张图片
「数据分析师的网络爬虫」Fiddler Web抓取微信公众号历史全部文章_第10张图片
每次公众号页面有数据变化这里都会有对应的数据产生。
「数据分析师的网络爬虫」Fiddler Web抓取微信公众号历史全部文章_第11张图片
查看文本视图,数据找到了。「数据分析师的网络爬虫」Fiddler Web抓取微信公众号历史全部文章_第12张图片
点击原始发现URL。
「数据分析师的网络爬虫」Fiddler Web抓取微信公众号历史全部文章_第13张图片
浏览器中打开。
「数据分析师的网络爬虫」Fiddler Web抓取微信公众号历史全部文章_第14张图片
接下来的操作不说也都知道怎么做了吧。

你可能感兴趣的:(Python,爬虫基础和项目管理,python,数据分析,公众号,爬虫)