GitHub 微信公众号爬虫推荐

GitHub 微信公众号爬虫推荐

本文推荐 GitHub 微信公众号爬虫article_spider 。

微信公众号爬虫有别于一般的网页爬虫，由于是一个相对封闭的内容平台，入口比较少，所以难度就有点大了。大概查找了一下，发觉基本上不能自动化的，无论是用 Selenium ，抓包工具（Fiddler）；还是从搜狗微信搜索，”管理”-“素材管理”中的“公众号查找”，都只能是实现半自动化。而且有很多文章介绍的方法或是从 GitHub 上找到的大多源码都不能用了。

最近也有保存微信公众号历史文章的需求，想着由于时间关系以及难度关系就不重复造轮子了。幸运的是从 GitHub 上找到了一个可用的源码仓库article_spider，（地址是：https://github.com/f111fei/article_spider）在此感谢源码作者。

article_spider 已经实现以下功能：

1. 爬取公众号所有文章数据
2. 支持自动识别验证码
3. 离线数据库，包含文章原始信息，文章图片
4. 微信文章预览

article_spider 的 README 写得很明了，除了开箱即用，还是源码学习的好材料。

如果你有保存微信公众号历史文章的需求或是想学习微信公众号爬虫，赶紧尝试下article_spider 吧：https://github.com/f111fei/article_spider

article_spider.png