爬虫｜利用Anyproxy爬取微信公众号文章及临时链接转永久链接

一、先说整体的解决方案

1、通过搜狗进行公众号文章的采集，这样获取到的文章URL是一个带时间戳的临时链接。

2、通过安卓模拟器＋Anyproxy代理抓包分析微信客户端打开临时链接时与其服务器请求的协议内容，得出永久链接。

3、通过按键精灵模拟或Python脚本在微信号上发送临时链接内容，只有在安卓模拟器上的微信号上发送了内容，Anyproxy代理才能抓取到相关的包内容。

二、再说具体的解决方案，主要是第2点

1、通过搜狗进行公众号文章的采集，这样获取到的文章URL是一个带时间戳的临时链接。在用这个做数据采集时，经常会出现“请输入验证码”。我尝试用IP代理池，但目前尚未找到可以避免或叫解决这个问题的IP代理服务器。我这块的处理方式是用动态IP VPS服务解决。具体的解决步骤我这块就不细讲啦，因为这个不是本文章的重点。

2、通过安卓模拟器＋Anyproxy代理抓包分析微信客户端打开临时链接时与其服务器请求的协议内容，得出永久链接。我用的是win10系统。

1）一个微信客户端：下载一个安卓模拟器，在这个模拟器上安装一个微信app。

2）一个微信个人号：为了采集内容不仅需要微信客户端，还要有一个微信个人号专门用于发送临时链接。

3）本地代理服务器系统：使用的方法是通过Anyproxy代理服务器将临时链接和永久链接发送到我们自己的服务器上进行替换。具体安装设置方法在后面详细介绍。

我使用的是Anyproxy。这个软件的特点是可以获取到https链接的内容。在2016年年初的时候微信公众号和微信文章开始使用https链接。并且Anyproxy可以通过修改rule向服务器发送请求。下面开始介绍安装与配置过程。

1、安装NodeJS

2、在命令行或者终端运行 npm install -g anyproxy

3、生成RootCA，https需要这个证书：运行命令anyproxy --root

4、启动anyproxy运行命令：win＋R打开运行，输入anyproxy -i；参数-i是解析HTTPS的意思；

5、安装证书，在安卓模拟器中安装证书：启动anyproxy，浏览器打开http://localhost:8002/fetchCrtFile，能获取rootCA.crt文件

6、设置代理：安卓模拟器的代理服务器地址是wifi链接的网关，可以通过把dhcp设置为静态后看到网关地址，看完后别忘了再设置为自动。代理服务器默认端口是8001。

检测是否成功方法：打开模拟器上的微信，点击到任意一个文章中，在终端都可以看到响应的代码滚动。如果没有出现，请检查手机的代理设置是否正确。我下面的截图是打开浏览器地址http://localhost:8002看到anyproxy的web界面。

我在微信app上打开的是文章的临时链接，通过协议分析可以知道永久链接是重定向到302时的location中。

4）修改Anyproxy文件rule_default.js，获取抓包中的协议内容。

rule_default.js文件在*\node_modules\anyproxy\lib\rule_default.js中，找到replaceServerResDataAsync: function(req,res,serverResData,callback) 函数，修改函数内容，劫取需要的内容。因为我只需要劫取返回为302的code内容，所以我只有当statusCode==302时才callback。

找到replaceResponseHeader: function(req,res,header)函数，修改函数内容。获取永久链接，调用我在服务器写好的http接口，我这边接口只有两个参数：临时链接和永久链接，根据临时链接增加永久链接。

好，到目前为止，通过使用Anyproxy把临时链接转永久链接的功能介绍完成啦。

PS：使用Anyproxy可以直接获取微信公众号的全部文章（永久链接），包括点赞数，阅读数之类的信息。这样的话可以不用使用搜狗。不过这里会有些问题，微信会封你在做这个事情的微信个人号，所以我采取的是使用搜狗爬文章（急），再利用Anyproxy在临时链接有效时间内更新为永久链接。

3、通过按键精灵模拟在微信app上点击临时链接，或者也可以通过python脚本模拟。这块我正在编写，等完成之后再更新上来。