一套价值十万的微信公众号采集解决方案
From：http://www.blog2019.net/post/138
原文地址
相关阅读：
一套价值十万的微信公众号采集解决方案(免费送)
数据采集采集架构中各模块详细分析
基于大数据平台的互联网数据采集平台基本架构
教你一种1分钟下载1万个网页的方法，你学吗？
uvloop：一个比gevent还要快两倍的 Python 异步网络框架
数据采集中，如何建立一套行之有效的监控体系？
3人团队，如何管理10万采集网站？(最全、最细解读)
爬虫系列之基于XPosed框架的微信公众号采集
1 整体概述
1.1 编写目的
本文主要用于描述微信采集过程中，各流程节点的解决方案。详细介绍了采集架构、手机号购买注意事项、微信注册注意事项、微信号养号注意事项、公众号采集方式，以及采集过程中遇到的问题等。
1.2 整体架构
微信数据采集主要分为四个阶段：
- 一、采集准备阶段：手机、手机号、XPosed插件、手机支架、HUB集线器、智能插座等；
- 二、公众号处理阶段：公众号收集、公众号添加、公众号管理等；
- 三、文章采集阶段：文章链接URL获取、解析、正文分布式采集等；
- 四、数据存储阶段：文章URL数据、文章正文数据等。
大致框架如下图1-1所示：
2 资源准备
微信采集主要需要手机和手机号，但由于需要大批量采集，手机的统一管理尤为重要。所以，同时需要手机支架、HUB集线器及智能插座等辅助设备，同时需要一个6.5~7.8平方米的空间。下面是对各个设备的配置等作以详细的说明。
2.1 手机购买
由于使用XPosed插件进行采集，所以对手机本身本身硬件要求较高，为了保证采集正常，手机不出现卡死、假死等现象，需要手机内存最低2G，操作系统版本要求为 Android 5.X及以上版本。同时，为了降低充电的次数，减少电池损耗，尽量选择待机长的机型。综合以上几个因素，手机每台费用在400-600元之间。
注意事项：
最好购买有“永不锁屏”设置的手机，因为在锁屏状态下无法接收到微信公众号自动推送的信息。
2.2 号码购买
手机号购买注意事项：
- 1. 一定要用4G网络，最好用电信号的。
- 2. 注册手机号不能连号，相邻手机号码之差的绝对值至少大于2000，可相同号段号码不同时间注册降低封号风险。
- 3. 号码需要不同号段（号码前3位和前7位随机获取），比如：不能全是153的号码，需要153、152、154的都有，前7位举例：1531002***、1531003***，不能全是1531001***的号码
- 4. 手机号码，不要选 170、 171、149这个些虚拟号段，选传统号段 130、137这些，手机号码最好不要挨着，如果挨着，也没关系。
- 5. 不要在市面上去买什么免实名卡，0 月租卡，大部分是骗子或者无法长期使用。
- 6. 建议买实名电话卡，一个身份证在一家电信业者可办理5卡。
注意事项：
也可以直接购买流量卡。但是如果微信异常或封号，解封没有手机号就比较麻烦了。
2.3 手机支架
由于微信采集需要使用大量的手机，且手机需要长时间处于非锁屏状态，需要长时间充电、散热、封号处理等。所以，手机的统一管理就显得尤为重要。如下图2-1所示(费用782元左右)，需要特定的支架，用于安放手机，方便手机的管理、充电、微信号异常(封号)处理等。
2.4 HUB集线器
由于整体采集使用的手机较多，每个手机通过独立的插座转接头的方式进行充电、USB链接等比较麻烦，不易于管理。所以，需要使用HUB集线器进行统一管理，如下图2-2、2-3所示，目前，市场上20个USB口的HUB大概在250-400元；30至32个USB口的HUB在400~550元
2.5 智能插座
由于采集使用的手机较低端，硬件质量较差，电池使用时间过长或者长期充电，容易导致手机电池鼓包，存在较大的安全隐患。所以，使用智能插座可以在每周的固定时间，统一给手机充电N小时，然后自动断电，依次循环往复。如下图2-3所示。其中智能插座的费用大概在：50~150元之间。
2.6 人员需求
需要一名运维人员（可为实习生）专门负责采集监控、手机监控、微信号监控、微信号解封等。
3 公众号采集
3.1 监测范围
根据目前了解到的市面上微信采集情况，一个比较完善微信采集平台，每天需要处理的大概任务量如下所示：
- ① 每天活跃的公众号数：45-50万/天
- ② 每天的文章总量：90-110万篇/天
- ③ 每天的点赞阅读数：30万次/天
- ④ 每天的评论总数：30万条/天
- ⑤ 每天新增公众号总数：5000个/天
每个微信号最多只能关注1000个公众号。所以，需要450~500个微信号。微信一般的封号概率在20%左右，为了保证采集的稳定性，需要多出100个左右的微信号作为备用。
3.2 采集方式
3.2.1 目前情况
目前微信采集主要有以下三种方式：
- （一）通过微信PC版采集，在电脑正常登陆微信PC版后，通过模拟鼠标键盘操作的方式来进行采集。该方式硬件投入较大。
- （二）通过微信网页版采集，直接调用程序扫码登录微信网页版，登录后，微信关注的微信公众号，有新的信息推送到微信时，程序会自动获取推送信息。该方式下微信连接容易中断，无法保证采集的稳定性。
- （三）直接通过VirtualXposed监控微信。这种方式是程序直接装在手机上，自动拦截推送的信息。通过分析拦截的数据包，解析出有用的数据。该方式成本相对较低，且稳定性较好。
经过各方面比对，最终选取第三种方式，也就是直接通过VirtualXposed监控微信APP发出和接收的所有请求数据包，对其进行解析，分析出符合要求的文章链接。
3.2.2 备用方案
由于使用VirtualXposed拦截微信推送信息的方式，会对微信客户端进行篡
改，腾讯有可能升级技术，导致VirtualXposed插件无法再使用。或者，腾讯能通过技术准确的检测手机是否安装了VirtualXposed插件，从而大量封号，导致采集无法稳定进行。目前了解到的可行的备用方案有以下几种方式：
（一）使用3.2.1中的第二种方式。该种方式需要微信号在2017年10月份以前注册，否则无法登陆网页版；
（二）使用 AnyProxy 抓包的方式。该种方式对技术要求较高，目前尚未进行详细的测试。
3.3 采集流程
微信采集整体流程如下图3-1所示：
其中主要分为三部分：
- 1) 公众号的收集与添加；
- 2) 文章URL获取与解析；
- 3) 正文分布式采集；
3.3.1 公众号收集与添加
公众号收集可以通过以下步骤进行处理：
- 1) 遍历ES中八友历史数据，解析文章正文中存在的公众号信息，并保存数据；
- 2) 根据项目关键词，通过搜狗微信公众号搜索，进行搜索解析并保存入库；
- 3) 特殊需求的公众号由各个项目自行提供；
微信公众号添加详见4.3节。
3.3.2 文章URL获取与解析
微信文章 URL 处理流程如下图3-2所示：
3.3.3 正文采集
文章正文处理流程如下图3-3所示：
3.4 数据存储
微信采集过程中的数据存储主要分为三块，一是微信号和公众号的存储；二是公众号文章列表的存储；三是文章正文信息的存储。各个模块的存储详见下述介绍。
3.4.1 微信号存储
| 字段名称 |
类型 |
长度 |
为空 |
备注 |
| id |
int |
11 |
NO |
主键id |
| webchat_mobile_code |
int |
11 |
NO |
手机号 |
| webchat_mobile_user |
String |
20 |
NO |
手机号所属人 |
| webchat_mobile |
int |
1 |
NO3 |
运营商；1:联通；2：移动；3：电信 |
| webchat_mobile_purchase |
String |
10 |
YES |
购买日期；yyyy-MM-dd |
| webchat_code |
String |
100 |
NO |
微信号 |
| webchat_nk |
String |
100 |
NO |
昵称 |
| webchat_passw |
String |
50 |
YES |
微信密码 |
| wechat_attiones |
int |
4 |
NO |
关注公众号数量 |
| webchat_mark |
String |
255 |
YES |
说明 |
3.4.2 公众号存储
| 字段名称 |
类型 |
长度 |
为空 |
备注 |
| id |
int |
11 |
NO |
|
| wechat_name |
varchar |
50 |
NO |
微信号名称 |
| wechat_code |
varchar |
60 |
NO |
微信号 |
| wechat_index_url |
varchar |
200 |
YES |
个人首页链接 |
| webchat_biz |
varchar |
50 |
NO |
biz用户唯一标识 |
| webchat_id |
int |
11 |
YES |
微信账号表ID |
3.4.3 文章URL存储
在每个微信关注的公众号推送文章后，通过手机中安装的VirtualXposed插件，获取接收到的数据包，然后把数据包+手机号，一同发送到Redis接口，接口对数据包进行解析，把文章URL数据存放到Redis集群中。
根据八友微信接口每日的数据量分析，微信全量采集时需要处理的比较活跃的公众号在40~50万个，每天文章量在80~120万左右。为了便于管理，计划在Redis集群中，每天生成一个hash类型的缓存表，表名格式为：WeChat_yyyyMMdd，其中数据格式为key=URL，value=当前添加时间。如下图3-4所示
3.4.4 采集历史记录存储
微信文章通过分布式方式进行，每个采集脚本请求Redis接口服务，获取一定量的文章URL，然后采集正文，推送到kafka中。同时，请求过的URL信息，Redis接口会把信息从WeChat_yyyyMMdd缓存中删除，并保存到采集历史缓存中。hash类型的缓存表表名格式为：WeChat_History_yyyyMMdd，如下图3-2所示。其中key=URL，value=请求时的当前系统时间。如下图3-5所示
3.5 采集监控
整个采集流程中需要监控的节点主要为：XPosed插件；Redis接口服务接收和解析、入库；正文采集(源码获取、解析，kafka推送)。具体处理如下：
3.5.1 XPosed监控
主要分为两部分，一是XPosed插件自身的监控，防止长时间运行导致死机等；二是XPosed数据包发送。
- XPosed插件：自身缺陷机长时间运行，导致的死机等现象，目前尚未找到好的处理方式，只能通过重启插件或手机；
- XPosed数据包：数据包异常主要体现在调用Redis集群接口服务时，需要在接口服务异常的情况下，把获取到的数据推送到数据库或写到文件里，当接口服务正常时重新发送。
3.5.2 Redis接口服务监控
主要监控XPosed数据包解析和保存另两个步骤，在出现异常时把数据写到本地文件，待正常时重新进行二次处理。
3.5.3 正文采集监控
正文采集监控点主要包括：已采集URL记录、正文源码下载、正文解析，以及信息推送kafka等四部分。
- ① 已采集URL记录在历史信息表中，保留一个月，用于对采集异常的追溯；
- ② 正文源码下载：记录请求状态码；
- ③ 正文解析：记录解析状态；0：成功；1：失败；
- ④ 信息推送：推送异常数据保存在本地文件，待服务正常时进行二次推送。如果一条信息推送三次均未成功，则表示推送失败，同时删除内容。
同时，需要监控服务器IP被封的情况；
3.5.4 新增公众号监控
目前有些网站有公众号的搜索功能，前期可以使用项目相关的关键词在这些网站上进行搜索，获取部分新注册的公众号。搜索平台如下表3-1：
| 网站名称 |
链接 |
备注 |
| 搜狗微信公众号搜索 |
http://weixin.sogou.com/weixin?type=1&query=%E9%93%B6%E8%A1%8C&ie=utf8&s_from=input&_sug_=y&_sug_type_= |
|
| 推信网微信公众号推荐 |
http://www.tuixinwang.cn/so.aspx?wd=%e9%87%91%e8%9e%8d&t=weixin&p=16 |
|
| 聚微信 |
https://www.juweixin.com/weixin/index/0/1?a=1&per_page=1540 |
表 3-1
4 采集运维管理
微信公众号数据的采集运维工作，主要体现在微信号的注册、养号、解封等工作上，至于微信文章的采集，基于现有的服务器，使用分布式可以较容易的进行处理。在微信号前期注册和养号期间，计划分配到数据管理中心各人员，作为一个KPI加分指标。由各人员在家中或者上下班路上，进行微信号注册、养号(发朋友圈、点赞、聊天)等。
4.1 微信注册
由于微信号的监管逐步加强，新注册的微信号被封的概率较大，所以微信号在注册时需要追寻一定的规则，具体注意事项如下：
- ① 注册请用官微，不要用那些多开软件注册
- ② 使用4G网络，千万不要用wifi，不要开GPS。同一个Wifi或GPS多个微信号注册，相当容易被封号的。
- ③ 每个手机必须提前存3-5个手机号进去，注册成功的时候，可以直接加上微信好友
- ④ 选择不同位置注册，可使用不同出行方式（公交、地铁、步行），每次注册的距离大于1.5km，每次注册间隔时间大于10分钟，最好分开时间段注册，尽量一批号不要是同一天，最好是分散到 3-5 天注册完成。
- ⑤ 注册时如果5分钟之内收不到验证码，先暂停该号码注册，不要频繁发送验证码
- ⑥ 随意关注几个公众号（搜索微信安全中心、京东、爱奇艺搞笑等公众账号）
- ⑦ 注册后一定先自己任意使用微信，之后注册其他号完成后也要使用一下之前注册的微信
- ⑧ 注册之后不能将手机关闭
- ⑨ 新微信号注册，密码不要一样。建议采用：相同字符+手机号的形式，也比较容易记。
- ⑩ 个人资料的地区一定不要填写，因为一点开就开始获取位置了，这个记录宁可不让微信知道。个人资料不要一次性全部填完，每天填一点，分批填写，可以增加活跃的权重。
- ⑪ 设置头像，注意，头像图片必须每张都不一样，如果一定需要设置同样的头像，请通过制图软件修改图片的大小，亮度等，另存成不同的图片，这样对于微信系统来说，可以绕过一定的检测。
- ⑫ 名字最好多个号都不一样 。
注意事项：
现在有专门卖微信号，买回来以后就可以使用，不过为了安全起见，还是建议登录一周，期间发一些朋友圈，或加一些微信，每天随便聊几句，这样可以降低异常概率
4.3 公众号添加
由于每个微信号每天最多只能关注40-50个公众号，同时为了保证微信号的稳定性(不被封号)，需要公众号的添加分布在不同时间、不同地点。可以所有采集相关人员参与，同时根据实际情况做出相应的奖罚。
具体实施步骤如下：
- (1) 根据手机编号，把每一部手机分配到人；
- (2) 根据时间节点，合理安排每人每日需要处理的微信号(每天5台 /人)
- (3) 通过自动脚本，给每个人当天负责的每个微信号上，通过聊天的方式，给每个微信号发送需要关注的40~50个公众号文章；
- (4) 相关人员在办公室(尽量少)、上下班或者家中，添加微信接收到的文章的公众号为关注；
按上述方式，每天可以添加公众号：2400~3000个【5(台/人·天)*40~50(公众号)*12（总人数）】。40~50万个公众号最快需要123个工作日，
可以通过奖惩的方式，鼓励相关人员进行处理，加快进度。具体如下：
- ① 每周每人需正常关注1200个，每多关注1000个奖励200元。
- ② 如果未达到正常关注数量，当月考核降一级。
4.4 微信号解封
4.4.1 导致封号的情况
- ① 平时微信会封禁的账户类型（诈骗，色情营销，吸粉账号等）。
- ② 添加好友过于频繁，尤其是新号，必封！
- ③ 微信信息发布中出现累计超过10次的敏感词语，包含：支付宝、银行、银行卡、汇款、打款、打钱、帐号、帐户、转帐、网银、多少钱、怎么卖、价格”会被封号，或提醒账号有风险（解决方案：信息发布中，不要包含有和钱有关的字语）
- ④ 微信发送的内容被好友举报。 一般是2-5人的举报就会封号。
- ⑤ 频繁更换账号登陆，或是同一个账号频繁在不同的手机上登陆。
- ⑥ 传播色情，暴利，反动，辱骂、QQ号码、手机号码、广告类网址等信息，被发现就会封号
- ⑦ 手机上安装了 Xposed 、Magisk 框架(激活或者未激活)的用户。
- ⑧ 一部分只 ROOT 手机的用户（存疑）和使用越狱后 iOS 的用户。
- ⑨ 使用手机自带/第三方的微信分身功能同时使用多个微信账户。
- ⑩ 少部分什么都没装无辜躺枪的 Play 商店版微信用户。
- ⑪ 在多开上注册的微信账号。
- ⑫ 在聊天过程中频繁使用一些敏感词汇（如：转账、付款、色情等词）。
4.4.2 微信号解封
- ① 永久封号的，可以注销手机号重新申请；
- ② 临时封号，使用微信的自助解封功能进行处理；
4.5 采集部署管理
由于微信采集需要大批量的手机作为支撑。为了保证采集的稳定性，以及手机的安全性(主要为手机电池)，手机的统一管理极为重要。主要通过以下步骤来方便实现统一管理：
4.5.1 手机支架管理
购买统一手机支架：要求手机支架稳定、利于手机散热、充电、拿取等；如下图4-1
同时对手机支架进行编号：
- ① 对每个手机支架进行编号；
- ② 对每个支架的每层进行编号；
- ③ 对每层每个手机位进行编号；
4.5.2 手机管理
主要是对手机进行编号，分为以下几步：
- ① 把购买的手机号添加到信源系统的微信号管理功能下；
- ② 手机编号规则：手机支架编号+每层编号+手机位编号+信源系统中手机号ID，作为每个手机的编号；
对手机支架和手机进行编号以后，在每个支架、支架每层、每个手机位上贴上相应的标签；然后，根据规则生成手机编号，贴于手机背部。最终效果类似下图4-2
4.5.3 手机群控管理
手机群系统，内部是套软件，外部是一台电脑和多个手机，逻辑是模拟手机的人工操作，使用手机自己的流量，不容易被封号。方便养号、解封等操作，群控软件效果如下图4-3、4-4所示:
手机群控软件(Total Control)报价如下：
| 项目 |
官方价格 |
| 多设备控制 (10) |
¥260/年 |
| 多设备控制 (20) |
¥540/年 |
| 多设备控制 (30) |
¥800/年 |
| 多设备控制 (50) (40) |
¥1400/年 (¥1600/年) |
| 多设备控制 (70) (60) |
¥2800/年 (¥3200/年) |
| 多设备控制 (100) |
¥4460/年 (¥5000/年) |
Total Control有以下主要特点：
- ① 无需手机root；
- ② 只适用于Android 4.0以上；
- ③ 可将手机自定义分组，分组控制/执行各种任务；
- ④ 消息集中管理；
4.6 运维工具开发
4.6.1 自动聊天工具
主要用于在公众号添加阶段，给每个手机发送待关注的公众号文章，方便相关人员进行公众号的关注；