快速搭建基于《搜狗微信》的公众号爬虫---搜狗微信公众号爬虫教程

这个教程是基于我开源的一份python源码,各位看官请先下载源码。

源码下载地址:https://github.com/jaryee/wechat_sogou_crawl


环境配置咱这里就不讲了,网上一大堆教程,请先配置好python2.7+mysql

注意,python版本为2.7,需要安装如下模块:

requests 、pymysql、lxml、Pillow、werkzeug

安装就是在CMD控制台里直接:pip install pymysql  回车

安装时如果某个模块安装失败,可以去下面这个网址里下载别人编译好的whl模块文件,下载自己对应的版本

http://www.lfd.uci.edu/~gohlke/pythonlibs

下载好后直接在CMD控制台里:pip install xxx.whl 回车就可以了


好,现在来创建对应的数据库,先创建一个数据库,名字随意,比如:jubang,格式为 utf8mb4,创建好后在该数据库导入刚才下载的源码包里的:jubang.sql文件,

这样,数据库表就创建完成了,一共有4个表,分别是:

mp_info:所有咱们需要抓取的公众号信息都保存在这里

wenzhang_info:公众号发布的文章信息都保存在这里

wenzhang_statistics:每次抓取文章阅读及点攒时,都在会这个表里保存一份增量数据,可以使用该表中的数据生成一篇文章的阅读变化趋势图

add_mp_list:这个表是用来增加指定的公众号的,咱想要抓哪个公众号,就打开这个表,把公众号名称或者公众号的微信号加入这个表,然后执行一下源码中的auto_add_mp.py就可以啦


下面打开源码包中的config.py文件,将其中数据库的设置,修改为你的数据库信息,用户名密码,ip之类的,到这里我们就成功部署好了搜狗微信爬虫啦,现在来看看他的能力吧!


如何使用爬虫呢?

一、更新数据库最新文章

执行updatemp.py,就会去查看咱指定的公众号是否有新文章发布了,如果有,就把新发布的文章入库,这里咱做了 排重,不会重复抓相同文章


二、更新文章阅读数据

执行updatewenzhang.py,就会去更新文章表中的最近24小时之内的文章阅读数据,如果修改为指定时间,比如12小时或36小时,可以修改updatewenzhang.py文件,大家自己看一下文件中有注释解释了如何修改


三、添加指定的公众号

打开数据库表add_mp_list,把想要抓取的公众号名称或者公众号的微信号加入这个表,可以一次增加多条,然后执行一下源码中的auto_add_mp.py就可以啦


注意:搜狗微信网站如果访问频繁了会出现验证码,导致我们不能正常爬取,不要怕,咱的代码里已经加了验证码自动识别模块:若快识别,请在下面的链接中注册若快用户,然后把注册的用户和密码填写到源码中的config.py文件中就可以啦,若快识别大约是两个验证码1分钱,大家根据自己的需要充值就可以了

http://www.ruokuai.com


好啦,到这里基于搜狗微信的公众号爬虫就全部搞定啦,是不是非常简单,让我们快乐的爬起来吧,哈哈~~


后面还会有基于微信接口的教程,搜狗微信无法抓取公众号全部历史文章及阅读数据,而基于微信接口就可以实现这个伟大的目标了,大家一起期待吧!


您的支持,就是我开源的动力!!!

快速搭建基于《搜狗微信》的公众号爬虫---搜狗微信公众号爬虫教程_第1张图片

你可能感兴趣的:(微信爬虫)