如何自动采集QQ群的共享文件

功能简介

因为所加入的QQ群比较多,所以想到用程序来自动采集QQ群共享文件的元数据并自动下载,项目所使用python版本:3.6.8,python3环境下应该都不是问题。

代码下载: https://github.com/18351089214/qzone.

依赖项

redis
pymysql
selenium
requests

模块介绍

config.py       		 配置文件
db.py           		 封装了redis部分操作
cookieqzone.py   		 通过扫码登陆qzone并将cookie保存到redis
qzone.py        		 携带redis中保存的cookie访问目标网站,采集元数据,保存到mysql(循环采集)
download        		 从mysql读取到下载url,执行下载操作(下载链接有效性有时间限制)
mail.py        			 访问目标网站时,若cookie失效,则会发送邮件到指定邮箱

执行顺序

python cookieqzone.py(获取&保存cookie) && python qzone.py(携带cookie采集共享文件元数据) && python download.py(下载共享文件)
三个模块均可独立运行


你可能感兴趣的:(爬虫,Python,python,git,mysql,数据库,jquery)