自动化数据处理流程（Python）

前沿

能够流程化的业务尽量自动化。提高效率，最大程度的商业化才是首要。

本人的业务逻辑是这样：
第一步：首先抓包，获取需要的接口；
第二步：开启爬虫，保存爬取的资源；
第三步：根据本地的资源，生成json，入库；
第四步：把本地资源上传S3；
第五步：通过服务端API请求数据。

流程图：

流程图.png

本篇文章主要介绍第二步，第三步，第四步

第二步：对文件重命名&生成json

rename_json.py

批量修改文件名

批量修改文件名.png

生成json

生成json.png

第三步：连接数据库&建表&入库

json_to_mysql.py

连接数据库

连接数据库.png

建表

建表.png

入库

入库.png

第四步：连接S3&创建目录&批量上传资源

file_to_s3.py

连接S3

连接S3.png

创建目录

创建目录.png

批量上传资源

批量上传资源.png

最后

不管大佬们关不关注公众号，我都会放上本章的Demo