美团外卖商家和评论爬虫

背景

店内需要一个工具，统计全国新商家店铺信息，用来推广餐具包装袋等
在GitHub上找到一份两年前的示例程序
其中饿了么功能可以正常使用，其API尚未更新，并且与另一份API文档基本一致
而美团的API已经无法使用，网上也没有现成的参考。需要尝试自己搞定。
思路是抓包分析得到API。

工具

charles抓包工具: 用于抓取API数据包，代理方式，格式清晰，支持加密SSL（需手动安装证书，否则浏览器会报证书不匹配），HTTP抓取很好用，也可以获得一些网页和js
wireshark: (可选)，只能抓取未加密的HTTP，且格式需要自己解析
chrome: 调试工具，用于调试和理解网页上的js代码，与线下程序比对，也可以下载网页和代码
chrome插件cookies.txt: (可选)，用于将chrome当前页面的cookies导出到txt，可以在程序里读进去，假装chrome进行POST请求，以研究哪些cookies是必须的
nodejs: 主要的实现环境

方法

本人采用的是使用登陆后的cookie直接访问的目标接口，通过代理，各种模拟时间戳，经纬度，终于拿到了自己需要的数据。
附张图

评论、商家信息、店铺信息都可以获取到。
需要的可以联系v: 17610352720(不免费)