Python实战：通过微信小程序，获取Manner Coffee全国门店信息
有公众号读者在后台提问，想要上海 manner 门店信息。
查找数据源
首先常规思路，先去 manner 官网找数据入口，发现只有门店的名称，没有其他信息，字段比较单薄。
其次，官网的门店数据没有及时更新，一些新开的店没有录入。
换个思路，去 MannerCoffee 点单小程序找一下数据，小程序截图如下，显示了门店名称、地址、营业时间等信息。
获取数据
借助 Reqable 或 Fiddler、Charles 等抓包工具，抓取小程序的数据。本文使用的是 Reqable 软件。
登录电脑端微信，打开 MannerCoffee 小程序，切换不同城市的页面，在 Reqable 中抓到了城市列表 url 和门店列表 url。
获取城市列表
通过抓包工具，获取到城市 url 地址和响应体 response，response 的内容是城市列表。
城市 url 为：https://triangle.wearemanner.com/mp-api/v1/areas/tree?isContainsCountry=false
水平不够，用 Python 的 request 库没能直接爬到数据，可能是小程序数据加密了。有大神会的可以教教我。
先用手工方式，获取到的城市列表保存为 manner_city.json 文件。
解析城市列表
解析保存的 manner_city.json 文件，将所有字段展开，保存为 manner_city.xlsx 文件
import pandas as pd
if __name__ == '__main__':
df = pd.read_json("manner_city.json")
df = pd.json_normalize(df['data']['areas'], meta=['id', 'name', 'code', 'level', 'ab', 'py'], record_path='areas',
record_prefix='areas.',
# meta_prefix='data->',
errors='ignore')
df.to_excel(f"manner_city.xlsx", index=False)
print("保存完成！")
解析后的 manner_city.xlsx 文件如下：
获取门店
类似的，通过抓包工具，获取到门店 url 地址和响应体 response，response 的内容是门店列表。
url 是下面的格式，只有areaCode是变化的参数，其他参数一样，可以方便的构造 url。
https://triangle.wearemanner.com/mp-api/v1/shops?isCompact=true&areaCode=320200&level=4
遇到相同的问题，用 Python 的 request 库没能直接爬到数据，有大神会的可以教教我。
先用手工方式，获取到的门店列表保存为 shanghai_shop.json 文件。
解析门店
解析保存的 shanghai_shop.json 文件，将所有字段展开，保存为 shanghai_shop.xlsx 文件。
门店包含 id、城市编码、门店名称、地址、经纬度、营业时间、是否还在营业、联系电话等字段数据。
import pandas as pd
if __name__ == '__main__':
df = pd.read_json("shanghai_shop.json")
df = pd.json_normalize(df['data'], errors='ignore')
# 输出原始的列名
print(df.columns)
# 列重新排序
df = df.loc[:, ['ac', 'i', 'n', 'a', 'te', 'lo', 'la', 'iw', 'bh', 'sl', 'f',
'q.qc', 'q.mp', 'q.oc', 'q.mc', 'q.wt', 'ta']]
# 部分列重命名
df = df.rename(columns={'a': 'address',
'te': 'telephone',
'ac': 'area_code',
'lo': 'lon',
'la': 'lat',
'n': 'name',
'bh': 'business_hours',
'iw': 'is_work', })
# 输出重新排序，重命名后的列
print(df.columns)
df.to_excel(f"shanghai_shop.xlsx", index=False)
print("保存完成！")
编写脚本
在抓包工具内编写脚本，切换城市，可以将每个城市的门店保存到本地 json 文件。
合并json
通过切换城市，抓包工具的脚本，已经将每个城市的门店 json 保存到本地，通过 Python 代码将这些 json 文件合并，并生成一个 excel 文件。
import pandas as pd
import os
# file_dir 为文件夹路径，修改为你自己的
file_dir = 'C:/Users/stjn_hx/Desktop/百度地图/response/'
file_list = os.listdir(file_dir)
new_list = pd.DataFrame()
for file in file_list:
if file.endswith(".json"):
try:
data = pd.json_normalize(pd.read_json(file_dir + file)['data'])
new_list = pd.concat([new_list, pd.DataFrame(data)])
print("正在合并", file)
except:
print("合并失败", file)
# 将 DataFrame 保存为 excel 文件
# 去除重复数据
new_list = new_list.drop_duplicates('i', inplace=False)
# 输出原始的列名
print(new_list.columns)
# 列重新排序
new_list = new_list.loc[:, ['i', 'n', 'a', 'ac', 'te', 'lo', 'la', 'iw', 'bh', 'sl', 'f',
'q.qc', 'q.mp', 'q.oc', 'q.mc', 'q.wt', 'ta']]
# 部分列重命名
new_list = new_list.rename(columns={'i': 'id',
'a': 'address',
'te': 'telephone',
'ac': 'area_code',
'lo': 'lon',
'la': 'lat',
'n': 'name',
'bh': 'business_hours',
'iw': 'is_work', })
# 输出重新排序，重命名后的列
print(new_list.columns)
num = new_list.shape[0]
new_list.to_excel(f'manner coffee全国门店-{num}个.xlsx', index=False)
print("合并完成！")
这个数据是下午获取到的，从is_work字段来看，全国有 1107 个门店，其中有 911 家营业，剩下的 196 家是休息状态，是不是关店了？
数据分析
今天的重点是获取数据，数据分析可以参考之前的文章，自己尝试吧。
参考文章
地图标记
由于获取到的门店有经纬度信息，还可以在地图上对门店进行标记，生成可视化地图。
在线地图工具https://map.citylabmap.com/
在地图网站，上传门店的 csv 文件，可以生成如下的热力图。
也可以参考之前的文章，使用pyecharts库生成地图。
参考文章
辅助信息
MannerCoffee 公众号发布过的一些文章，可以辅助验证我们获取数据的准确性。
MannerCoffee 公众号 2023 年 10 月 30 日数据显示“MANNER 全国直营第 1000 家，正式开业”。
MannerCoffee 公众号 2023 年 10 月 31 日数据显示“全国第 1100 家直营店，马上来了”。
MannerCoffee 公众号 2023 年 11 月 30 日数据显示“全国直营 1200 家门店，马上来了”。
MannerCoffee 公众号 2023 年 12 月 31 日数据显示“2023 年，MANNER 突破 1200 家全国直营店”。
2024 年还计划发展到全国 2000+店，可见开店速度非常快。
以上数据和本文获取到的数据比对，可能是公众号统计口径不一致，将闭店的数据也统计进门店总数了。也可能是我手动刷新城市，有漏掉的城市没保存下来。
难点：
通过抓包工具，找到了小程序的 url，但是在浏览器里却打不开 url，没能获取信息。
由于数据量小，自己手动十几次抓到了每个 url 的 response，数据量大的情况就不能再手动了。
大神看到这里，有什么好办法，可以教教我。
本文首发在“程序员coding”公众号，欢迎关注与我一起交流学习。
本文数据集已经上传到公众号，后台回复“Manner Coffee”可以自取。