1.技术架构:
python+阿里云数据库mongodb5.0+高德地图rest api
2.成本:
阿里云数据库mongodb5.0一个月话费1k多
2.遇到的问题
1)两个阿里云账号下 mongodb5.0云数据库在同步时候,不能使用阿里云DTS,请大家注意,要买就买低版本的,不然无法做大数量同步。
2)高德api有调用限制,实名认证也就能调用30000次。需要网上buy别人封装的企业接口,一天成本几十,
3)湾湾数据没有cityname,没有所属地市,如高雄市,就写个湾湾省。
4)高德api返回数据有重复的,估计是网格分割后,poi点落在正方形的边界了。下面是核心去重代码,查出重复_id list,对list切片,剩下一个,其他删除。
3.最终成果:
每个包含23类 '汽车服务', '汽车销售', '汽车维修', '摩托车服务', '餐饮服务', '生活服务', '体育休闲服务', '医疗保健服务', '住宿服务', '风景名胜', '商务住宅', '政府机构及社会团体', '科教文化服务', '交通设施服务', '金融保险服务', '公司企业', '道路附属设施', '地名地址信息', '公共设施', '事件活动', '室内设施', '通行设施', '购物服务'。
3.最终成果:
34个省份csv,每个包含23类 '汽车服务', '汽车销售', '汽车维修', '摩托车服务', '餐饮服务', '生活服务', '体育休闲服务', '医疗保健服务', '住宿服务', '风景名胜', '商务住宅', '政府机构及社会团体', '科教文化服务', '交通设施服务', '金融保险服务', '公司企业', '道路附属设施', '地名地址信息', '公共设施', '事件活动', '室内设施', '通行设施', '购物服务'。
有需要 qq:6686496 交流。