欢迎点击右上角关注小编,除了分享技术文章之外还有很多福利,私信学习资料可以领取包括不限于Python实战演练、PDF电子文档、面试集锦、学习资料等。

前言

最近在Python爬虫的群里面看到有挺多人对于美团网上面的数据非常的感兴趣,而且还某些人给出的价格也是非常的可观,爬取美团的数据然后出价5000????当时就懵逼了,当我爬取所有的数据发现原来5000感觉都少了!

爬虫思路

目前有许多爬虫框架,我粗略的使用了以下思路实现增量爬取。

  • requests(selenium)爬取数据;

  • 判断爬取的数据是否数据库中已存在;

  • 保存在dataframe对象中;

  • 插入到数据库中。

获取到所有的商家的url后,现在就到我们的最后一步了,但是要注意的是不同种类型的数据页面是不同的.比如酒店

小伙用Python爬取美团网所有城市数据,朋友出价5000他都不卖_第1张图片


小伙用Python爬取美团网所有城市数据,朋友出价5000他都不卖_第2张图片


所以对于不同种类型,需要写不同的解析函数.最后就是爬取的时候不应该追求快,美团限制很严,最好多线程 几秒请求一次.接下来就慢慢让它跑了

小伙用Python爬取美团网所有城市数据,朋友出价5000他都不卖_第3张图片

基本环境配置

版本:Python3.6

系统:Windows

模块:csv、 time、requests、 json

部分代码

小伙用Python爬取美团网所有城市数据,朋友出价5000他都不卖_第4张图片


爬取结果分为四大类:

小伙用Python爬取美团网所有城市数据,朋友出价5000他都不卖_第5张图片


电影院 8195个

小伙用Python爬取美团网所有城市数据,朋友出价5000他都不卖_第6张图片


酒店 211129

小伙用Python爬取美团网所有城市数据,朋友出价5000他都不卖_第7张图片


美食大类 490928

小伙用Python爬取美团网所有城市数据,朋友出价5000他都不卖_第8张图片


生活大类 432803

小伙用Python爬取美团网所有城市数据,朋友出价5000他都不卖_第9张图片


总共 115万 条数据

看到这么多的数据,我突然感觉5K都少了呀!

就说到这里了,如果需要源码的小伙伴,可以看下方的图