采集大众点评、美团等数据进行大数据挖掘

当你有了一只美丽的爬虫后你可以做很多有意思的事情，比如爬虫爬到了很多餐饮数据后就可以做餐饮地区活跃度分析了，这些分析指标是很有意义的，特别是对准备开店的人。
首先要将数据从大众点评、美团或其他网站数据采集下来，方式可以从美食产品入口，然后找到餐饮公司信息，然后找到地址，地区等信息。采集的时候要做好防重策略，这样可以节省很多时间，还有就是不要并发太大，以免影响正常的业务。将采集到的数据写入数据库，以备后用。
有了这些数据就可以对餐饮公司的分布做统计分析了，能很容易统计出某个城市餐饮公司的地区分布情况，当然你可以找一个好看的数据显示图表进行展示。
只做这些就过于简单了，如果得到餐饮分布的变化情况呢，爬虫另一个技能，增量采集，这个需要后台进行定时做数据的增量采集，所谓的变化就是在时间轴移动过程中，Y轴的变动情况，有了增量数据，这个也很容易了。
另一个需要关注的是哪些餐饮公司比较活跃，生意比较好，一次类推哪些分类的生意比较好，从另一个角度上来说就是这个地区的人更喜欢那些餐饮类型，甚至于不同的季节餐饮喜好的变化等等。
在这上面有很多事情可以做，有点意思。

转载请注明出处 数荟集（专业数据提供） http://www.shuhuiji.com/detail.jsp?id=9

转载于:https://www.cnblogs.com/shuhuiji/p/5639231.html