基于djang、vue、scrapy-redis、高德地图的豆瓣租房租房信息爬取、存储、可视化综合项目

1、scrapy-redis部分
这里主要是用分布式爬虫爬取所有的豆瓣租房信息，然后去重、存数据库(MySQL)。使用分布式的好处是爬取快，可以分布在多台机器上爬取；然后redis可以结合django使用，做到在前台点击一下按钮就可以更新redis键值，从而使scrapy-redis继续爬取最新租房信息。具体代码见码云。
2、django部分
这里主要是处理数据的，将存好的数据有序的传递到vue前端，然后vue进行处理交互。具体代码见码云。
3、vue结合高德地图可视化部分
这里就是主要做数据可视化，以及配合高德地图让使用者更好的找到相关地理位置的房源。具体代码见码云。
操作截图如下：

具体如何运行；在每个项目内的README.md内都有说明。
项目码云地址：[email protected]:aeasringnar/douban_django.git