用Python爬取了全国近5000家旅游景点,分析国庆去哪玩

用Python爬取了全国近5000家旅游景点,分析国庆去哪玩_第1张图片

双节同庆,小长假如约而至

我想今年大家在家都憋坏了

这么长的假期,当然是出去 玩玩玩!

用Python爬取了全国近5000家旅游景点,分析国庆去哪玩_第2张图片

每当长假的时候,有没有想起被人山人海支配的恐惧!

用Python爬取了全国近5000家旅游景点,分析国庆去哪玩_第3张图片

该去哪些地方呢?

我用 Python 爬取了全国近 5000 个旅游景点,并结合 pyecharts 来做分析

技能包

  • 爬虫

  • Mysql

  • sqlalchemy

  • pyecharts

数据爬取

旅游景点的数据是从网上爬取的,该数据包含以下维度:景点名称,所属省市区,景点简介,门票价格,评分,近期销量,景点评级等。

爬虫比较简单,多分析下就可以,直接贴代码了

用Python爬取了全国近5000家旅游景点,分析国庆去哪玩_第4张图片 爬虫代码

基本上没什么反爬,加点延时别爬太快就是了...

爬取下来之后直接入库,入库部分代码如下:

用Python爬取了全国近5000家旅游景点,分析国庆去哪玩_第5张图片 入库

当然,每个省份我只爬了前 10 页,因为后面的基本都是些不知名的旅游景点

爬完之后看了下数据库有 4572 条数据,我想应该够了吧...

用Python爬取了全国近5000家旅游景点,分析国庆去哪玩_第6张图片

有了数据之后,是不是就能搞事情了...,简单做几个分析

数据分析

接下来我们使用 pyecharts 来对爬取的数据做一个简单的分析

1. 景点销量排行榜

直接从数据库查出数据,丢进去就行。

用Python爬取了全国近5000家旅游景点,分析国庆去哪玩_第7张图片

结果展示:

用Python爬取了全国近5000家旅游景点,分析国庆去哪玩_第8张图片

2. 景点评级排行榜

假期这么长,想玩的地方有很多!如何选择一个景点多的地方并且评级高的

这样就能在一个地方尽情的玩耍,而不用四处奔波

我们不妨来看看各省市能排的上号的景点有多少吧!

代码如下:

用Python爬取了全国近5000家旅游景点,分析国庆去哪玩_第9张图片

将数据查询出来后作一个简单的清洗,统计各省份 4A 级以上景点数量

一起来看看吧

用Python爬取了全国近5000家旅游景点,分析国庆去哪玩_第10张图片

再将这些数据放到地图上看看..更加直观

用Python爬取了全国近5000家旅游景点,分析国庆去哪玩_第11张图片

3.各省销量排行榜

通过该数据,可以看出哪些省市区的人会比较多...

用Python爬取了全国近5000家旅游景点,分析国庆去哪玩_第12张图片

这样就能避免去人山人海的地方看人人人人.。。

用Python爬取了全国近5000家旅游景点,分析国庆去哪玩_第13张图片

综合分析

最终考虑去哪儿,可能需要多维度的分析。

所有,我把价格,评分,销量这三个维度放在一起

当然,你也可以选择你关心的维度来..最好自己动手试试

这样印象深刻!

用Python爬取了全国近5000家旅游景点,分析国庆去哪玩_第14张图片

来看看效果把:

用Python爬取了全国近5000家旅游景点,分析国庆去哪玩_第15张图片

重点关注下销量高,评分高,价格合适的...

提前祝大家国庆有个美好的假期。

推荐阅读

01

《从零开始学Python网络爬虫》

用Python爬取了全国近5000家旅游景点,分析国庆去哪玩_第16张图片

推荐语:爬虫畅销书,上市1年畅销万余册!带小白一周掌握Python网络爬虫。涵盖爬虫的3大方法/爬取数据的4大存储方式/22个实战案例/30个网站信息提取/64个避坑技巧/2500行代码详解/源代码/PPT。

02

《Python网络爬虫从入门到实践 第2版》

用Python爬取了全国近5000家旅游景点,分析国庆去哪玩_第17张图片

推荐语:使用Python编写网络爬虫程序获取互联网上的大数据是当前的热门专题。本书内容包括三部分:基础部分、进阶部分和项目实践。

03

《精通Python网络爬虫:核心技术、框架与项目实战》

推荐语:资深专家,以实战为导向,讲透Python网络爬虫各项核心技术和主流框架,深度讲解网络爬虫的抓取技术与反爬攻关技巧

04

《Python数据整理》

用Python爬取了全国近5000家旅游景点,分析国庆去哪玩_第18张图片

推荐语:这是一本实用的Python数据整理入门教程。书中全面、系统地阐释数据整理和提炼过程背后的所有核心思想,通过大量的练习和实例,帮助你全方位理解并掌握相关概念、工具和技术。

05

《Python数据可视化:基于Bokeh的可视化绘图》

推荐语:从图形绘制、数据动态展示、Web交互等维度全面讲解Bokeh功能和使用,不含复杂数据处理和算法,深入浅出,适合零基础入门,包含大量案例。

更多精彩回顾

书讯 |9月书讯(下)| 开学季,读新书

书讯 |9月书讯(上)| 开学季,读新书

资讯 |TIOBE 9 月编程语言:C++ 突起、Java 流行度下降

上新 | 一本书带你吃透Nginx应用与运维
书单 | 开学季——计算机专业学生必读的10本畅销经典

干货 | 用户画像从0到100的构建思路

收藏 | 更新!更薄!更精华:《JavaScript编程精解》来了

视频 | 大佬出镜推荐不可不读系列——程序员陈彼得

赠书 |【第22期】网络安全在身边|最强学习书单整理

你可能感兴趣的:(编程语言,数据可视化,数据挖掘,python,数据分析)