基于大数据技术的共享单车数据分析系统设计与实现开题报告

1.课题名称、来源、选题依据
1.1课题名称 基于大数据技术的共享单车数据分析系统设计与实现 1.2课题来源     课题来源于社会实践。 1.3选题依据     共享单车是一个近年来很热门的新兴事物， 共享经济在我国发展迅速，受到了政府和广大民众的重大关注，而出现的很多问题也引起了众多学者的注意，关于共享单车的研究也越来越多。共享单车是指企业在在一些人群密集的行程出发点或结束点向出行人提供自行车共享服务，然后按消费时长或者骑行距离收费，是一种分时租赁模式。从共享单车数据中比如使用次数、骑行时间、骑行时长、起点和终点经纬度坐标等属性，我们可以看出人们的许多习惯从而进行研究。我们可以通过可视化更好的去了解和研究共享单车，为研究者们提供许多新的角度。我们做一个数据可视化的系统要能做到文件上传，文件解析，文件数据可视化等功能，从而进一步分析。
2.课题国内外研究现状和发展趋势
2.1国外研究现状 在以往的科技互联网世界里，人们习惯把硅谷当成目标或者标杆，并且把这个“创新创业圣地”的成功方式介绍到自己的国家，这已经是先进科学圈的一种思维习惯，现在这样的趋势正在悄然改变[1]。根据美国国家城市交通协会最近发布的一份报告，近几年来美国的共享单车的骑行次数已经超过了八千万次[2]。在2021年，共享单车在美国的骑行次数超过了四千八百万次，这个数字大概相当于每年美国人达成铁路交通的总次数了，大大超过了每年迪士尼乐园的游览次数[3]。美国的第一个共享单车系统开始于2010年，那时候全美国只有一千六百辆共享单车，2013年，一个更大的共享单车项目被开启，从2012年的七千辆飞速上升到了2013年的一万九千辆，然后进一步增加到了2016年的四万两千辆[4]。共享单车数量的增加的同时，质量也在提高。最近几年智能共享单车的份额在不断的提高。这些智能共享单车运用了更加智能的车载设备和停车设施[5]。从2014年第一辆智能车在美国出现到现在为止，比例正在不断地增加。 2.2国内研究现状 我国城市化进程的加快，汽车行业的发展，给我国国民的出行带来了巨大的变化，现在网约车的出现和发展扩大了居民出行的选择，但是仍然没有解决用户的“最后一公里”的困难[6]。针对这个困难，我国政府开始发展共享单车，在2016年共享单车成为人们热议的话题。到现在已经运营了几年的时间，摩拜单车、ofo共享单车是共享单车行业的佼佼者[7]。共享单车是指在城市、校园等场所提供的自行车共享服务，目前我国的共享单车发展模式是通过APP寻找车辆，利用扫码的智能方式一键解锁自行车，通过APP后台远程实时监控车辆的安全和骑行状况的单车智能出行的新形式[8]。在几十年前，我国被称为自行车王国，北京的自行车的数量超过了一千万，出行比例高达63%，随着我国城市的不断扩大[9]，很多大中城市的自行车的出行比重已经下降了，现在，我国城市自行车的出行比重低于20%，共享单车的出现，使得城市居民都开始骑行自行车出门 [10]。 2.3发展趋势 综上所述，共享单车是实现一个低成本，便捷的一体化经济城市交通系统，更多的人使用单一的汽车共享系统意味着更多的人得到体育锻炼、节约时间，或者更容易获得经济机会。许多城市将更深入地融入社会，雇佣当地人，建造特殊的自行车道，创造更便宜的价格体系，这将更有利于促进所有群体中共享自行车的普及。
3.本课题的目的及意义
共享单车是一个近年来很热门的新兴事物， 共享经济在我国发展迅速，收到了政府和广大民众的重大关注，而出现的很多问题也引起了众多学者的注意，关于共享单车的研究也越来越多。共享单车是指企业在在一些人群密集的行程出发点或结束点向出行人提供自行车共享服务，然后按消费时长或者骑行距离收费，是一种分时租赁模式。从共享单车数据中比如使用次数、骑行时间、骑行时长、起点和终点经纬度坐标等属性，我们可以看出人们的许多习惯从而进行研究。我们可以通过可视化更好的去了解和研究共享单车，为研究者们提供许多新的角度。我们做一个数据可视化的系统要能做到文件上传，文件解析，文件数据可视化等功能，从而进一步分析。 这个系统的功能有读取csv文件，保存并分析数据，将数据可视化：显示出发结束点，显示集散散点图，显示轨迹等，可以选择显示哪些数据。
4. 本课题的任务、重点内容、研究方法、实现途径、进度计划
4.1课题任务 基于主流共享单车平台进行采集数据，将采集数据经过数据清洗后储存于大数据平台；基于MySQL等大数据平台技术，使用flask框架实现显示用户轨迹、用户人群特征、站点散点图、用户使用情况等主要功能。 4.2重点内容    ①面向互联网主流共享单车网站完成开始时间，结束时间，开始站点，结束站点，使用者信息爬取、数据预处理及数据存储。 ②基于大数据平台技术的数据仓库构建。 ③利用web可视化框架flask来构造前端的用户层面，用来进行操作。 ④调用echarts来进行数据的可视化。 4.3研究方法 ①功能分析法 主要对互联网主流的共享单车平台的功能进行分析，以用户的角度进行不同功能的分析。总结出共享单车平台的不足之处，为后续开发共享单车平台提供经验。 ②文献研究法 主要通过对文献的阅读，了解国内外共享单车的现状，为课题研究方向提供保障。 ③原型设计法 由于共享单车平台功能相对复杂，因此本课题拟从系统最核心的功能出发，设计开发一个原型系统，验证本课题的主要技术，为后续工作奠定坚实基础。 4.4实现途径 Web系统基于flask框架设计开发。数据采集模块基于采用Scrapy框架；数据仓库构建选用大数据平台的数据仓库工具MySQL，用来进行数据的提取、转化、加载，实现数据的导入；利用web可视化框架flask来构造前端的用户层面，用来进行操作，然后服务器收取到数据之后就能调用echarts来对数据进行可视化。 ①用户骑行数据采集 使用Scrapy框架从哈啰单车平台爬取信息日期、时间、开始站点、结束站点和用户个人信息（性别，年龄）等数据；并将爬取数据经过数据清洗后存入MySQL数据库中。 ②数据仓库构建 MySQL是一种关系型数据库管理系统，关系数据库将数据保存在不同的表中。数据库的结构是数据库字段和csv文件一一对应，先将每个元素都保存到数据库中，等到我们需要数据的时候，再对得到的数据进行处理，筛选。 ③前后台功能实现 前端方面，我们利用一个web可视化框架flask来构造前端的用户层面，用来进行操作，发出指令。后台的服务器，我们是利用flask搭建的本地小型服务器，方便快捷。服务器取到数据之后就可以对数据进行可视化了，我这里用的可视化方法是调用echarts来进行可视化。     1）利用数据可视化画散点图     首先要处理的是站点散点图，我们先筛选数据，去掉没有用的时间，日期，用户信息等数据，建立一个表用来保存起始站，出发站等数据进行处理。我们构建一个坐标轴，将每个站点定义为一个三维数组（经度，纬度，使用数量），可以将每个站点根据位置显示到坐标轴上，而点的大小也就表示了这个站点被使用次数的多少。定义每个点的三维数据，定义一个三维数据item，把每个点的经度，纬度都保存在item中，然后用一个计数器来统计使用次数。最后我们调用echarts中的scatter函数，将每个点的三维数组赋值则可完成可视化。 利用数据可视化每日使用情况 我们把每个数据的时间这个项目提取出来，绘制成一幅每天共享单车使用数量的柱状图。同样是调用echarts。先将日期数据进行去重处理，然后定义数据，横轴为日期，一个月有三十天，纵轴为使用次数。对每天使用数据进行了可视化之后我们可以清晰的看出一个月内每天使用量的对比，表格下面还配了一个按钮，是用来选择我们要显示的天数的，我们可以一次性将一个月的全部天数都显示出来，也可以选择只显示某几天来单独对比。 提取数据列表中使用时间的小时，我们可以整合出一天二十四小时的使用图像。一样的先对数据进行去重，然后调用echarts进行可视化。 对用户信息进行可视化 数据中包含许多用户的信息包括出生年份，性别，会员身份等，我们可以对这些数据进行可视化，然后分析哈啰单车最终的面向群体是哪些人。 4.5本课题的进度时间安排 2022.11.09-2022.12.11：完成开题报告。 2022.12.12-2022.12.18：完成共享单车数据爬取与处理工作。 2022.12.19-2022.12.26：完成数据仓库设计。 2022.12.27-2023.01.11：完成MySQL和flask框架的环境搭建工作。 2023.01.12-2023.02.26：完成平台主要功能开发与数据可视化功能的开发。 2023.02.06-2023.03.12：完成毕业设计（论文）初稿。 2023.03.13-2023.03.26：中期检查及项目功能完善。 2023.03.27-2023.04.16：功能完善以及毕业设计（论文）定稿查重。 2023.04.17-2023.05.05：毕业设计（论文）评阅，根据评阅老师意见修改论文，完善设计。 2023.05.06-2023.05.28：毕业设计（论文）答辩。
5.完成本课题所需工作条件（如工具书、计算机、实验、调研等）及解决办法
本课题所需工作条件 Windows10系统电脑一台、16G内存、8核处理器 编辑器：Python 3.8、Anaconda 3、PyCharm、VMware Navicat Premium 15 MySQL、Flask、Echarts
参考文献
牛禄青.共享单车：下一个网红[J].新经济导刊，2016（12）：124-129. 黄海峰.电信，ofo，华为联手发掘NB-LoT共享单车“金矿”[J].通信世界，2017（6）：45-48. 张倩雯.当前我国共享单车现状、问题与对策研究[D].天津外国语大学，2017(4):152-153. 刘志强.共享单车引来众多资本追捧[J].理财（经论）,2017(3):234-235. [5]吕雄鹰,潘海啸.基于摩拜开放数据的上海市共享单车骑行特征分析[J].上海城市规划.2018(02):12-18. [6]雷蕾.常用数据可视化技术分析.现代电视技术[J],2014(9) :122-124. [7]孙品 周峰. 探讨大数据时代下的数据可视化[D]. 湖北工业大学艺术设计学院, 2016(2):97-100. [8]江慧朋,周溪召.共享单车影响下大学生出行的变化——以上海理工大学为例[J].物流工程与管理.2017(07):34-35. [9]王璐,李斌,徐永龙等.基于共享单车数据的居民出行热点区域与时空特征分析[J].河南科学.2018(12):86-88 [10] Ding Rui,WangQiang,DangYingnong.YADING:fast clustering of large-scale time series data[J].Proceedings of the VLDB Endowment.2015 (5):113-116. .
指导教师意见	签字：                年     月     日
系（教研室）意见	（是否通过答辩，修改意见，是否同意开题。填写内容后请删除本行）      系（教研室）主任签字：                年     月     日