时序大数据可视化分析平台研究与设计

毕业设计(1) —— 时序大数据可视化分析平台研究与设计

毕业尾声，今天突然想在CSDN写写博客了，积累一些心得。通过时序大数据可视化平台研究与设计这个毕业课题来总结一下学习过程，一个新的起跑线：

• 第1章 绪论
• 第2章 国内外研究现状和相关工作介绍
• 第3章 基于Spark 的时序大数据分析方案
• 第4章 时序大数据的可视化分析系统实现
• 第5章 实验结果分析
• 第6章 总结与展望
• 参考文献
• 致谢
• 附录 英文文献翻译

---

课题说明

本文针对时序大数据可视化分析的需求，分析出现有的可视化分析工具操作繁琐、重复、耗时，以及在时序大数据（即随着时间序列变化特征的数据）场景下存储和查询性能下降时的问题。为此，借助开源的Zenvisage可视化分析平台，提出了基于Spark的时序大数据分析方案，将其集成于Zenvisage的可视化分析平台底层中，解决了上述问题。

摘要

可视化分析平台对大数据的处理分析越来越重要。本文针对时序大数据可视化分析的需求，分析出现有的可视化分析工具操作繁琐、重复、耗时，以及在时序大数据（即随着时间序列变化特征的数据）场景下存储和查询性能下降时的问题。为此，借助开源的Zenvisage可视化分析平台，提出了基于Spark的时序大数据分析方案，将其集成于Zenvisage的可视化分析平台底层中，解决了上述问题。论文主要从以下几个方面展开讨论：
（1）对大规模时序数据进行可视化需求的分析，在系统层面上实现对大规模视图的管理，支持用户修改查询条件，调整被分析的属性，进行交互式的可视化分析；根据绘制的可视化趋势，协助用户发现众多视图中趋势相似的，或者趋势明显不同的视图，同时推荐呈现当前正在查看的数据子集中最有趣的趋势，如代表性、异常性；提供用户数据集上传接口，并支持基于可视化集合的查询，从可视化中指定所需的洞察；
（2）分析了Zenvisage平台在大规模时序数据的应用场景下存储和查询性能下降的问题，找到传统关系型数据库在时序大数据分析中的瓶颈；
（3）针对这些瓶颈提出了基于Spark的时序大数据分析方案，该方案以HDFS进行文件存储、Parquet列存储数据压缩、分布式内存引擎Spark为底层计算框架，以解决Zenvisage平台在时序大数据场景下的有效性，提高交互式分析系统的性能和运行效率；
（4）将此分析方案集成于Zenvisage的可视化分析平台底层中，并通过系统测试和对比实验评估本文研究内容的有效性和可用性。
本课题主要服务于XX项目“XXX”，经测试证明，该系统能够满足用户交互式分析的需求，优化了Zenvisage平台在时序大数据场景下的存储和查询性能，运行稳定、功能完整、可扩展性强。

关键词：时序大数据；交互式分析；可视化；Zenvisage；HDFS；列存储；Spark

---

说明：关于Zenvisage的一些信息，也可以参考它的技术文档。