使用Spark Streaming分析国泰安股票交易数据
一、前言
这个小程序是《云计算》这门课的一次小作业，实现过程涉及到挺多知识，主要使用Spark Streaming来处理流数据，该数据来自国泰安股票交易数据，程序实现上使用一个进程模拟写入HDFS或本地文件夹的流数据，使用另一个进程运行Spark程序处理流数据。
二、环境搭建
该程序的Spark运行环境搭建在四台腾讯云服务器上，其中有三台作为一个集群，另外一台使用MongoDB作为数据库服务器，存储原始数据和处理后的数据。对于集群，为了方便实现，这里使用Weave将这三台云主机连接在一起，成为一个局域网，然后为每台云主机中的Docker容易分配一个192.168.0.x/24的子网段，这些Docker容器用于充当一个Master或Slave结点，还有一个Docker容器用做Web服务器。
三、数据准备及处理
处理分析的数据来源于国泰安股票交易数据，下载并选择部分字段存储在MongoDB中。
然后通过Spark Streaming来处理这些原始数据。
先对原始数据进行flatMap以及映射操作，获得一个包含五个元素的元组 。
之后再对元组进行map操作。
最后将reduceByKey()后再进行map结果写入MongoDB数据库中。
最终获得处理之后的数据
四、代码实现
1、运行Spark程序处理流数据
2、模拟写入HDFS的数据流
3、webserver的编写
五、结果展示
在Web页面中展示实时计算结果
