01项目概述

       

        项目涉及到的知识：hadoop、hbase、hive、kafka、flume、ssm、yarn。

        运行环境：5台centos7.0，别名为s128—s132，16G内存

        各节点配置：

                        s128：zookeeper、flume、hbase、hive、yarn、hadoop

                        s129：zookeeper、flume、hbase、kafka、hive、yarn、hadoop

                        s130：zookeeper、hbase、kafka、hive、yarn、hadoop

                        s131：hbase、kafka、hive、yarn、hadoop

                        s132：hbase、hive、yarn、hadoop

 

        概述：s128，s130模拟生成数据到log文件，flume监听log文件，将数据发送到kafka集群里的名称为calllog的topic(主题)。然后创建hbaseConsumser(hbase消费者)，从kafka中读取数据，将数据存入到hbase集群中"ns1:calllogs"表，存入hbase本意就是存入hadoop集群中的节点。然后在Web端，采用ssm框架，进行查询操作（本项目采用只实现查询操作）,实现实时刷新数据显示在web页面(涉及含有ajax)。也可以采用hive-jdbc，通过hiveserver2使用hive进行查询，此时集群应启动yarn，s128启动hiveserver2服务，进行相应查询会在yarn web端口查看生成的MR作业。

        最后如果想得到可视化数据，可利用echarts得到条形图如下：

echarts官网图片：

    个人感觉比较容易使用。