道路交通实时流量监控预测系统一些学习整理

   道路交通实时流量监控预测系统
      项目背景： 出行路线规划、交通部门对道路的规划与建设
      涉及那些步骤： 并发采集数据(kafka)、实时数据处理(spark)、高效内存存储(redis)、建模实时预测(MLlib)、页面展示 
      具体的业务需求：代码编程中提取吧（基本就是走一遍全部流程而已，没什么特定的业务需求）
                                ------主要就是预测某段时间某路段堵不堵的业务问题！
          四个步骤：1.数据产生（模拟往kafka中写数据）、
                    2.数据实时收集处理并存入redis、
                    3.特征数据提取及模型建立（一脸萌？）
                           //读取数据（redis中）
                           //逻辑处理（滤波处理、构建特征因子）
                           //构建训练数据（根据特征因子）
                           //配置spark运行环境
                           //训练model（逻辑回归）
                           //测试
                           //获取评估值
                    4.模型预测 《spark MLlib，先涨姿势，有需要再深入研究》
                           //模拟卡口数据，时间和卡口
                           //读数据
                           //数据准备
                           //配置spark
                           //加载模型（读取之前构建保存的model）
                           //预测
                           //结果保存
       
       
      cdh集成redis？  ----》 集群中单独配置redis集群，然后配置zookeeper（搜spark整合redis？）
      maven的pom.xml要添加redis的配置
      
        redis.clients
        jedis
        3.1.0
     

    
        org.apache.commons
        commons-lang3
        3.3.2
    

      spark MLlib好像不需要配置？   -----  hadoop mahout的就需要配置
      
        org.apache.spark
        spark-mllib_${scala.version}
        ${spark.version}