天亮舆情系统-架构设计-01

1、             系统介绍

   将大数据采集、分析与挖掘、实时索引与搜索组件、接口服务、日志分析、系统状态监控等为一体的专为舆情系统设计的完整解决方案。

2、             系统模块组成

   2.1 采集模块：

垂直采集器：天亮微博采集器，天亮电商平台采集器

通用网页采集器：天亮舆情采集器

      2.2 分析与挖掘

              中文分词器：天亮中文分词，ansj中文分词

              主题词提取：基于天亮分词实现的theme_extractor

              情感分析：  基于天亮分词现的情感极性计算组件

                  正文提取： 基于cx-extractor实现的正文提取器

                          摘要提取： 基于ansj摘要提取的改造

              关键词提取：基于ansj关键词提取的改造

      2.3实时索引与搜索组件       

              Es+天亮ES中间件

      2.4 接口服务

              提供成熟的webservice接口服务，包括索引、搜索、nlp、分析与挖掘、任务管理等接口

      2.5 日志分析

              目前暂为系统日志分析，没有进行系统智能形式的日志分析服务。

      2.6 系统监控

              采集任务、索引与搜索任务等状态监控

 

3、             系统子系统构成

    采集系统、实时索引与搜索系统、web_service中间件(es索引与搜索、nlp接口服务)  ，他们都提供通用的client服务包，供外部调用使用。

  

4、             架构设计图

     见图