舆情平台架构介绍

舆情平台
抓取 平台 DID

 

 1、抓取分两部分:一部分是从微博、论坛、股吧等抓取(这部分外包,28台服务器,使用mysql);另一部分是新闻TRS(SQLSERVER 154 155)

 

2、抓取到的信息要进入平台,需要进行 格式清理、去重、模板等工作(news-task)

 

3、舆情平台对这些信息进行去重、分类以及审核等工作(news-web)

 

4、DID 数据中心,舆情平台审核过的数据会发送至这里

 

 

你可能感兴趣的:(架构)