对各大新闻网站中热点话题的检测与跟踪系统

1 项目实施的目的、意义

随着信息传播手段的进步，尤其是互联网这一新媒体的出现，我们已经摆脱了信息贫乏的栓桔。由于网络信息数量庞大，与一个话题相关的信息往往孤立地分散在很多不同的地方并且出现在不同的时间，仅仅通过这些孤立的信息，人们对某些事件难以做到全面的把握。

所以我们需要这样一种工具，可以帮助人们把分散的信息有效地汇集并组织起来，从整体上了解一个事件的全部细节以及与该事件与其它事件之间的关系。

2 项目研究内容和拟解决的关键问题

2.1 爬取网站数据

本项目涉及两个概念，一是话题topic, 二是报道report(语料)。 话题包括名称ID)和特征(feature)。 ID可以理解为关键词（主题词，事件名），比如“三星折叠屏”， “斯里兰卡爆炸”等。Feature是我们根据语料库挖掘出的特征。

为了获取足够的训练数据，本项目将使用网络爬虫技术对各大新闻网站的数据进行爬取，以抽取话题和报道。

2.2 报告/话题相似性的比较以及聚类和分类处理

2.2.1 初始话题、报道集抓取，话题报道关联模型构建

根据若干关键词话题ID抓取若干相关语料信息，进行特征抓取，构建初始话题报道关联模型。

2.2.2 新话题与初始模型话题集相似性比较

对于爬取得到的新话题和新报道，与初始模型话题集进行相似性比较。根据相似性阈值将其归结到某已有话题，或扩充模型添加新的话题。阈值的合理选取是解决的关键问题。

2.2.3 上述相关的模式识别训练过程

根据爬取得数据合理、高效地训练机器学习模型，尤其是深度神经网络等技术，是本项目要解决的另一关键问题。

2.3 数据库存贮和管理/分布式系统的应用

网络话题和报道爬取得数据量较大。当话题规模达到一定程度时，使用分布式存储、数据库进行信息组织以满足容量及性能需求，是本项目的另一研究内容。

3 项目研究与实施的基础条件

1. 我们团队已具备对热点论坛、微博大V文章的信息采集能力。
2. 数聚 (专为个人定制的信息流) 这个是我们团队之前做的一个数据采集的项目。说明团队成员有协作完成比赛项目的能力。
3. 团队成员有阿里云服务器良好的使用能力，对服务器知识有一定的贮备。
4. 团队成员是软件卓越计划班的成员，具有良好的接受和学习、探索新知识的能力
5. 我们有优秀的计算机、概率论、量子数学老师的亲自指导的机会

项目参考文献
[1] 互联网中事件检测与跟踪系统设计与实现 于兆鹏
[2] 基于中文微博的热门话题提取与追踪 叶永涛
[3] 网络热门话题的跟踪建模与检测分析 李晶
[python] 基于k-means和tfidf的文本聚类代码简单实现
中文文本聚类（切词以及Kmeans聚类）

4 项目实施方案

image

image

image

image

4.1 数据收集，并进行文本预处理

1. 利用网络爬虫，采集指定网页上的信息
2. 除去数据中少量的非文本部分
3. 处理中文编码问题
4. 中文分词，结巴分词
5. 引入停用词
6. 特征处理， 用scikit-learn的TfidfVectorizer类来进行TF-IDF特征处理

4.2 建立数据模型,进行聚类分析

1. 对文本类数据进行数据化模型化处理，使用语言模型，向量空间模型。
2. 对报道数据进行聚类分析，通过增量k-mwans算法。

4.3 对处理的数据的展示：

1. 根据时间、因果等因素对热点话题生成事件网络图谱
2. 利用js前端技术，实现动态展示，新颖独特。

5 学校可以提供的条件

5.1 物质条件的支持：

1. 因为我们这个项目很有挑战性，所以我们组员之间很需要经常讨论交流，所以我们需要一间适中大小的实验环境。
2. 最新的科研资料及书籍。
3. 服务器的采购费用、新技术的学习费用等资金支持。

5.2 教师指导

1. 由于我们对这方面的技术尚未成熟，还需要教师对我们的偏正。不过，我们还有时间去学习去磨练，应该是没问题的
2. 该项目的实现需要用到概率论的高等算法知识以及神经网络和分布式系统等高端技术的支持，所以我们需要两位专业级老师的指导。

6 预期成果

能够实现对各大国内知名新闻网站信息进行时事话题追踪的系统。