2019-05-05

网络舆情也进入了大数据时代，事实上大数据分析已经成为当前舆情领域热点。但是从舆情分析的重要目的，舆情决策的角度讲，当前舆情分析的现状还存在不足，在舆情案例研究、 政策法规和领域知识等方面出现了供需不匹配的问题，也就是舆情知识供给的问题。复旦大学、合肥工业 大学在内研究机构都在致力于大数据和知识工程的研究就 是要拓展大数据到大知识，将大数据中离散的多元信息、 碎片化知识统一建模，用以构建新型大数据知识服务体系， 所以解决大数据环境下的舆情知识供给问题还要从大数据知识服务相关理论和技术方面着手

作者：鱼君链接：https://zhuanlan.zhihu.com/p/37542416

舆情知识架构

关键词：大数据分析，自然语言处理。

不管学什么东西，都要跟大牛去学，真正的大牛可以把一件事解释的清清楚楚。If you can't explain it simply, you don't understand it well enough.跟大牛学东西，你不会觉得难，一切都觉得很自然，顺利成章的就掌握了整套的知识。【我现在是在摘抄一些觉得很重要的话，知识的搬运工，希望能够记住并为我所用】

看了language modeling，克林介绍了语言模型里的通用的知识，比如定义了语言模型是由一个有限的单词集合V和每个句子在由单词集合V构成的所有句子集合V‘下的概率函数构成。定义了如何计算每个句子的概率，每个句子的概率就是按照顺序出现句中所有单词的概率。利用Markov模型，感觉就是在已出现某单词序列（序列长度可以是1，2，3。。。）的情况下，出现单词w的概率是多大，这是个条件概率。用最大似然估计法是统计我们数据中这些序列出现的次数。也介绍了如果出现了概率为0时，如何通过线性权值利用已有的统计数据来计算概率，我们的perplexity值的意义，越小表示模型越准确。【这段我写的大概是屎吧】