lda主题模型的可视化_把LDA主题模型作为自己的硕士课题,有什么可以做的?

经典的LDA主题模型实现了文本的软聚类的工作,将文档转化为基于主题的数值向量,每个维度上的主题概率取值就是对特定主题的聚类中心的隶属度。由于LDA主题模型提出较早,所以作为基础模型有了很多改进和创新,技术上总结下来有以下几个方面:

1、短文本的处理和优化

2、考虑主题随时间变化的情况

3、考虑按照时间排序的文章之间在主题分布上有连贯性

4、考虑主题之间存在相关性

5、Dirichlet先验非均匀的情况

6、根据实际应用附加外部假设,优化模型

如:(1)每个句子中的主题保持一致(2)每个段落的主题保持一致(3)考虑文章标题优化LDA的结果 (4)长文本内部主题分布的连续变化

应用上也有很多创新:

1、和深度学习的结合:主题模型的分布结果能否作为输入参数接入已有的深度学习模型做预测?例如根据新闻的主题分布预测股票指数(金融应用:社交舆论-->证券市场估值的影响)

2、挖掘文本特征的潜在语义:对词汇、词组进行软聚类;例如,在情感分析任务中,对在线评论的内容构建LDA主题模型,挖掘用户评论的aspect,并找到与之对应的评价词。

该技术在管理学的口碑营销分析中有成熟的应用!也可用于舆情分析,社会热点研究!

总之,LDA的坑很多的,但是个人认为,LDA的价值不是体现在技术本身,而是应用场景,未来在应用场景的创新空间远比模型的空间要大!

找到一个场景,分析具体的问题,针对上面提到的若干点找出这个场景的特殊性,思考:需要在上面哪几个方面改善模型,然后提出模型,解决模型以及具体的问题,就是一个好的硕士论文了!推荐一篇以前学校大牛鲍杨老师的文章:

Simultaneously Discovering and Quantifying Risk Types from Textual Risk Disclosures (Management Science, June 2014) 是LDA应用方面我认为十分成功的一篇文章!

如果对LDA感兴趣,也可以参考我的其他几篇回答:主题模型(topic model)到底还有没有用,该怎么用?​www.zhihu.comlda主题模型的可视化_把LDA主题模型作为自己的硕士课题,有什么可以做的?_第1张图片LDA适合单条句子级别的短文本分类吗?​www.zhihu.comLDA训练出主题之后,怎么再通过主题计算出一篇文档对于所有主题的分布呢?​www.zhihu.comlda主题模型的可视化_把LDA主题模型作为自己的硕士课题,有什么可以做的?_第2张图片LDA话题模型训练后,该如何进行文本分类?​www.zhihu.com

希望大家点赞支持!~ 关于LDA的问题多多交流!~^^~

你可能感兴趣的:(lda主题模型的可视化)