三国演义python分析系统_Python之三国演义(上)

一、设计实现详细说明

1.1 任务详细描述

以中国四大名著之一——《三国演义》为蓝本，结合python数据分析知识进行本次的文本分析。《三国演义》全书共120回。本次的分析主要基于统计分析、文本挖掘等知识。

1.2 设计思路详细描述数据准备、数据预处理、分词等

全书各个章节的字数、词数、段落等相关方面的关系

整体词频和词云的展示

全书各个章节进行聚类分析并可视化，主要进行了根据IF-IDF的系统聚类和根据词频的LDA主题模型聚类

人物关系网络的探索，这里选取了部分人物之间的关系进行分析，主要探索了各个章节的关系图和人物关系网络图。

1.3 涵盖主要知识点分词包jieba的运用、数据读取、数据预处理

运用wordcloud库进行词云的绘制

文本聚类分析：TF-IDF矩阵、K-Means聚类、MDS降维、PCA降维、HC聚类、t-SNE高维数据可视化

LDA主题模型

人物社交网络分析

Gephi、oracle database visualization desktop工具的使用

二、程序运行效果

2.1 数据预处理

2.1.1《三国演义》全书文本

2.1.2 重新整理行索引

2.1.3 提取标题并切分内容

2.1.4 建立保存数据的数据表

注：为了使程序正确运行，建立了一个null(空)列，但对数据分析并不会产生影响。