Python 提取《釜山行》人物关系

《釜山行》是一部丧尸灾难片，相信很多人都看过，里面人物少、关系简单，非常适合学习文本处理。

实验楼介绍的这个项目，就是通过分析《釜山行》剧本文本中人物的共现关系，利用python编写代码实现对《釜山行》文本的人物关系提取，最终利用Gephi软件对提取的人物关系绘制人物关系图。

最终利用Gephi软件绘制出来的效果图如下：

效果图

项目原理

实验基于简单共现关系，编写 Python 代码从纯文本中提取出人物关系网络，并用Gephi 将生成的网络可视化。下面介绍共现网络的基本原理。（共现网络简单的英文介绍）

共现网络的基本原理：

实体间的共现是一种基于统计的信息提取。关系紧密的人物往往会在文本中多段内同时出现，可以通过识别文本中已确定的实体（人名），计算不同实体共同出现的次数和比率。当比率大于某一阈值，我们认为两个实体间存在某种联系。这种联系可以具体细化，但提取过程也更加复杂。因此在此课程只介绍最基础的共现网络。

开发准备

因为开发中需要对文本进行处理，因此我们需要使用到 jieba 中文分词库 来提取《釜山行》文本中出现的人物（jieba 详细介绍）；最后，我们需要将提取出的人物关系可视化，所以会使用到 gephi 这个软件（Gephi是一款开源免费跨平台基于JVM的复杂网络分析软件, 其主要用于各种网络和复杂系统，动态和分层图的交互可视化与探测开源工具（gephi 详细介绍））;

因此首先需要安装 jieba 库和 gephi 软件。

安装方法：

打开Xfce终端，进入 Code 目录，创建 work 文件夹, 将其作为课程的工作目录。下载并安装 gephi 。

$ mkdir work && cd work
$ mkdir gephi && cd gephi
$ wget http://labfile.oss.aliyuncs.com/courses/677/gephi-0.9.1-linux.tar.gz  #下载gephi
$ tar -zxvf gephi-0.9.1-linux.tar.gz  #解压gephi

安装jieba中文分词。

$ sudo pip2 install jieba

下载《釜山行》的中文剧本：

$ wget http://labfile.oss.aliyuncs.com/courses/677/busan.txt

开发的主要步骤

1.观察文本结构、准备词典

可以通过各类百科获取《釜山行》的主要人物，你可以在百度百科中找到他们的介绍，并将人名写入一个字典中。

项目将主要人物的名称保存在文件dict.txt中，你可以通过下面的命令下载这个字典，也可以自己新建一个文件保存。

$ wget http://labfile.oss.aliyuncs.com/courses/677/dict.txt

2.确定需要的变量

使用字典类型names保存人物，该字典的键为人物名称，值为该人物在全文中出现的次数;

使用字典类型relationships保存人物关系的有向边，该字典的键为有向边的起点，值为一个字典edge，edge的键是有向边的终点，值是有向边的权值，代表两个人物之间联系的紧密程度;

lineNames是一个缓存变量，保存对每一段分词得到当前段中出现的人物名称，lineName[i]是一个列表，列表中存储第i段中出现过的人物。

names = {} # 姓名字典
relationships = {} # 关系字典
lineNames = [] # 每段内人物关系

3.文本中实体识别

在具体实现过程中，读入《釜山行》剧本的每一行，对其做分词（判断该词的词性是不是“人名”[词性编码：nr]，如果该词的词性不为nr，则认为该词不是人名），提取该行（段）中出现的人物集，存入lineName中。之后对出现的人物，更新他们在names中的出现次数。

在实验楼中的显示结果如下图：

4.根据识别结果构建网络

对于 lineNames 中每一行，我们为该行中出现的所有人物两两相连。如果两个人物之间尚未有边建立，则将新建的边权值设为 1，否则将已存在的边的权值加 1。这种方法将产生很多的冗余边，这些冗余边将在最后处理。

5.过滤冗余边并输出结果

将已经建好的 names 和 relationships 输出到文本，以方便 gephi 可视化处理。输出边的过程中可以过滤可能是冗余的边，这里假设共同出现次数少于 3 次的是冗余边，则在输出时跳过这样的边。输出的节点集合保存为 busan_node.txt ，边集合保存为 busan_edge.node 。

6.可视化网络

对《釜山行》剧本中的人物关系数据进行处理后，可以使用gephi这个软件来将人物关系可视化，以便展示的更直观。

使用 gephi 导入生成的网络，并生成简单的可视化布局。

可以在最上方的数据资料选项卡中查看图中所有的边和节点，对于分词不准确导致的噪音，可以手动删除。

通过对节点染色、放大，调整成合适布局后如下图所示。节点染色根据模块化计算结果不定，但染色效果大致相同。

通过以上6个步骤即可以对《釜山行》中的人物关系进行直观的展示了。

项目的具体代码可以点击这里进行查看