豆瓣电影 知识图谱 Neo4j

转载自公众号：python-china

作者想学习知识图谱，奈何没有数据，只能自己找。于是选择了豆瓣电影。网址：

https://movie.douban.com/top250?start=0&filter=

image

一、分析问题

豆瓣电影Top250主页面看着信息比较完整，仔细看会发现主演内容不全，查看网页源代码

image

直接爬取主页面，主演内容会获取不全。于是想到进入每个电影的详细页面进行爬取，打开第一个电影，可以看到如下。

image

信息比较全，所以决定数据从电影详细页爬取。
构建知识图谱首先选择所要存储的字段。经过考虑和大家的兴趣，主要探索导演、演员、电影的关系，再加上电影类型。所以确定所要爬取的字段为

• 电影名称

• 导演

• 演员

• 电影类型

本文的操作过程步骤如下：
第一步：从主页爬取到每个电影详细页的地址，进行存储
第二步：读取第一步中电影地址列表，依次爬取每个电影的信息，进行存储
第三步：对爬取的电影数据提取整合出知识图谱的结点和关系
结点：

• 电影结点（电影ID，电影名称，标签）

• 导演结点（导演ID，导演名称，标签）

• 演员结点（演员ID，演员名称，标签）

• 类型结点（类型ID，类型名称，标签）

关系：

• 导演——电影关系（导演）

• 演员——电影关系（出演）

• 导演——演员关系（合作）

• 电影——类型关系（属于）

第四步：将结点和关系导入Neo4j，生成图谱

二、爬取数据

一开始用的Scrapy框架爬取，获取电影URL比较简单，获取到的URL为下面样式：

image

下面对电影详细页进行爬取。

一开始继续使用scrapy，弄了半天，发现电影、导演、类型都爬下来了，可是演员怎么都获取不到。后来才注意到演员是JS动态生成的，真是浪费感情了。于是使用requests+BeautifulSoup来爬取数据。

代码如下：

读取详细页URL列表

image

遍历URL列表，爬取每个页面信息，将每个页面的信息存储在results列表

image

将爬取结果导出到CSV文件

image

导出的文件如下：

image

三、生成结点和关系

数据有了，下一步就是整理出所需要的可以直接导入到Neo4j的结点和关系文件。
结点：

• 电影结点（电影ID，电影名称，标签）

• 导演结点（导演ID，导演名称，标签）

• 演员结点（演员ID，演员名称，标签）

• 类型结点（类型ID，类型名称，标签）

提取结点的主要代码如下：

下面主要获得电影、导演、演员、类型的集合，方便ID编码

image

下面生成电影、导演、演员、类型的ID

image

拼接结点数据

image

生成结点文件

image

关系：

• 导演——电影关系（导演）

• 演员——电影关系（出演）

• 导演——演员关系（合作）

• 电影——类型关系（属于）

读取以上生成的结点文件

image

遍历文件，拼接出关系表，主要代码如下：

image

导出到CSV

image

这样所需要的结点和关系文件就生成好了

image

director.csv文件格式如下：

image

relationship_director_film.csv文件格式如下：

image

四、导入Neo4j，生成图谱

使用如下语句导入

image.gif

需要注意的是，这种导入方式需要保证你的数据库中没有movie.db，否则会报错。因为Neo4j默认的数据库为graph.db，所以导入成功后，需要修改neo4j.conf文件，才能查看刚才生成的数据库。修改如下：

image

重新启动Neo4j后，你就会看到你的数据了。
我们来查看一下效果。

image

image