复杂网络分析之数据准备篇

《文本分析之网络关系

上一篇文章直接给大家发了个封装好的复杂网络分析脚本,bug比较多。也不方便自己DIY,今天咱么就条分缕析,一点点拆解。然后大家根据需要,自己DIY吧。

关系图之原始数据

我给大家编了下面两组原始数据,试图画出abcd四元素之间的关系

nodes_data = ['a', 'b', 'c', 'd']

raw_data = ['acW', 'aca', 'caE', 'ec', 'cd', 'dc']

我们做关系网络前的最初始数据最好就是上面这样子,这种数据格式还是比较简单的。

nodes_data表示节点数据,用来在图中画节点

raw_data中含有共现的相互关系,但是需要进一步的清理规整。

关系图之数据格式

{source: {target: weight}}

source起点

target终点

weight权重(起点到终点次数)

nodes_data = ['a', 'b', 'c', 'd']

raw_data = ['acW', 'aca', 'caE', 'ec', 'cd', 'dc']

nodes_data和raw_data整理成有权有向数据格式如下:

{'a': {'c': 4},

'c': {'a': 4, 'd': 2},

'd': {'c': 2}}

上面的格式即可用来画有权有向图,也可用到无权无向图,还可画有权无向图、无权有向图。


复杂网络分析之数据准备篇_第1张图片
无权无向图
复杂网络分析之数据准备篇_第2张图片
无权有向图
复杂网络分析之数据准备篇_第3张图片
有权无向图
复杂网络分析之数据准备篇_第4张图片
有权有向图

所以数据保存,尽量保存为有权有权有向格式。尽可能保存多的信息,请用有权有向数据格式。

后面所有的关系图数据格式均以有权有向格式为基准。

如何实现有权有向数据格式

nodes_data = ['a', 'b', 'c', 'd']

raw_data = ['acW', 'aca', 'caE', 'ec', 'cd', 'dc']

||

||?

\/

{'a': {'c': 4},

'c': {'a': 4, 'd': 2},

'd': {'c': 2}}

这里很难,我估计我今天也说不太清除。这个只能希望大家悟性比我高,在就是运行下,编点简单的数据实验试验下,发现规律,也就懂了。


复杂网络分析之数据准备篇_第5张图片

networkx需要的数据格式

有了上面富有信息量的有向有权格式数据还不行,我们要再将数据微调下,才能使用networkx库。

networkx需要啥数据格式?

data = {'a':{'b':1},

'c':{'a':2},

'e':{'b':3},

'b':{'a':4}}

nodes = {'a','b','c','d','e'}

networkx节点

#首先导入库,解决中文显示问题

import networkx as nx

import matplotlib.pyplot as plt

from pylab import mpl

#解决显示中文问题

# 指定默认字体

mpl.rcParams['font.sans-serif'] = ['SimHei']   

# 解决保存图像是负号'-'显示为方块的问题mpl.rcParams['axes.unicode_minus'] = False


复杂网络分析之数据准备篇_第6张图片
单节点
复杂网络分析之数据准备篇_第7张图片
双节点
复杂网络分析之数据准备篇_第8张图片
多节点

可见networkx创建节点需要的数据很简单,就是字符串或者列表(集合也可以的)。而且本身nodes数据就是列表,直接就能用到networkx构建节点中来。

但是networkx构建边时候,要用什么样式的呢?


networkx无向边

复杂网络分析之数据准备篇_第9张图片
单边
复杂网络分析之数据准备篇_第10张图片
双边
复杂网络分析之数据准备篇_第11张图片
多边

可见networkx无向边的构建只需要元组或列表数据,但是如何从有权有向格式数据转化为元组或者列表(集合也可以的)数据呢?

data = {'a':{'b':1},

'c':{'a':2},

'e':{'b':3},

'b':{'a':4}}

一、无权无向边

a->b 和b->a是一条边

data的边的集合是{('e', 'b'), ('c', 'a'), ('a', 'b')}

生成无权无向边数据的代码:

复杂网络分析之数据准备篇_第12张图片
生成无权无向边数据

二、 有权无向边

a->b和b->a使得 ab共出现5次。

有权无向边应为{('c', 'a', 2), ('a', 'b', 5), ('e', 'b', 3)}

复杂网络分析之数据准备篇_第13张图片
生成有权无向边数据

networkx有向边


复杂网络分析之数据准备篇_第14张图片
有向单边
复杂网络分析之数据准备篇_第15张图片
有向多边

可见networkx无向边的构建只需要元组或列表数据,但是如何从有权有向格式数据转化为元组或者列表(集合也可以的)数据呢?

data = {'a':{'b':1},

'c':{'a':2},

'e':{'b':3},

'b':{'a':4}}

一、无权有向边

a->b 和b->a是一条边

data的边的集合是{('a', 'b'), ('b', 'a'), ('c', 'a'), ('e', 'b')}

生成无权有向向边数据的代码:

复杂网络分析之数据准备篇_第16张图片
生成无权有向向边数据

二、有权有向边

[('a', 'b', 1), ('c', 'a', 2), ('e', 'b', 3), ('b', 'a', 4)]

复杂网络分析之数据准备篇_第17张图片
生成 有权有向边数据

这样更好理解些

weight = data.get(node_k).get(node_v)

其实涉及到有权的边画图,比如让边显示粗细以表示权重大小。这个我还没有实现,主要是刚刚学networkx。不过今天这篇文章的探讨还是很有用的。可以将数据整理成其他绘图软件指定格式。绘制有权图。

写了这么多也不知道大家搞糊涂了没有,反正我写的有点晕!


公众号原文

附有文中所有代码的下载资源


更多内容

文本分析

python居然有情感??真的吗??

文本分析之网络关系

自然语言处理库之snowNLP

数说中南大学研究生感情状况及择偶观

用gensim库做文本相似性分析

基于共现发现人物关系的python实现

用python计算两文档相似度

神奇的python

怜香惜玉,我用python帮助办公室文秘

逆天的量化交易分析库-tushare

酷炫的matplotlib

开扒皮自己微信的秘密

8行代码实现微信聊天机器人

使用Python登录QQ邮箱发送QQ邮件

爬虫

初识Python的GUI编程

爬虫实战视频专辑

【视频】手把手教你抓美女~

当爬虫遭遇验证码,怎么办

知易行难

用词云图解读“于欢案”

【视频】于欢案之网民的意见(1)?

【视频】有了selenium,小白也可以自豪的说:“去TMD的抓包、cookie”

【视频】快来get新技能--抓包+cookie,爬微博不再是梦

【视频教程】用python批量抓取用户信息

爬豆瓣电影名的小案例(附视频操作)

爬豆瓣电影名的小案例2(附视频操作)

用Python抓取百度地图里的店名,地址和联系方式

你可能感兴趣的:(复杂网络分析之数据准备篇)