张子良知识图谱课程笔记

知识图谱的典型应用
语义理解
智能搜索:基于人的关键词直接匹配其摘要信息 返回其摘要 改造搜索引擎对外展示信息的方式
智能问答:准备知识库,eg:EVI,Siri,头条智能问车
辅助决策:IBM沃森系统 医疗助手 诊断疾病

人工智能:感知能力 认知能力 服务能力
知识图谱是人工智能进步的阶梯

知识图谱的体系结构
知识获取(爬虫众包)→知识存储→知识表示→知识应用
知识架构
语义类型设计:节点分类的研究
语义关系设计: 节点与节点关系的研究
语义关系:相关关系(概念相关 空间相关 时间相关 物理相关 功能相关) 向下位关系
通用关系 :高级抽象层面 复用别人已经抽象好的
特殊关系 :追加
知识图谱设计方法
专家法
参照法
归纳法
混合法
原则:围绕业务规划产品 基于团队选择方法
数据价值链模型
数据:50kg
信息:人的体重是50kg
知识:身高是170 合理体重是60kg
信息是可以被人理解的内容 知识可以被机器理解的内容
语义类型设计
以音乐领域知识图谱构建为例
singer
song
album
style
语义关系设计
本体对象设计
对象识别 (本体建模平台工具:protege protege.stanford.edu)
属性设计
知识存储模型
三种方式:
关系数据库RDBMS:体量比较小 属性相似的主语聚为一张表
三元组RDF:语义网而产生的 (三元组包括:对象 对象的属性 对象的取值)问题:1数据量多的时候不适合 2存取多个属性存在自连接操作,开销巨大
rdf本身是基于xml来描述的
图数据库:体量比较大 单机/集群

不需要研究实体之间关系的内容
需要频繁计算的内容
不放入

节点 会包括类型和属性

RDF数据库 MarkLogic 类似mongodb
图数据库 Neo4j
工业级应用Titan

Neo4j可视化操作基础

张子良知识图谱课程笔记_第1张图片
命令编辑器:shift+enter 换行
在这里插入图片描述
将结果展示页全部清空

同一个节点可以创建多次 但id不同
使用创建唯一属性的操作
张子良知识图谱课程笔记_第2张图片
CQL语法基础
对标关系型数据库
Node Labels:一张表
每个节点:表里的一条记录
Relationship Types关系类型:关系表(学生选课的关系表)
Property Keys:表中每一列的名称
张子良知识图谱课程笔记_第3张图片
code部分与通过api调用产生的结果一样
知识图谱存储CQL操作基础
:help
张子良知识图谱课程笔记_第4张图片
help Cypher → play Cypher
create
张子良知识图谱课程笔记_第5张图片
match(等同select)
张子良知识图谱课程笔记_第6张图片
创建一个节点
张子良知识图谱课程笔记_第7张图片

如何保证节点对象全局唯一呢?允许有多个节点name相容 其id不同
张子良知识图谱课程笔记_第8张图片
删除数据库
1.清空数据库(语法delete):表的列属性无法删除
2.把数据库全部删掉:停掉neo4j服务,找到数据库文件,直接删掉
张子良知识图谱课程笔记_第9张图片
启动会自动重新生成新的数据库
neo4j 社区办启动一个新的数据库
张子良知识图谱课程笔记_第10张图片
Neo4j操作实例
:play movie graph
张子良知识图谱课程笔记_第11张图片
neo4j数据库管理
系统监控
:sysinfo 查看数据库信息(社区版没有)
张子良知识图谱课程笔记_第12张图片
数据备份
在这里插入图片描述
neo4j-admin.bat help
查看该批量操作脚本提供哪些功能
命令help memrec 等
与备份相关的命令:load dump
dump 将某个数据库存储到某个目录下面
张子良知识图谱课程笔记_第13张图片
所需要的环境变量
备份
dump (neo4j-admin.bat dump --help)
具体 neo4j-admin.bat dump --to"e://003.db"
张子良知识图谱课程笔记_第14张图片
数据库恢复:load
张子良知识图谱课程笔记_第15张图片
数据库删除
:play start 欢迎界面吊起
张子良知识图谱课程笔记_第16张图片
cmd以管理员身份运行,否则有些命令不能执行(dump load 等)
张子良知识图谱课程笔记_第17张图片
张子良知识图谱课程笔记_第18张图片
直接删除库的文件夹(因为只能删除节点和关系 没法删除列属性,所以只能删库)
Neo4j开发环境部署
分为服务器版和桌面版 选择服务器版 可35亿节点左右
有些数据集只使用于neo4j早期版本,可下载早期版本进行数据格式的转换导入最新的版本
bin目录:如何启动图数据库(安全验证等),执行文件的位置,存储neo4j的可执行程序
conf目录:启动配置文件(验证是否开启 内存空间设置 默认监听地址)
log目录:定位错误问题
plugins目录:存储neo4j的插件
import目录:本地往neo4j导入csv文件的时候需要用到的文件夹,放入文件系统会自动识别
HOME:
PATH:bin目录
运行方式1.命令行 2.安装到windows服务的方式

知识图谱应用

智能聊天机器人
https://pypi.org/project/python-aiml/ 下载的时候选择源码或安装包
aiml文件夹存储了 大量基于英文的对话语料库
github地址:https:github.com/cdwfs/pyaiml(通过研究源码了解更多的东西)
import aiml 导入语料库
import sys 导入系统库
import os 导入操作系统库
人工智能标记语言AIML
python与neo4j的集成
noe4j支持的开发语言:Java Javasript python .net
python setup.py install 源码安装参考
py2neo目录下 pip show py2neo 可查看版本等信息
Neo4j与AIML的集成
调度预先配置好的问答对,在特定场景下通过调用知识图谱里的内容来形成答案。
人机交互精在知识图谱中的应用往往集中在特定领域,比如精准内容的检索
输入宝马X3 返回完整宝马X3的配置信息 放在知识图谱中
研究人与人之间的关系 人与事物之间的关系,问答对需要设定特定的句式
比如姚明的女儿,也可自己开发解析程序去明确识别节点 和节点所要寻找对象之间的关系,通过这种方式查找精准的内容
知识图谱获取
常用知识获取方式
国内外知识图谱资源
OpenKG

你可能感兴趣的:(张子良知识图谱课程笔记)