数据模型与查询语言

数据模型应该是软件开发中最重要的部分,它不仅对软件编码方式,而且对如何思考待解决的问题都有深远的影响.

数据模型

关系模型

在关系模型中,数据被组织成关系,在SQL中被称为表.每个关系都是元组的无需集合.
优点:

存在模式的规范.关系模型中支持一系列范式,更好的组织数据.
关系模型可以支持多对一,多对多的关系表示,只需要进行join操作就行.
关系模型使用的查询语言是声明式的,开发者无需关系具体的执行步骤.

缺点:

关系和对象不是一一对应的.在面向对象编程中,应用代码中的对象需要与关系模型中的表,行,列进行转换,这里需要一个叫做ORM的中间层.
不支持数据的嵌套,没办法满足局部最优性的优化.

文档数据库模型

文档数据库是一种层次模型:在父记录中保存了嵌套记录(一对多的关系),而不是单独保存在表中.
优点:

文档数据库对保存的数据没有模式限制,但是包含隐式的模式.
文档数据库保存的数据可以直接映射为应用代码中使用的数据结构.
在访问整个文档中大部分数据时,具有局部性性能优势.
数据支持嵌套,可以通过引用指向其他数据.
针对数据格式改变时,只需要使用新格式生成新文档,应用程序处理读取就文档的情况就可以了.

缺点:

不支持join操作,所以几乎无法表示多对多的关系.
修改时会整个重写文档.如果文档太大则有些浪费.

图状数据模型

如果大多是数据直接没有什么关系,或者最多有一对多的关系,那么文档模型是合适的.
如果数据之间大部分都存在关系,可以是一对多,多对多的关系,数据见关系比较简单的时候可以使用关系模型.
如果数据间存在很复杂的关联关系,那么使用图数据模型就是很自然的事情.例如:社交网络,Web图,地铁图等.
图数据模型中包含两个元素:顶点,边.所以有很多种图数据模型存在.

图数据模型优点:

任何顶点可以连接到其他任何顶点.没有模式限制.
给定一个顶点可以快速获取它的出边和入边.
通过对不同类型的关系使用不同的标签,可以在单个图中存储多种不同类型的信息.

我们先看看属性图模型.

属性图模型
属性图模型中,每个顶点包括:

唯一标志符.
出边集合.
入边集合.
属性集合(KV对).

每个边包括:

唯一标志符.
边开始的顶点(尾部顶点).
边结束的顶点(头部顶点).
描述两个顶点间关系的标签.
属性的集合(KV对).

三元存储
三元存储包含:主体,谓语,客体三部分.
主体是图中的顶点,客体则是下面两种的一种:

原始数据类型中的值.这种情况下谓语和客体相当于主体属性中的键值对.例如:(lucy, age, 33)
图中另一个顶点.此时,谓语为图中的边,主体为尾部顶点,客体为头部定点.例如:(lucy, marriedTo, alain).

查询语言

命令式

针对文档型数据库,由于数据的组织方式是树状结构,所以开发出来了命令式查询语言CODASYL
记录之间的链接不是外键的方式,而是类似于编程语言中的指针.访问记录的唯一方式是从根出发,沿着相关的链接依次访问. 即应用程序需要管理完整的访问路径.
需要告诉计算机以特定的顺序执行某些操作.

声明式

声明式语言则只需要指定所需的数据模式,结果需要满足什么条件,以及如何转换数据就行了.不需要执行查询操作的每一个步骤. SQL就是典型的声明式查询语言.
使用声明式查询语言,可以将数据库引擎的实现细节隐藏起来,使在查询语句不改变的情况下,优化数据库成为可能.
声明式语言支持并行执行.命令式则需要处理更多的细节.

mapReduce查询

MapReduce是一种编程模型,用于在许多机器上处理海量的数据.
MapReduce既不是命令式,也不是声明式:查询逻辑需要使用代码片段来表示,依赖于用户编写的map reduce两个函数.这两个函数需要指定处理的方式.
例如MongoDB中MapReduce的功能:

db.observations.mapReduce(
    function map() {
        var year = this.observationTimeStamp.getFullYear();
        var month = this.observationTimeStamp.getMonth() + 1;
        emit(year + "-" + month, this.numAnimals); // 生成KV对 例如:(2020-01,100)
    },
    function reduce(key, values) {
        return Array.sum(values); // 根据键将所有的值求和.
    },
    {
        query:{family: "Sharks"},
        out: "monthlySharkReport"
    }
);

注意:map,reduce两个函数必须为纯函数,即不能带有副作用.

图状数据模型声明式查询语言

属性图: Cypher
Cypher是属性图的声明式查询语言的一种.我们先来看看如何创建数据.

CREATE
    (NAmerica:Location {name:'North America', type:'contient'}),
    (USA:Location {name:'United States', type:'country'}),
    (Idaho:Location {name:'Idaho', type:'state'}),
    (Lucy:Persion {name:'Lucy', age:33}),
    (Idaho)-[:WITHIN]->(USA)-[:WITHIN]->(NAmerica),
    (Lucy)-[:BORN_IN]->(Idaho)

使用(NAmerica:Location {name:'North America', type:'contient'})的语句定义图中的顶点.使用(Lucy)-[:BORN_IN]->(Idaho)的语句定义一个标签为BORN_IN的边,其中(Lucy)是尾部顶点,(Idaho)是头部定点.
使用Cypher进行查询:
示例使用MATCH语句查询了从USA移民到欧洲的所有人员.

MATCH
    (person)-[:BORN_IN]->()-[:WITHIN*0]->(us:Location {name:'United States'}),
    (person)-[:LIVES_IN]->()-[:WITHIN*0]->(eu:Location {name:'Europe'})
RETURN person.name

解释:
找到满足以下两个条件的任何顶点.

person有一个到其他顶点的出边BORN_IN.从该顶点开始沿着这条边,可以沿着一系列出边WITHIN,直到最终到达类型为Location的顶点,neme属性为'United States'.
同一个person顶点也有一个出边LIVES_IN.从该顶点开始沿着这条边,可以雁阵一系列出边WITHIN,直到最终到达类型为Location的顶点,neme属性为'Europe'.

对于这样的顶点,返回它的name属性.

三元存储:SPARQL
SPARQL 是一种采用RDF数据模型的三元存储查询语言.
其中RDF是资源描述框架,它荣不同的网站以一致的格式发布数据,这样来自不同网站的数据自动合并成一个数据网络,形成一种互联网级别包含所有数据的数据库.
RDF数据模型示例
RDF可以采用XML的方式编写:



    Idaho
    state
    
        
             United States
             country
             
                 
                     North America
                    continent
                 
             
          
       


    Lucy

还有更简单的Turtle/N3这种格式:

@prefix : .
_:lucy a :Person; :name "Lucy"; :bornIn _:idaho.
_:idaho a :Location; :name "Idaho"; :type "state"; :within _:usa.
_:usa a :Location; :name "United States"; :type "country"; :within _:namerica.
_:namerica a :Location; :name "North America"; :type "continent".

SPARQL查询语言.
同样我们使用SPARQL查询从USA移民到欧洲的人员.

PREFIX : 

SELECT ?personName WHERE {
    ?person :name ?personName.
    ?person :bornIn / :within* / :name "United States".
    ?person :livesIn / :within* / :name "Europe".
}