信息系统项目管理师第四版学习笔记——信息系统工程之数据工程

数据工程是信息系统的基础工程。

1.数据建模

根据模型应用目的不同，可以将数据模型划分为三类：概念模型、逻辑模型和物理模型。

概念模型也称信息模型，它是按用户的观点来对数据和信息建模。

逻辑模型是在概念模型的基础上确定模型的数据结构，目前主要的数据结构有层次模型、网状模型、关系模型、面向对象模型和对象关系模型。其中，关系模型成为目前最重要的一种逻辑数据模型。

关系数据模型的数据操作主要包括查询、插入、删除和更新数据，这些操作必须满足关系的完整性约束条件。关系的完整性约束包括三大类型：实体完整性、参照完整性和用户定义的完整性。其中，实体完整性、参照完整性是关系模型必须满足的完整性约束条件，用户定义的完整性是应用领域需要遵照的约束条件，体现了具体领域中的语义约束。

物理数据模型是在逻辑数据模型的基础上，考虑各种具体的技术实现因素，进行数据库体系结构设计，真正实现数据在数据库中的存放。

数据建模过程包括数据需求分析、概念模型设计、逻辑模型设计和物理模型设计等过程。

2.数据标准化

数据标准化是实现数据共享的基础。数据标准化的主要内容包括元数据标准化、数据元标准化、数据模式标准化、数据分类与编码标准化和数据标准化管理。

元数据最简单的定义是：元数据是关于数据的数据(Data About Data)。在信息界，元数据被定义为提供关于信息资源或数据的一种结构化数据，是对信息资源的结构化描述。

数据元是数据库、文件和数据交换的基本数据单元。

数据元是在数据库或文件之间进行数据交换时的基本组成。数据元通过一组属性描述其定义、标识、表示和允许值的数据单元。在特定的语义环境中被认为是不可再分的最小数据单元。数据元一般来说由三部分组成：对象、特性、表示。

数据元提取是数据元标准化的一项重要内容，为了确保数据元具有科学性和互操作性，需要采用合理的数据元提取方法。目前常用的数据元提取方法有两种：自上而下(Top-Down)提取法和自下而上(Down-Top)提取法。

对于新建系统的数据元提取，一般适用“自上而下”的提取法。

自下而上提取法也称逆向工程，对于已建系统的数据元提取，一般适用这种自下而上提取法。

数据模式是数据的概念、组成、结构和相互关系的总称。

数据标准化阶段的具体过程包括确定数据需求、制定数据标准、批准数据标准和实施数据标准四个阶段。

3.数据运维

数据存储介质的类型主要有磁带、光盘和磁盘三种。

当前最常见的数据备份结构可以分为四种：DAS备份结构、基于LAN的备份结构、LANFREE备份结构和SERVER-FREE备份结构。常见的备份策略主要有三种：完全备份、差分份和增量备份。

备份软件主要分为两大类：一是操作系统自带的软件，如麒麟操作系统的“备份”工具，这类软件实现的功能都很简单；二是专业备份软件，其能够实现比较全面的功能。

容灾系统分为应用容灾和数据容灾两类。

数据备份是数据容灾的基础。数据备份是数据高可用的最后一道防线，其目的是为了在系统数据崩溃时能够快速恢复数据。

数据产品的质量控制分成前期控制和后期控制两个大部分。前期控制包括数据录入前的质量控制、数据录入过程中的实时质量控制；后期控制为数据录入完成后的后处理质量控制与评价。

数据清理也称数据清洗。从广义上讲，是将数据库精简以除去重复记录，并使剩余部分转换成符合标准的过程。而狭义上的数据清理是特指在构建数据仓库和实现数据挖掘前对数据源进行处理，使数据实现准确性、完整性、一致性、唯一性、适时性、有效性以适应后续操作的过程。

数据清理主要包括数据分析、数据检测和数据修正三个步骤。

4.数据开发利用

数据集成就是将驻留在不同数据源中的数据进行整合，向用户提供统一的数据视图(一般称为全局模式),使得用户能以透明的方式访问数据。其中“数据源”主要是指DBMS,广义上也包括各类XML文档、HTML文档、电子邮件、普通文件等结构化、半结构化和非结构化数据。

数据集成的目标就是充分利用已有数据，在尽量保持其自治性的前提下，维护数据源整体上的一致性，提高数据共享利用效率。

数据挖掘是指从大量数据中提取或“挖掘”知识，即从大量的、不完全的、有噪声的、模糊的、随机的实际数据中，提取隐含在其中的、人们不知道的、却是潜在有用的知识。

数据挖掘常见的主要任务包括数据总结、关联分析、分类和预测、聚类分析和孤立点分析。数据挖掘流程一般包括确定分析对象、数据准备、数据挖掘、结果评估与结果应用五个阶段。

数据服务主要包括数据目录服务、数据查询与浏览及下载服务、数据分发服务。

5.数据库安全

数据库安全对策：防止非法的数据访问、防止推导、保证数据库的完整性、保证数据的操作完整性、保证数据的语义完整性、审计和日志、标识和认证、机密数据管理、多级保护、限界。