数据整合需要注意的问题

数据整合工作量

随着该投资管理公司信息化建设的持续,即将有多个信息系统投入建设,为了实现各个系统的数据流通,如果按照传统的系统集成进行数据整合建设,那么数据整合工作量将以N(n-1)/2的方式增加(图3-3),使得数据整合工作必须投入大量的人力和财力。

数据整合需要注意的问题_第1张图片

 

 

 

系统耦合度

随着数据整合工作的持续进行,一个应用系统会有多个接口对应其它应用系统,以此实现各个应用系统之间的数据交互。这种基于传统的系统集成技术,势必造成各个信息系统之间的联系越来越广、耦合度过强,如当更新一个系统时,必须对原系统对应的多个系统接口进行测试,造成系统更新的工作量大,并且严重影响新系统上线后的稳定性。

 

数据维护的可行性

中心数据库中的海量数据,需要有效的数据维护方案来保障数据的可靠性、真实性、一致性、权威性、及时性。数据维护方案从最开始的人工审核,到如今的ETLODS技术,都没有解决维护的彻底性问题。如ETL定义的数据清洗规则,只能针对数据格式、部分数据编码进行清洗,不能对数据内容的正确性进行清洗;ETL也不能保障中心数据库中所有数据的一致性和完整性;最后,ETL对错误数据的发现和更新处理较弱,不能有效发现错误数据,也不能合理进行数据更新处理。由于ETL存在的众多功能缺陷,导致了ODS技术的产生,ODS致力于解决数据的更新问题,但仍对错误数据的发现能力较弱,同时对于数据的更新处理,缺乏完善的体制,导致数据的权威性和一致性受到质疑。

通过对ETLODS两种技术的分析比较,众多企业逐渐认识到要保障数据的有效维护,必须要制定一套整体的策略,策略中不应只有技术,还应包括一系列流程,通过流程与技术的结合,从而实现数据的有效维护。

 

数据组织的有序性

由于欠缺对数据的全局分析,导致各类数据在语义、模型等方面存在巨大差异和不一致现象。如传统的数据字典,采用自然语言的描述方式对数据含义进行解释,由于自然语言的多样性,造成数据库中各元数据描述的差异性,导致多列含义相同的元数据不能被有效发现,从而严重影响数据的一致性维护;同时由于数据描述的差异性,不能有效发现数据库中的各类相同或相近含义的数据,造成数据一旦被放入数据库便很难再被利用的现象。正是由于缺乏对数据有效描述和组织的模式,导致中心数据库中数据的有效利用率低,数据冗余现象严重。

你可能感兴趣的:(数据整合需要注意的问题)