数据整合需要注意的问题

数据整合工作量

随着该投资管理公司信息化建设的持续，即将有多个信息系统投入建设，为了实现各个系统的数据流通，如果按照传统的系统集成进行数据整合建设，那么数据整合工作量将以N(n-1)/2的方式增加（图3-3），使得数据整合工作必须投入大量的人力和财力。

 

 

 

系统耦合度

随着数据整合工作的持续进行，一个应用系统会有多个接口对应其它应用系统，以此实现各个应用系统之间的数据交互。这种基于传统的系统集成技术，势必造成各个信息系统之间的联系越来越广、耦合度过强，如当更新一个系统时，必须对原系统对应的多个系统接口进行测试，造成系统更新的工作量大，并且严重影响新系统上线后的稳定性。

 

数据维护的可行性

中心数据库中的海量数据，需要有效的数据维护方案来保障数据的可靠性、真实性、一致性、权威性、及时性。数据维护方案从最开始的人工审核，到如今的ETL、ODS技术，都没有解决维护的彻底性问题。如ETL定义的数据清洗规则，只能针对数据格式、部分数据编码进行清洗，不能对数据内容的正确性进行清洗；ETL也不能保障中心数据库中所有数据的一致性和完整性；最后，ETL对错误数据的发现和更新处理较弱，不能有效发现错误数据，也不能合理进行数据更新处理。由于ETL存在的众多功能缺陷，导致了ODS技术的产生，ODS致力于解决数据的更新问题，但仍对错误数据的发现能力较弱，同时对于数据的更新处理，缺乏完善的体制，导致数据的权威性和一致性受到质疑。

通过对ETL、ODS两种技术的分析比较，众多企业逐渐认识到要保障数据的有效维护，必须要制定一套整体的策略，策略中不应只有技术，还应包括一系列流程，通过流程与技术的结合，从而实现数据的有效维护。

 

数据组织的有序性

由于欠缺对数据的全局分析，导致各类数据在语义、模型等方面存在巨大差异和不一致现象。如传统的数据字典，采用自然语言的描述方式对数据含义进行解释，由于自然语言的多样性，造成数据库中各元数据描述的差异性，导致多列含义相同的元数据不能被有效发现，从而严重影响数据的一致性维护；同时由于数据描述的差异性，不能有效发现数据库中的各类相同或相近含义的数据，造成数据一旦被放入数据库便很难再被利用的现象。正是由于缺乏对数据有效描述和组织的模式，导致中心数据库中数据的有效利用率低，数据冗余现象严重。