1简介编辑
ETL负责将分散的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到 数据仓库或 数据集市中，成为 联机分析处理、数据挖掘的基础。
ETL一词较常出现在 数据仓库，但其对象并不局限于数据仓库。
ETL是 数据仓库中的非常重要的一环。它是承前启后的必要的一步。相对于关系数据库， 数据仓库技术没有严格的数学理论基础，它更面向实际工程应用。所以从工程应用的角度来考虑，按着物理数据模型的要求加载数据并对数据进行一些系列处理，处理过程与经验直接相关，同时这部分的工作直接关系 数据仓库中数据的质量，从而影响到 联机分析处理和数据挖掘的结果的质量。
数据仓库是一个独立的数据环境，需要通过抽取过程将数据从 联机事务处理环境、 外部数据源和脱机的数据存储介质导入到数据仓库中；在技术上，ETL主要涉及到关联、转换、增量、调度和监控等几个方面；数据仓库系统中数据不要求与联机事务处理系统中数据实时同步，所以ETL可以定时进行。但多个ETL的操作时间、顺序和成败对 数据仓库中信息的有效性至关重要。
2概念编辑
ETL(Extract-Transform-Load的缩写，即 数据抽取、转换、装载的过程)作为BI/DW（Business Intelligence）的核心和灵魂，能够按照统一的规则集成并提高数据的价值，是负责完成数据从 数据源向目标 数据仓库转化的过程，是实施数据仓库的重要步骤。如果说 数据仓库的模型设计是一座大厦的设计蓝图，数据是砖瓦的话，那么ETL就是建设大厦的过程。在整个项目中最难部分是用户需求分析和模型设计，而ETL规则设计和实施则是工作量最大的，约占整个项目的60%～80%，这是国内外从众多实践中得到的普遍共识。
ETL是数据抽取（Extract）、清洗（Cleaning）、转换（Transform）、装载（Load）的过程。是
构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。
信息是现代企业的重要资源，是企业运用科学管理、决策分析的基础。目前，大多数企业花费大量的资金和时间来构建 联机事务处理OLTP的业务系统和 办公自动化系统，用来记录事务处理的各种相关数据。据统计，数据量每2～3年时间就会成倍增长，这些数据蕴含着巨大的商业价值，而企业所关注的通常只占在总数据量的2%～4%左右。因此，企业仍然没有最大化地利用已存在的数据资源，以致于浪费了更多的时间和资金，也失去制定关键商业决策的最佳契机。于是，企业如何通过各种技术手段，并把数据转换为信息、知识，已经成了提高其核心竞争力的主要瓶颈。而ETL则是主要的一个技术手段。
3ETL工具应用编辑
目前，ETL工具的典型代表有:Informatica、Datastage、OWB、微软DTS、 Beeload、 Kettle……
开源的工具有eclipse的etl插件。cloveretl.
数据集成：快速实现ETL
ETL的质量问题具体表现为正确性、完整性、一致性、完备性、有效性、时效性和可获取性等几个特性。而影响质量问题的原因有很多，由 系统集成和历史数据造成的原因主要包括:业务系统不同时期系统之间数据模型不一致；业务系统不同时期业务过程有变化；旧系统模块在运营、人事、财务、办公系统等相关信息的不一致；遗留系统和新业务、管理系统 数据集成不完备带来的不一致性。
实现ETL，首先要实现ETL转换的过程。它可以集中地体现为以下几个方面：
1、空值处理：可捕获字段空值，进行加载或替换为其他含义数据，并可根据字段空值实现分流加载到不同目标库。
2、规范化数据格式：可实现字段格式约束定义，对于 数据源中时间、数值、字符等数据，可自定义加载格式。
3、拆分数据：依据业务需求对字段可进行分解。例，主叫号 861082585313-8148，可进行区域码和电话号码分解。
4、验证数据正确性：可利用Lookup及拆分功能进行 数据验证。例如，主叫号861082585313-8148，进行区域码和电话号码分解后，可利用Lookup返回主叫网关或交换机记载的主叫地区，进行 数据验证。
5、数据替换：对于因业务因素，可实现无效数据、缺失数据的替换。
6、Lookup：查获丢失数据 Lookup实现 子查询，并返回用其他手段获取的缺失字段，保证字段完整性。
7、建立ETL过程的主 外键约束：对无依赖性的非法数据，可替换或导出到错误数据文件中，保证主键唯一记录的加载。
4注意事项编辑
为了能更好地实现ETL，笔者建议用户在实施ETL过程中应注意以下几点：
第一，如果条件允许，可利用数据中转区对运营数据进行预处理，保证集成与加载的高效性；
第二，如果ETL的过程是主动“拉取”，而不是从内部“推送”，其可控性将大为增强；
第三，ETL之前应制定流程化的配置管理和标准协议；
第四，关键数据标准至关重要。ETL面临的最大挑战是当接收数据时其各源数据的异构性和低质量。以电信为例，A系统按照统计代码管理数据，B系统按照账目数字管理，C系统按照语音ID管理。当ETL需要对这三个系统进行集成以获得对客户的全面视角时，这一过程需要复杂的匹配规则、名称/地址正常化与标准化。而ETL在处理过程中会定义一个关键数据标准，并在此基础上，制定相应的数据接口标准。
5ETL工具及代理商编辑
PervasiveDI中国区战略合 作伙伴---德昂信息技术（北京）有限公司(Data on Demand China Ltd, 以下简称德昂）是一家跨足海峡两岸，目前在北京，上海，厦门和台北设有公司的专业商务智能解决方案提供商， 公司提供从商务智能项目的前期咨询、商务智能系统的规划、工具的评估和选择、报表和仪表盘需求的梳理和规划、数据仓库和集市的设计和实施、报表和分析系统的设计、实施和上线的整体实施服务。德昂公司并且在能源, 保险，证劵，零售，地产和企业客户中率先实施移动商务智能解决方案。并且可以提供下列类似主题的完整解决方案 ：集团决策支持系统或者管理决策驾驶舱，财务部门的财务数据中心，制造业的采购BI, 石油石化行业的移动决策支持系统，运营管理决策支持系统， 零售行业的市场营销和奖金自动化系统等。
德昂是全球领先的商务智能平台Microstrategy Actian公司的高性能数据库Vectorwise和数据整合ETL工具 PervasiveDI在中国的分销代理；并结合RoamBI, Trinity,Informatica, SAP BPC，IBM DataModeler等工具产品，打包成完整的商务智能解决方案；同时，针对Microstrategy和Pervasive DI产品提供完整的架构设计，建模服务，效能调优，报表和仪表盘开发，产品支持，二次开发支持和维保服务。除了直接面向最终客户，德昂也一直专注于建立一个良好的BI支持服务平台, 协助国内各行各业的集成商(SI)和软件开发商（ISV）在项目或其应用产品中使用BI工具,以便提升其产品和解决方案的价值。
6特色功能编辑
ETL过程在很大程度上受企业对源数据的理解程度的影响，也就是说从业务的角度看 数据集成非常重要。一个优秀的ETL设计应该具有如下功能：
管理简单
采用 元数据方法，集中进行管理；接口、数据格式、传输有严格的规范；尽量不在 外部数据源安装软件； 数据抽取系统流程自动化，并有自动调度功能；抽取的数据及时、准确、完整；可以提供同各种数据系统的接口，系统适应性强；提供软件框架系统，系统功能改变时，应用程序很少改变便可适应变化；可扩展性强。
标准定义数据
合理的业务模型设计对ETL至关重要。 数据仓库是企业唯一、真实、可靠的 综合数据平台。 数据仓库的设计建模一般都依照三范式、星型模型、雪花模型，无论哪种设计思想，都应该最大化地涵盖关键业务数据，把运营环境中杂乱无序的数据结构统一成为合理的、关联的、分析型的新结构，而ETL则会依照模型的定义去提取数据源，进行转换、清洗，并最终加载到目标数据仓库中。
模型的重要之处在于对数据做标准化定义，实现统一的编码、统一的分类和组织。标准化定义的内容包括：标准代码统一、业务 术语统一。ETL依照模型进行初始加载、增量加载、缓慢增长维、慢速变化维、事实表加载等 数据集成，并根据业务需求制定相应的加载策略、刷新策略、汇总策略、维护策略。
拓展新型应用
对业务数据本身及其运行环境的描述与定义的数据，称之为 元数据（metadata）。 元数据是描述数据的数据。从某种意义上说，业务数据主要用于支持业务系统应用的数据，而 元数据则是 企业信息门户、客户关系管理、 数据仓库、决策支持和B2B等新型应用所不可或缺的内容。
元数据的典型表现为对象的描述，即对数据库、表、列、列属性（类型、格式、约束等）以及主键/外部键关联等等的描述。特别是现行应用的异构性与分布性越来越普遍的情况下，统一的 元数据就愈发重要了。“信息孤岛”曾经是很多企业对其应用现状的一种抱怨和概括，而合理的 元数据则会有效地描绘出信息的关联性。
而 元数据对于ETL的集中表现为：定义数据源的位置及数据源的属性、确定从源数据到目标数据的对应规则、确定相关的业务逻辑、在数据实际加载前的其他必要的准备工作，等等，它一般贯穿整个 数据仓库项目，而ETL的所有过程必须最大化地参照元数据，这样才能快速实现ETL。
7ETL体系结构编辑
下图为ETL体系结构，它体现了主流ETL产品框架的主要组成部分。ETL是指从源系统中提取数据，转换数据为一个标准的格式，并加载数据到目标 数据存储区，通常是 数据仓库。
Design manager 提供一个图形化的映射环境，让开发者定义从源到目标的映射关系、转换、处理流程。设计过程的各对象的逻辑定义存储在一个 元数据资料库中。
Meta data management 提供一个关于ETL设计和运行处理等相关定义、管理信息的 元数据资料库。ETL引擎在运行时和其它应用都可参考此资料库中的 元数据。
Extract 通过接口提取源数据，例如?ODBC、专用 数据库接口和 平面文件提取器，并参照 元数据来决定数据的提取及其提取方式。
Transform 开发者将提取的数据，按照业务需要转换为目标 数据结构，并实现汇总。
Load 加载经转换和汇总的数据到目标 数据仓库中，可实现SQL或批量加载。
Transport services 利用网络协议或文件协议，在源和目标系统之间移动数据，利用内存在ETL处理的各组件中移动数据。
Administration and operation 可让管理员基于事件和时间进行调度、运行、监测ETL作业、管理 错误信息、从失败中恢复和调节从源系统的输出。
8理想的数据集成平台编辑
数据集成平台必须解决企业间数据碎片的问题，以更快地做出数据驱动型业务决策和更有效有力地进行业务运作。它必须作为企业技术基础提供服务，提供容易掌控的方法来集成数据。
要满足这些需求，数据集成平台必须具备四个特性：全面、统一、开放和经济。
全面
理想的数据集成平台必须具备全面的功能集，使您的 IT 机构可以根据要求随时随地为企业提供可以信赖的数据。借助一整套可随意支配的数据集成功能，IT 机构的生产效率可以获得数十倍的提升。
支持完整的数据集成生命周期
数据集成平台必须支持数据集成生命周期中的所有五个关键步骤：访问、发现、 清洗、集成和交付（见图 4）。
第 1 步：访问 大多数机构的数据存储在数千个位置，不只限于企业内部，还存放在 防火墙外的业务合作伙伴或 SaaS 供应商的“云”中。无论何种来源或结构，所有数据都必须可以接受访问。必须从隐秘的大型 主机系统、关系数据库、应用程序、XML、消息甚至从电子数据表之类的文档中提取数据。
第 2 步：发现 数据源－ 特别是记录不详尽或来源未知 － 必须探查才能了解其内容和结构。需要推断数据中隐含的模式和规则。必须标记潜在的数据质量问题。
第 3 步：清洗 必须清洗数据以确保其质量、准确性和完整性。必须解决错误或疏漏问题。必须强制执行数据标准，并且对值进行验证。必须删除重复的数据条目。
第 4 步：集成 要跨越多个系统保持一致的 数据视图，必须集成并转换数据， 以便协调不同系统在定义各种 数据元素并使之结构化的方式上存在的差异。例如，对于“客户盈利”，营销系统和财务系统可能具有完全不同的业务定义和数据格式，这些差异必须得到解决。
第 5 步：交付 必须以适当的格式、在适当的时间将适当的数据交付给所有需要数据的应用程序和用户。交付数据的范围涵盖从支持实时业务运营的单个 数据元素或记录到用于趋势分析和企业报告的数百万个记录。必须确保数据的高可用性和交付安全性。
此外，数据集成平台还必须：
审计、管理和监控 数据管理员和 IT 管理员需要协作进行审计、管理和监控数据。不断地对关键指标（例如 数据质量）进行衡量，随着时间的推移这些指标会得到有目共睹的稳步提高。这是为了跟踪关键数据属性的进度，并标记任何新问题，以便在将数据传回数据集成生命周期之后，可以解决这些问题并不断改进。
定义、设计和开发 业务分析师、数据架构师和 IT 开发人员需要一套功能强大的工具来帮助他们在定义、设计和开发数据集成规则与流程上展开合作。数据集成平台应包括一套常用的集成工具，以确保所有人员一起有效工作。实现任何数据集成项目
数据集成平台必须足够可靠、灵活和可扩展，以处理任何一类型的数据集成项目，其中包括：
数据仓库·
数据迁移·
测试数据管理和存档 ·
数据整合·
主数据管理·
数据同步·
B2B Data Exchange ·
从单个部门的数据仓库项目到全局 数据迁移项目，您的 IT 机构可以一次性展开许多类型的数据集成项目。您的团队需要能够从小规模的一个项目类型入手，然后在接下来的项目中重复运用相同的技术和资产－ 通过共享元数据实现。
数据集成平台需要能够处理分析数据集成（报告和分析），还要能够处理运营数据集成（与运营执行相关的业务流程）。
以任何周期提供数据
对于数据集成，存在跨度很广的一系列时间范围和周期要求，这取决于应用程序和使用案例。某些项目要求按月或按周集成数据；而另外一些项目需要按秒提供集成的数据。IT 机构需要能够灵活更改周期要求，而不必重新构建整个基础结构。
如图 5 所示，理想的数据集成平台必须在整个周期范围内提供支持、根据应用程序或用户需要随时提供可信任的数据－ 无论以实时、批量还是变更数据捕获 (CDC)的方式。
统一
单个的统一数据集成平台可大大简化 IT 团队的工作。当您具备扩展型企业（从单一供应商发展成）所需的所有数据集成能力时，您通过基于角色的协作、共享元数据和单一的统一运行时引擎，最大限度地提高了工作效率。
基于角色的协作
数据集成项目包括充当多个角色的 IT 和业务人员。他们都肩负着有待完成、差别很大的任务，可以提供不同的技能。每个角色都需要一套特别为其设计的不同工具。同时，项目团队成员必须精诚合作、共同承担工作和任务，以提高跨团队的工作效率并确保 IT 和业务部门的协调。
如图 6 所示，理想的数据集成平台提供角色专用的工具，这些工具专门针对每人的技能和任务而设计。这些角色专用的工具拥有一致的界面。这些工具拥有相同的界面和使用感受，并且相互集成。因此，它们易学易用。通过跨越不同数据集成项目重复使用资产，团队成员能够快速启动运行并保持高效。
共享元数据
数据集成平台必须提供共享的元数据。平台内的每个工具必须能够访问有关数据存储位置的元数据以及与其关联的业务规则和逻辑。借助共享的元数据，大家可以共同处理同一件事。分析师和开发人员可以处理不同类型的元数据或者用不同方式查看相同的元数据，并仍然保持有效协作。元数据保持一致，并且每个用户均能轻松查看潜在的更改会带来的影响。
统一的运行时引擎
数据集成平台的关键是单个的运行时引擎。组成平台的各个单独的产品应全都在简化实施、管理和维护的相同引擎上运行。单个引擎确保可以更为方便地升级多个版本。平台必须为企业级部署而设计，具备可靠的可扩展性、可用性和安全性，这样您可以在该平台上放心开展业务。
开放
开放、中立的数据集成平台旨在能够在您当前的 IT 环境中兼容一切 －您的硬件、软件、技术标准，以及未来您要添加的任何内容。开放的平台能保护您的企业免受有关供应商瓶颈的风险。
访问任何来源的数据
大多数机构以数百种不同格式来存储数据：企业应用程序、数据库、 平面文件、 消息队列、电子数据表和其它文档。如图 7 所示，数据集成平台必须处理任何 数据类型或格式，包括任何来源的结构化和 非结构化数据和所有主数据类型，例如客户数据、产品数据和财务数据。
越来越多的 数据迁移要跨越公司防火墙和“移入云”。随着更多公司依赖人力资源应用程序和 CRM 应用程序的 SaaS 提供商， 云计算变得更为主流。数据集成平台必须能够访问驻留在企业外部的数据。这包括来自多个 业务实体的数据和分布在许多不同地理位置和国家/地区的数据。
降低风险
IT 格局正在改变。这导致不确定性。IT 机构需要采用策略来降低这种变化带来的风险。您需要一个数据集成平台，它支持从操作系统到数据库的当前所有技术标准。它必须是开放式的，确保能够与现有或将来可能配置的一切内容兼容。这包括在您的企业与“云”中或合作伙伴的全部各种应用程序和数据源。
经济
经济的数据集成平台能够带来尽可能低的总拥有成本 (TCO) 和最快最高的投资回报 (ROI)。在当前严峻的经济环境下，现在和将来的每笔技术投资都要接受严格审查，评估其帮助 IT 机构和业务的能力，因此这些因素目前显得特别重要：
降低成本 ·
更为高效地运营 ·
快速产生价值 ·
更低的总拥有成本
数据集成平台必须提供易用的工具和可靠的可扩展能力与性能，以缩减前期费用、削减持续的维护和管理成本并快速产生价值。企业可以部署用于特定数据集成项目的平台，然后对平台进行扩展，用其解决其它项目，而不必在其它工具或培训上破费。简而言之，数据集成平台能让您的 IT 机构事半功倍。
更快的投资回报
在数据集成平台中获得快速的投资回报取决于您能否迅速行动并投入使用。您需要增加 IT 资源。
了解 Informatica 的开发人员比了解市场上其它任何数据集成软件的开发人员多三倍以上。因此，寻找熟练且实惠的 Informatica 资源来帮助您完成项目会比较容易。 Informatica 技术网络通过在线协作社区为这些开发人员提供支持，在线协作社区提供有在线论坛，用于社区成员和 Informatica 之间的互动性信息交流、资源共享和公开反馈。这是一个非常活跃的网络，拥有超过 46,000 名遍布世界各地的成员。加快投资回报的另一个方法是创建集成能力中心，以在整个企业范围内支持更多集成方案。ICC 是一个共享的 IT 服务，旨在提供人员、流程和技术来支持整个企业的各类集成方案。
9应用中的Informatica 平台编辑
现在让我们查看 Informatica 平台如何帮助不同行业和地理位置的四家公司提高工作效率、最大化技术投资效益并降低成本。
T. Rowe Price 是一家跨国投资管理公司，以范围广泛的共有基金形式持有超过 3340 亿美元的资产。随着金融行业变得愈加复杂、竞争更为激烈、监管更为严格，公司需要更为有效地管理更多数据。为改善客户服务、确保一致的 IT 环境并符合 数据治理法规，T. Rowe Price 决定创建由 Informatica 平台提供支持的 ICC。公司制定出标准、 安全策略和发布方法，然后创建了数据管理程序，以从业务和 IT 部门招集参与者。从 数据仓库开始，公司将 Informatica 平台的使用逐步扩大到其它集成项目。最终，T. Rowe Price 取得这些成果：
1. 更高的员工效率。IT 团队在首年即同时启动 12 个数据集成项目。到第五年，此记录已增加到一次性处理 60 个项目。
2. 使技术投资发挥到极致。通过将流程和过程标准化来促进重复使用已实现高达 ICC 团队自身成本的两倍以上的累计效益和成本节省。
3. 降低成本。T. Rowe Price 使用 Informatica 平台，在第二年即已开始实现收回成本后的净效益，五年间更是实现了可观的效益。大多数节省额归功于削减新开发、持续的编码维护和影响分析的成本。
Duke Energy 在 2006 年与一个竞争对手合并，成为美国最大的电力控股公司之一，拥有分布在卡罗来纳州、肯塔基州、俄亥俄州和印第安纳州的超过 400 万客户。随着合并完成，公用事业公司紧接着需要整合广为分散的多个不同数据集。它还需要确保具有保持高效运营所必需的一致、准确和及时的业务信息。
Duke Energy 求助于 Informatica 平台来创建最佳实践、削减成本并加快上市。通过消除点对点接口并创建集成的数据管理体系结构，公司顺利完成合并，并为未来的计收购铺好道路。
依靠 Informatica 平台，Duke Energy 能够：
1. 提高运营效率。通过可以从公司交易系统中删除数据管理和报告的单个数据集成平台，Duke Energy 可以更为迅速地为经理们提供各种类型数据的高级视图。它还完成了更多的项目：仅在部署后的前六个月，就已检查 31 个项目，实施 8 个项目。
2. 使技术投资发挥最大效益。由于 Informatica 技术平台专为与广泛的各种源系统兼容而设计，因此 Duke Energy 可以轻松扩展以整合未来合并所带来的数据，而无需中断业务报告。
3. 降低成本。Duke Energy 每年将从整合、集中化和缩减运营成本中节省 150 万美元。此外，它还有望在接下来的两年中节省额外 300 万美元的运营和维护费用，而完成下一次合并收购所需的成本预计将比上一次少一半。KPN 是西欧一家市值 195 亿美元的电话、互联网和电视服务提供商，主要在荷兰、德国和比利时开展业务。这家通信公司要为其超过 3500 万的客户提供优质服务 － 但是各类客户数据存储在 50 多个独立的应用程序中，销售和服务代表无法始终了解他们交谈的对象，更无法考虑如何为这些客户提供帮助或额外服务。为改善客户服务并提高运营效率，KPN 决定将跨越多个业务单位的所有客户数据与按功能分隔的 系统集成起来。作为 Informatica 的长期客户，KPN 决定扩展 Informatica 平台，以清洗、同步和加载其所有主数据到新的 CRM 解决方案。
借助 Informatica，KPN 员工现在已拥有唯一的、全面的、保持最新并呈现每位客户关系的视图。最终，公司达到这些目标：
1. 更高效率。由于可以在 呼叫中心快速访问准确的实时数据，因此客户服务代表可以少用 10% 的时间来处理每个电话，并且仍然可以更为有效地开展交叉销售和提升销售，工作效率提高 5%，而从每位用户获得的平均收入增加 5%。
2. 更高技术投资回报。由于 KPN 曾在企业的其它地方使用 Informatica 平台，因此KPN 只需将平台简单扩展到新项目。KPN 可以按时、按预算地轻松完成 CRM 实施，从而快速实现价值。
3. 降低成本。对详细客户数据的实时访问使 KPN 能够将客户流失每年降低 10%。此外，改善 数据质量并使之自动化降低了 IT 维护费用。
1.I
IT 机构转变成数据驱动型企业的目标
那些成功抵御经济衰退期的企业都是能随机应变应对局势变化的企业。在竞争格局、市场和经济发生变化时，这些企业能够迅速采取行动并充分利用机遇。
这些企业需要数据 － 在适当的时间获得拥有毋庸置疑的质量的合适数据。依 Gartner 所见，“信息的战略使用决定企业竞争和获胜的能力。 2这些企业在很大程度上需要依赖它们的 IT 机构。IT 部门在帮助其企业转为数据驱动型企业方面扮演着关键角色。全面、统一、开放和经济的数据集成平台使 IT 部门能够应付自如。这样的数据集成平台为更高效、有效和实惠的数据访问提供了坚实的基础。它是及时、可信任数据流的生命线。这让 IT 机构能够支持企业度过经济低潮期，使企业在经济好转时更为强大、更为灵活并更具有竞争力。
通过让您的 IT 机构实现以下目标，Informatica 平台可以帮助您转变为数据驱动型企业：
· 访问、发现、清洗、集成并为扩张的企业及时提供可信任的数据－ 随时随地提供任何数据
· 支持数据集成流程中涉及的所有角色
· 处理所有类型的数据集成和 数据质量项目
· 与现有和将来可能添加的所有系统和流程兼容
经过成千上万个实际部署验证，Informatica 平台确实能够帮助 IT 机构降低成本、 提高效率并为企业带来更多价值。