打造下一代数据集成平台

概要
近年来, 随着互联网技术的飞速发展, 大数据时代的来临, 数据集成(Data Integration)技术也正经历着变革. 本演讲将结合eBay数据平台数据集成的最佳实践. 介绍如何实现高可用, Metadata Driven, 高并发低成本的ETL框架. 以及对ETL metadata management, Data Lineage, eBay的数据平台经历了10多年的发展,发展成拥有10P级数据量Teradata + Hadoop大数据平台.为7500+企业内部用户提供在线的数据分析,每日有百万级的数据查询访问。

个人简介

熊家治，在数据库与数据仓库领域有近10年的经验。现任eBay数据平台高级架构师，专注于数据集成平台的设计与开发． 2007加入eBay中国研发中心，熊家治作为数据平台核心Subject Area技术专家成员，参与了eBay数据平台的各大项目。通过对业务流程，以及数据集成方案的优化调整，使数据平台核心subject area的SLA完成时间加快了近6小时。 eBay的Teradata平台是世界上数据量最大，也是最复杂的数据仓库系统之一，帮助用户解决在系统运行中的各种疑难杂症，是他在工作中的最大乐趣，也积累了相关的经验。基于此，熊家治总结创造了出很多系统优化的方法与方案。他提出并实现的自动化Dataflow生成工具，在eBay数据平台的运营中起着关键的作用。 Data Science技术的发展正日新月异，近期重点关注将数据分析的方法与理论引入到数据集成平台的设计中。

QCon是由InfoQ主办的全球顶级技术盛会，每年在伦敦、北京、东京、纽约、圣保罗、杭州、旧金山召开。自2007年3月份首次举办以来，已经有包括传统制造、金融、电信、互联网、航空航天等领域的近万名架构师、项目经理、团队领导者和高级开发人员参加过QCon大会。