巨龙信息大数据集成技术 海量数据集成架构实践

       巨龙信息大数据集成系统是一款基于分布式并行计算架构开发的ETL数据集成系统。具备高吞吐、高可用、高扩展特性，可以为海量数据的超大规模数据仓库建设提供抽取、整合、清洗、入库等集成业务。

 
      巨龙信息大数据集成系统的产品特征包括：高吞吐处理能力，高扩展、高可靠，可视化流程配置，集成业务全流程监控，统一的元数据模型，大数据技术支持，低廉的硬件成本。

■高吞吐处理能力：采用多线程处理算法，高效的内存利用率；任务运行过程无需本地磁盘IO操作，提升整体单位时间的大批量处理能力；支持TB/h级的大数据集成业务性能。

■高扩展、高可靠：并行架构提升单机处理能力的线性扩展；新增执行引擎的快速部署和自动识别，分布式架构提升多机处理能力的线性扩展；执行引擎宕机的自动识别和任务转移，保证任务的顺利执行。

■可视化流程配置：通过简单的图形拖拽配置数据集成流程，简单易用的专业化配置。

■集成业务全流程监控：可对处理过程的每个步骤，每个子流程处理进行实时监控，简单快速发现处理过程遇到的漏数据，错处理等问题。

■统一的元数据模型：基于统一公共仓库元模型，可与公司产品线其他产品无缝对接，简化整体解决方案的实施运维。

■大数据技术支持：支持主流的关系型数据库，NOSQL数据库,全文库处理等主流大数据产品的抽取入库，以及异构库之间的抽取入库。

■低廉的硬件成本：使用x86架构的PCServer，无需昂贵的unix服务器。