巨龙信息大数据集成技术 海量数据集成架构实践

       巨龙信息大数据集成系统是一款基于分布式并行计算架构开发的ETL数据集成系统。具备高吞吐、高可用、高扩展特性,可以为海量数据的超大规模数据仓库建设提供抽取、整合、清洗、入库等集成业务。

巨龙信息大数据集成技术 海量数据集成架构实践_第1张图片

 
      巨龙信息大数据集成系统的产品特征包括:高吞吐处理能力,高扩展、高可靠,可视化流程配置,集成业务全流程监控,统一的元数据模型,大数据技术支持,低廉的硬件成本。

■高吞吐处理能力:采用多线程处理算法,高效的内存利用率;任务运行过程无需本地磁盘IO操作,提升整体单位时间的大批量处理能力;支持TB/h级的大数据集成业务性能。

■高扩展、高可靠:并行架构提升单机处理能力的线性扩展;新增执行引擎的快速部署和自动识别,分布式架构提升多机处理能力的线性扩展;执行引擎宕机的自动识别和任务转移,保证任务的顺利执行。

■可视化流程配置:通过简单的图形拖拽配置数据集成流程,简单易用的专业化配置。

■集成业务全流程监控:可对处理过程的每个步骤,每个子流程处理进行实时监控,简单快速发现处理过程遇到的漏数据,错处理等问题。

■统一的元数据模型:基于统一公共仓库元模型,可与公司产品线其他产品无缝对接,简化整体解决方案的实施运维。

■大数据技术支持:支持主流的关系型数据库,NOSQL数据库,全文库处理等主流大数据产品的抽取入库,以及异构库之间的抽取入库。

■低廉的硬件成本:使用x86架构的PCServer,无需昂贵的unix服务器。

你可能感兴趣的:(大数据,架构,数据库,etl,java)