Spring XD 参考文档 --001 Spring XD概述

Spring XD 参考文档

1. 简介

1.1 概览

    Spring XD 是一个统一的，分布式的和可扩展的（extensible）服务，这些服务包括数据集成，实时分析，批处理，以及数据导出。Spring XD项目是使用Apache 2许可协议的开源项目，其目标在于处理大数据复杂性。在构建实时大数据应用时，这些复杂性的大部分都是关于通过一个用例（use-case）范围集成不同的系统到一个紧密结合的解决方案中。这些在创建一个综合的大数据解决方案时会碰到的用例有

• 从多输入数据源到大数据存储（如HDFS或Splunk）的高吞吐量的分布式数据集成

• 数据获取阶段（ingestion time）的实时分析，如收集指标和计数
  

• 基于批处理任务的工作流管理。这些任务将与标准的企业系统（比如RDBMS）以及Hadoop操作（例如MapReduce, HDFS, Pig, Hive 或 HBase）的交互联合起来

• 高吞吐量的数据导出，像从HDFS导入RDBMS或者NoSQL数据库中

Spring XD项目的目标是提供一个这些用例的一站式解决方案。