Spring for hadoop 简介

 

Spring for hadoop提供了统一的配置模式以简化Apache Hadoop的开发，并也易于调用HDFS、Mapreduce、Pig和Hive的API。它还提供了与Spring生态圈的其他项目集成的能力，例如Spring Intergration 和Spring Batch，让你可以优雅地开发大数据的提取/导出和Hadoop工作流项目。

从OReilly公司下载Spring-data：Morden Data Access for Enterprise Java一书（http://shop.oreilly.com/product/0636920024767.do#），这本书包含了几章叙述了如何使用Sring for Apache Hadoop。此书的源码在Github网站可以下载（https://github.com/SpringSource/spring-data-book）。

特性

1、相对于使用Hadoop命令行工具，Spring for Hadoop可以创建使用依赖注入并且以标准的Java程序一样运行的应用。

2、与Spring Boot集成可以方便地创建与HDFS连接读取和写入数据的Spring应用。

3、创建和设置使用Java MapReduce、Streaming、Hive和HBase的应用。

4、扩展Spring Batch 以支持创建适合任意类型的基于Hadoop的Hadoop Job或者HDFS操作的工作流。

5、可以使用任意基于JVM的脚本语言来编写HDFS操作代码。

6、易于创建定制的基于Spring Boot的应用并能在YARN上部署并运行。

7、支持HBase的DAO组件（Template和Callbacks）。

8、支持Hadoop的安全认证。