Spring系列学习之Spring Cloud Data Flow 微服务数据流

英文原文：https://cloud.spring.io/spring-cloud-dataflow/

目录

Spring Cloud数据流

概览

社区实现

快速开始

 构建Spring Spring数据流

Sample Projects

Related Projects

Customer Case Studies

Videos

---

Spring Cloud数据流

Spring Cloud Data Flow是用于构建数据集成和实时数据处理管道的工具包。

管道由Spring Boot应用程序组成，使用Spring Cloud Stream或Spring Cloud Task微服务框架构建。 这使得Spring Cloud Data Flow适用于各种数据处理用例，从导入/导出到事件流和预测分析。

概览

Spring Cloud Data Flow服务器使用Spring Cloud Deployer将数据管道部署到现代运行时，例如Cloud Foundry和Kubernetes。

针对各种数据集成和处理场景的一系列预构建流和任务/批处理启动器应用程序有助于学习和实验。

可以使用熟悉的Spring Boot样式编程模型构建针对不同中间件或数据服务的自定义流和任务应用程序。

简单的流管道DSL可以轻松指定要部署的应用程序以及如何连接输出和输入。在v1.2中添加了一个新的组合任务DSL。

仪表板提供了一个图形编辑器，用于以交互方式构建新管道，以及可部署应用程序和使用度量标准运行应用程序的视图。

Spring Can Data Flow服务器公开了一个REST API，用于组合和部署数据管道。单独的shell使您可以从命令行轻松使用API​​。
平台实施

开始使用Spring Cloud Data Flow的一种简单方法是遵循下表中特定于平台的实现链接。每个实现都独立发布，具有独立的发布节奏。强烈建议您查看特定于平台的参考文档，以了解有关功能的更多信息。

Server Type	Stable Release	Milestone/Snapshot Release
Local Server	1.7.3.RELEASE[docs]	2.0.0.M1[docs]
Cloud Foundry Server	1.7.3.RELEASE[docs]	2.0.0.M1[docs]
Kubernetes Server	1.7.2.RELEASE[docs]	2.0.0.M1[docs]

 

社区实现

• Spring Cloud Data Flow for HashiCorp Nomad
• Spring Cloud Data Flow for Red Hat OpenShift
• Spring Cloud Data Flow for Apache Mesos

 

快速开始

第1步 - 有两种入门方式。 最快的是下载Spring Cloud Data Flow Local-Server的Docker Compose工件。 （Mac用户可以使用'curl -O'代替'wget'） 

wget https://raw.githubusercontent.com/spring-cloud/spring-cloud-dataflow/v1.7.3.RELEASE/spring-cloud-dataflow-server-local/docker-compose.yml

第2步 - 从您下载docker-compose.yml的目录中，启动SCDF系统。

DATAFLOW_VERSION=1.7.3.RELEASE docker-compose up

第3步 - 在http:// localhost:9393/dashboard处打开仪表板。

第4步 - 使用“Streams”选项卡下的“Create Stream（s）”来定义和部署流time| log使用“ticktock”这个名称登录。

 

一旦部署了“ticktock”流，您将在“运行时”选项卡下看到两个流应用程序（ticktock.log和ticktock.time）。 单击“ticktock.log”应用程序的i图标以复制流式日志的路径。

第5步 - 要验证已部署的流和结果，请从仪表板中复制“stdout”文本框中的路径。 从另一个终端控制台类型： 

docker exec -it dataflow-server tail -f 

 构建Spring Spring数据流

Spring Cloud Data Flow基于多个项目构建，生态系统的顶级构建块列在以下可视化表示中。 每个项目代表一个核心功能，它们是孤立地发展的，具有单独的发布节奏 - 按照链接查找有关每个项目的更多详细信息。

 

Spring Cloud Data Flow Local Server

Spring Cloud Data Flow Cloud Foundry Server

Spring Cloud Data Flow Kubernetes Server

Spring Cloud Data Flow Apache Yarn Server

Spring Cloud Data Flow Apache Mesos Server

---

REST-APIs / Shell / DSL	Dashboard	Spring Flo	Spring Cloud Data Flow Metrics Collector
Spring Cloud Data Flow - Core

↓     Uses     ↓

Spring Cloud Deployer - Service Provider Interface (SPI)

↑     Implements     ↑

Spring Cloud Deployer Local

Spring Cloud Deployer Cloud Foundry

Spring Cloud Deployer Kubernetes

Spring Cloud Deployer Yarn

Spring Cloud Deployer Mesos

↓     Deploys     ↓

Spring Cloud Stream App Starters

Spring Cloud Task App Starters

Spring Cloud Stream

Spring Cloud Task

↓     Uses     ↓

Spring Integration

Spring Boot

Spring Batch

Sample Projects

• Twitter Analytics
• Predictive Analytics
• HTTP -> Cassandra
• HTTP -> MySQL
• HTTP -> Gemfire
• Functions in SCDF

Related Projects

• Spring Cloud Stream
• Spring Cloud Stream Applications
• Spring Cloud Task
• Spring Cloud Task Applications
• Spring Cloud Skipper

Customer Case Studies

• Latency Tracing with SCDF
• Batch Processing with SCDF
• Low Latency Event-Driven ETL
• Domain Driven Design with Spring Cloud Stream

Videos

• CI/CD + SCDF
• Twitter Sentiment Analytics with TensorFlow
• Data Microservices with Spring Cloud Data Flow
• Data Microservices in the Cloud
• Cloud Native Streaming and Event-Driven Microservices
• Data Microservices with Spring Cloud Stream, Task, and Spring Cloud Data Flow