StreamSets实战之路(六)-基础篇- StreamSets-origin类组件使用

主要介绍StreamSets-origin类组件有哪些、分类、主要用途以及使用方法。

Origin类组件主要包含以下:

Amazon S3

Amazon SQS Consumer

Azure Data Lake Storage Gen1

Azure Data Lake Storage Gen2

Azure IoT/Event Hub Consumer

CoAP Server

Cron Scheduler // 任务调度组件,用于调度数据流

Directory // 文件目录组件,用于从文件目录下读取数据

Elasticsearch // ES源组件,用于从ES中读取数据

File Tail // 文件源插件,用于从文件尾源将读取数据行

Google BigQuery

Google Cloud Storage

Google Pub/Sub Subscriber

Groovy Scripting // Groovy脚本组件,自定义groovy脚本,功能强大

gRPC Client // Google RPC客户端组件,用于从gRPC服务器获取数据

Hadoop FS // hadoop 文件系统组件,用于从HDFS中读取数据,可用集群模式下读取数据

Hadoop FS Standalone // hadoop 文件系统组件,用于从HDFS中读取数据

HTTP Client // Http客户端组件,用于从Http服务器获取数据

HTTP Server // Http服务器组件,用于接收HTTP客户端的数据

JavaScript Scripting  // JavaScript脚本组件,自定义JavaScript脚本,功能强大

JDBC Multitable Consumer // JDBC多线程数据源组件,用于以JDBC方式读取数据,适用于可通过JDBC方式连接的数据库(例如:mysql、oracle等),该组件可用于多线程模式

JDBC Query Consumer  // JDBC数据源组件,用于以JDBC方式读取数据,适用于可通过JDBC方式连接的数据库(例如:mysql、oracle等)

JMS Consumer // JMS数据源组件,用于从JMS服务中消费数据

Jython Scripting // Jython脚本组件,自定义Jython脚本,功能强大

Kafka Consumer // Kafka数据源组件,用于从Kafka中消费数据

Kafka Multitopic Consumer // // Kafka多Topic数据源组件,用于从Kafka中消费数据,可用于指定多个topic进行消费,多线程消费

Kinesis Consumer // Kinesis数据源组件,用于从Kinesis中消费数据

MapR DB CDC

MapR DB JSON

MapR FS

MapR FS Standalone

MapR Multitopic Streams Consumer

MapR Streams Consumer

MongoDB // MongoDB数据源组件,用于从MongoDB中读取数据

MongoDB Oplog // MongoDB Oplog数据源组件,用于从MongoDB Oplog中读取数据

MQTT Subscriber // MQTT数据源组件,用于从MQTT中消费数据

MySQL Binary Log // MySQL Binary Log数据源组件,用于从MySQL Binary Log中读取数据

NiFi HTTP Server // NiFi HTTP 服务数据源组件,用于接收NiFi HTTP Client 发送的数据

Omniture

OPC UA Client

Oracle Bulkload // Oracle 批量加载插件,用于从多个Oracle表读取所有可用数据,可用于多线程

Oracle CDC Client

PostgreSQL CDC Client

Pulsar Consumer // Pulsar数据源组件,用于从Pulsar中消费数据

RabbitMQ Consumer //RabbitMQ数据源组件,用于从RabbitMQ中消费数据

Redis Consumer // Redis数据源组件,用于从Redis中读取数据

REST Service // REST 服务组件,用于微服务工作流设置,接收HTTP 请求

Salesforce

SDC RPC

SFTP/FTP/FTPS Client // FTP 客户端组件,用于从FTP服务中获取数据

SQL Server 2019 BDC Multitable Consumer

SQL Server CDC Client

SQL Server Change Tracking

Start Pipeline // 数据流启动组件,用于启动数据流

System Metrics // 系统指标源组件,用于从linux系统上获取CPU、内存等指标信息

TCP Server // TCP 服务组件,用于接收TCP Client发送的数据

Teradata Consumer

UDP Multithreaded Source //UDP多线程服务组件,用于接收UDP Client发送的数据

UDP Source // UDP 服务组件,用于接收UDP Client发送的数据

WebSocket Client // WebSocket客户端组件,用于从WebSocket服务获取数据

WebSocket Server // WebSocket服务组件,用于接收WebSocket Client发送的数据

Windows Event Log // Windows 事件日志组件,用于从Windows系统中获取事件日志,该组件尽可用于Edge数据流

  

使用方法:

StreamSets实战之路(六)-基础篇- StreamSets-origin类组件使用_第1张图片

 

注意:origin组件一个工作流只能存在一个origin组件。

 

Streamsets实战之路正在更新中,尽情期待!!!

此文章为博主原创,转载请标明出处和原始链接,谢谢。

你可能感兴趣的:(StreamSets实战之路,大数据,大数据)