streamsets2.6.0.1执行监控接口
- 一、获取采集任务列表接口
- url路径和请求方式
- 请求参数
- 请求头
- 返回结果
- 二、采集任务执行监控接口
- /rest/v1/acl/ 接口路径和请求方式
- 请求参数
- 请求头
- 返回结果
- /rest/v1/acl/{pipelineId}/permissions接口路径和请求方式
- 请求参数
- 请求头
- 返回结果
- /v1/pipeline/{pipelineId}/committedOffsets接口路径和请求方式
- 请求参数
- 请求头
- 返回结果
- /v1/pipeline/{pipelineId}/errorMessages接口路径和请求方式
- 请求参数
- 请求头
- 返回结果
- /v1/pipeline/{pipelineId}/errorRecords接口路径和请求方式
- 请求参数
- 请求头
- 返回结果
- /v1/pipeline/{pipelineId}/history接口路径和请求方式
- 请求参数
- 请求头
- 返回结果
- /v1/pipeline/{pipelineId}/metrics接口路径和请求方式
- 请求参数
- 请求头
- 返回结果
- /v1/pipeline/{pipelineId}/sampledRecords接口路径和请求方式
- 请求参数
- 请求头
- 返回结果
- /v1/pipeline/{pipelineId}/snapshots接口路径和请求方式
- 请求参数
- 请求头
- 返回结果
- /v1/pipeline/{pipelineId}/status接口路径和请求方式
- 请求参数
- 请求头
- 返回结果
- /rest/v1/pipelines/status/接口路径和请求方式
- 请求参数
- 请求头
- 返回结果
- /v1/pipelines/alerts接口路径和请求方式
- 请求参数
- 请求头
- 返回结果
- /v1/pipelines/snapshots接口路径和请求方式
- 请求参数
- 请求头
- 返回结果
- /v1/pipeline/{pipelineId}/validate接口路径和请求方式
- 请求参数
- 请求头
- 返回结果
- /v1/pipeline/{pipelineId}接口路径和请求方式
- 请求参数
- 请求头
- 返回结果
- /v1/pipeline/{pipelineId}/export接口路径和请求方式
- 请求参数
- 请求头
- 返回结果
- /v1/pipeline/{pipelineId}/rules接口路径和请求方式
- 请求参数
- 请求头
- 返回结果
- /v1/pipelines接口路径和请求方式
- 请求参数
- 请求头
- 返回结果
- /v1/pipelines/count接口路径和请求方式
- 请求参数
- 请求头
- 返回结果
- /v1/pipelines/labels接口路径和请求方式
- 请求参数
- 请求头
- 返回结果
- /v1/pipelines/systemLabels接口路径和请求方式
- 请求参数
- 请求头
- 返回结果
- /rest/v1/system/bundle/list接口路径和请求方式
- 请求参数
- 请求头
- 返回结果
- /v1/system/configuration接口路径和请求方式
- 请求参数
- 请求头
- 返回结果
- /v1/system/configuration/ui接口路径和请求方式
- 请求参数
- 请求头
- 返回结果
- /v1/system/directories接口路径和请求方式
- 请求参数
- 请求头
- 返回结果
- /v1/system/groups接口路径和请求方式
- 请求参数
- 请求头
- 返回结果
- /v1/system/info接口路径和请求方式
- 请求参数
- 请求头
- 返回结果
- /v1/system/info/currentUser接口路径和请求方式
- 请求参数
- 请求头
- 返回结果
- /v1/system/info/serverTime接口路径和请求方式
- 请求参数
- 请求头
- 返回结果
- /v1/system/log/config接口路径和请求方式
- 请求参数
- 请求头
- 返回结果
- /v1/system/logs接口路径和请求方式
- 请求参数
- 请求头
- 返回结果
- /v1/system/logs/files接口路径和请求方式
- 请求参数
- 请求头
- 返回结果
- /v1/system/threads接口路径和请求方式
- 请求参数
- 请求头
- 返回结果
- /v1/system/users接口路径和请求方式
- 请求参数
- 请求头
- 返回结果
- /rest/v1/acl/ 接口路径和请求方式
一、获取采集任务列表接口
url路径和请求方式
url：http:ip:port/collector/restapi
method：Get
请求参数
无
请求头
Authorization: Basic YWRtaW46YWRtaW4=
|
用户名和密码通过Basic方式传递。
返回结果
- acl 下的接口
/v1/acl/pipelines/subjects
/v1/acl/{pipelineId}
/v1/acl/{pipelineId}/permissions
- definitions 下的接口
/v1/definitions
/v1/definitions/stages/{library}/{stageName}/icon
/v1/stageLibraries/extras/delete
/v1/stageLibraries/extras/{library}/upload
/v1/stageLibraries/install
/v1/stageLibraries/uninstall
- manager
/v1/pipeline/{pipelineId}/alerts
/v1/pipeline/{pipelineId}/committedOffsets
/v1/pipeline/{pipelineId}/errorMessages
/v1/pipeline/{pipelineId}/forceStop
*****************
二、采集任务执行监控接口
/rest/v1/acl/ 接口路径和请求方式
url：/rest/v1/acl/{pipelineId}
method：Get
请求参数
parameter value
pipelineId localhostxiaoxu8e2da4f3-fb85-4310-9803-b58f3c4c307a
请求头
Authorization: Basic YWRtaW46YWRtaW4=
|
用户名和密码通过Basic方式传递。
返回结果
{
"resourceId"
:
"localhostxiaoxu8e2da4f3-fb85-4310-9803-b58f3c4c307a"
,
"resourceOwner"
:
"admin"
,
"resourceCreatedTime"
:
1504161418790
,
"resourceType"
:
"PIPELINE"
,
"lastModifiedBy"
:
"admin"
,
"lastModifiedOn"
:
1504234000046
,
"permissions"
: [
{
"subjectId"
:
"admin"
,
"subjectType"
:
"USER"
,
"lastModifiedBy"
:
"admin"
,
"lastModifiedOn"
:
1504161418790
,
"actions"
: [
"READ"
,
"WRITE"
,
"EXECUTE"
]
}
]
}
|
需要关注的字段为：
resourceId : 当前管道的id
lastModifiedBy:是谁创建的
resourceCreatedTime : 当前任务的创建时间
/rest/v1/acl/{pipelineId}/permissions接口路径和请求方式
url：/rest/v1/acl/{pipelineId}/permissions
method：Get
请求参数
parameter value
pipelineId localhostxiaoxu8e2da4f3-fb85-4310-9803-b58f3c4c307a
请求头
Authorization: Basic YWRtaW46YWRtaW4=
|
用户名和密码通过Basic方式传递。
返回结果
[
{
"subjectId"
:
"admin"
,
"subjectType"
:
"USER"
,
"lastModifiedBy"
:
null
,
"lastModifiedOn"
:
0
,
"actions"
: [
"READ"
,
"WRITE"
,
"EXECUTE"
]
}
]
|
需要关注的字段为：
subjectId ：当前用户的id
actions : 当前的用户具备的操作权限
/v1/pipeline/{pipelineId}/committedOffsets接口路径和请求方式
url：/v1/pipeline/{pipelineId}/committedOffsets
method：Get
请求参数
parameter value
pipelineId localhostxiaoxu8e2da4f3-fb85-4310-9803-b58f3c4c307a
rev 0
请求头
Authorization: Basic YWRtaW46YWRtaW4=
|
用户名和密码通过Basic方式传递。
返回结果
{
"offsets"
: {
"$com.streamsets.datacollector.pollsource.offset$"
:
"/home/ftp/12345.log::1504234800000::-1"
},
"version"
:
2
}
|
1504234800000 ： offset的偏移量
-1 ： 表示当前的偏移量已经停止
/v1/pipeline/{pipelineId}/errorMessages接口路径和请求方式
url：/v1/pipeline/{pipelineId}/errorMessages
method：Get
请求参数
parameter value
pipelineId localhostxiaoxu8e2da4f3-fb85-4310-9803-b58f3c4c307a
rev 0
stageInstanceNamesize 10
请求头
Authorization: Basic YWRtaW46YWRtaW4=
|
用户名和密码通过Basic方式传递。
返回结果
[]
|
如果是空代表没有错误
/v1/pipeline/{pipelineId}/errorRecords接口路径和请求方式
url：/v1/pipeline/{pipelineId}/errorRecords
method：Get
请求参数
parameter value
pipelineId localhostxiaoxu8e2da4f3-fb85-4310-9803-b58f3c4c307a
rev 0
stageInstanceNamesize 10
请求头
Authorization: Basic YWRtaW46YWRtaW4=
|
用户名和密码通过Basic方式传递。
返回结果
[]
|
是空表示为没有错误的记录
/v1/pipeline/{pipelineId}/history接口路径和请求方式
url：/v1/pipeline/{pipelineId}/history
method：Get
请求参数
parameter value
pipelineId localhostxiaoxu8e2da4f3-fb85-4310-9803-b58f3c4c307a
rev 0
fromBeginning false
请求头
Authorization: Basic YWRtaW46YWRtaW4=
|
用户名和密码通过Basic方式传递。
返回结果
[
{
"pipelineId"
:
"localhostxiaoxu8e2da4f3-fb85-4310-9803-b58f3c4c307a"
,
"rev"
:
"0"
,
"user"
:
"admin"
,
"status"
:
"RUNNING"
,
"message"
:
null
,
"timeStamp"
:
1504234822742
,
"attributes"
: {
"IS_REMOTE_PIPELINE"
:
false
,
"RUNTIME_PARAMETERS"
:
null
},
"executionMode"
:
"STANDALONE"
,
"metrics"
:
null
,
"retryAttempt"
:
0
,
"nextRetryTimeStamp"
:
0
,
"name"
:
"localhostxiaoxu8e2da4f3-fb85-4310-9803-b58f3c4c307a"
},
****************************
|
需要关注的字段为：
user ：当前的用户
status : 运行的状态
timeStamp :时间戳
name：当前任务的名字
/v1/pipeline/{pipelineId}/metrics接口路径和请求方式
url：/v1/pipeline/{pipelineId}/metrics
method：Get
请求参数
parameter value
pipelineId localhostxiaoxu8e2da4f3-fb85-4310-9803-b58f3c4c307a
rev 0
请求头
Authorization: Basic YWRtaW46YWRtaW4=
|
用户名和密码通过Basic方式传递。
返回结果
"gauges"
: {
"RuntimeStatsGauge.gauge"
: {
"value"
: {
"batchCount"
:
2709386
,
"currentSourceOffset"
:
"/home/ftp/12345.log::1504234800000::-1"
,
"currentBatchAge"
:
0
,
"currentStage"
:
"SFTPFTP客户端_01"
,
"timeInCurrentStage"
:
0
,
"timeOfLastReceivedRecord"
:
1504234822784
,
"batchStartTime"
:
1504237396930
,
"lastBatchInputRecordsCount"
:
0
,
"lastBatchOutputRecordsCount"
:
0
,
"lastBatchErrorRecordsCount"
:
0
,
"lastBatchErrorMessagesCount"
:
0
,
"totalRunners"
:
1
,
"availableRunners"
:
1
}
},
***************************
"counters"
: {
"custom.本地文件系统_01.最新的记录.counter"
: {
"count"
:
4
},
"custom.本地文件系统_01.输入到Hdfs记录.counter"
: {
"count"
:
0
},
"pipeline.batchCount.counter"
: {
"count"
:
2709390
},
"pipeline.batchErrorMessages.counter"
: {
"count"
:
0
},
"pipeline.batchErrorRecords.counter"
: {
"count"
:
0
},
"pipeline.batchInputRecords.counter"
: {
"count"
:
4
},
"pipeline.batchOutputRecords.counter"
: {
"count"
:
4
},
"pipeline.memoryConsumed.counter"
: {
"count"
:
0
},
"stage.SFTPFTP客户端_01.errorRecords.counter"
: {
"count"
:
0
},
"stage.SFTPFTP客户端_01.inputRecords.counter"
: {
"count"
:
0
},
"stage.SFTPFTP客户端_01.memoryConsumed.counter"
: {
"count"
:
0
},
"stage.SFTPFTP客户端_01.outputRecords.counter"
: {
"count"
:
4
},
"stage.SFTPFTP客户端_01.stageErrors.counter"
: {
"count"
:
0
},
"stage.SFTPFTP客户端_01:SFTPFTP客户端_01OutputLane15021631934690.outputRecords.counter"
: {
"count"
:
4
},
"stage.本地文件系统_01.errorRecords.counter"
: {
"count"
:
0
},
"stage.本地文件系统_01.inputRecords.counter"
: {
"count"
:
4
},
"stage.本地文件系统_01.memoryConsumed.counter"
: {
"count"
:
0
},
"stage.本地文件系统_01.outputRecords.counter"
: {
"count"
:
4
},
"stage.本地文件系统_01.stageErrors.counter"
: {
"count"
:
0
}
},
********************************
"stage.本地文件系统_01.errorRecords.histogramM5"
: {
"count"
:
2709392
,
"max"
:
0
,
"mean"
:
0
,
"min"
:
0
,
"p50"
:
0
,
"p75"
:
0
,
"p95"
:
0
,
"p98"
:
0
,
"p99"
:
0
,
"p999"
:
0
,
"stddev"
:
0
},
"stage.本地文件系统_01.inputRecords.histogramM5"
: {
"count"
:
2709392
,
"max"
:
0
,
"mean"
:
0
,
"min"
:
0
,
"p50"
:
0
,
"p75"
:
0
,
"p95"
:
0
,
"p98"
:
0
,
"p99"
:
0
,
"p999"
:
0
,
"stddev"
:
0
},
"stage.本地文件系统_01.outputRecords.histogramM5"
: {
"count"
:
2709392
,
"max"
:
0
,
"mean"
:
0
,
"min"
:
0
,
"p50"
:
0
,
"p75"
:
0
,
"p95"
:
0
,
"p98"
:
0
,
"p99"
:
0
,
"p999"
:
0
,
"stddev"
:
0
},
"stage.本地文件系统_01.stageErrors.histogramM5"
: {
"count"
:
2709392
,
"max"
:
0
,
"mean"
:
0
,
"min"
:
0
,
"p50"
:
0
,
"p75"
:
0
,
"p95"
:
0
,
"p98"
:
0
,
"p99"
:
0
,
"p999"
:
0
,
"stddev"
:
0
}
********************************
"custom.本地文件系统_01.最新的记录.meter"
: {
"count"
:
4
,
"m1_rate"
:
2
.172705609513704e-
19
,
"m5_rate"
:
0.00015483607964647525
,
"m15_rate"
:
0.04627545669987025
,
"m30_rate"
:
0.1924067705666693
,
"h1_rate"
:
0.3923332976607276
,
"h6_rate"
:
0.710423824366763
,
"h12_rate"
:
0.7538826563155406
,
"h24_rate"
:
0.7765990761341924
,
"mean_rate"
:
0.0015538788695424967
,
"units"
:
"events/second"
},
"custom.本地文件系统_01.输入到Hdfs记录.meter"
: {
"count"
:
0
,
"m1_rate"
:
0
,
"m5_rate"
:
0
,
"m15_rate"
:
0
,
"m30_rate"
:
0
,
"h1_rate"
:
0
,
"h6_rate"
:
0
,
"h12_rate"
:
0
,
"h24_rate"
:
0
,
"mean_rate"
:
0
,
"units"
:
"events/second"
},
**************************
|
需要关注的字段为：
batchCount : 批量的个数
batchStartTime: 批量开始的时间
currentStage：当前的阶段的名字
totalRunners：总共运行的个数
pipeline.batchInputRecords.counter：表示当前的监控的input的个数，
pipeline.batchOutputRecords.counter：表示当前的监控ouput的个数，
stage.本地文件系统_01.errorRecords.counter：表示当前的监控error的个数，
如下所示
custom.本地文件系统_01.最新的记录.meter ： 表示当前正在运行记录吞吐量的记录，如下所示：
pipeline.batchCount.meter：表示批处理的吞吐量的记录，如下所示：
*********************************
/v1/pipeline/{pipelineId}/sampledRecords接口路径和请求方式
url：/v1/pipeline/{pipelineId}/sampledRecords
method：Get
请求参数
parameter value
pipelineId localhostxiaoxu8e2da4f3-fb85-4310-9803-b58f3c4c307a
rev 0
sampleIdsampleSize 10
请求头
Authorization: Basic YWRtaW46YWRtaW4=
|
用户名和密码通过Basic方式传递。
返回结果
[]
|
[] :表示没有采样的信息
/v1/pipeline/{pipelineId}/snapshots接口路径和请求方式
url：/v1/pipeline/{pipelineId}/snapshots
method：Get
请求参数
parameter value
pipelineId localhostxiaoxu8e2da4f3-fb85-4310-9803-b58f3c4c307a
rev 0
请求头
Authorization: Basic YWRtaW46YWRtaW4=
|
用户名和密码通过Basic方式传递。
返回结果
[]
|
[] :表示没有快照的信息
/v1/pipeline/{pipelineId}/status接口路径和请求方式
url：/v1/pipeline/{pipelineId}/status
method：Get
请求参数
parameter value
pipelineId localhostxiaoxu8e2da4f3-fb85-4310-9803-b58f3c4c307a
rev 0
请求头
Authorization: Basic YWRtaW46YWRtaW4=
|
用户名和密码通过Basic方式传递。
返回结果
{
"pipelineId"
:
"localhostxiaoxu8e2da4f3-fb85-4310-9803-b58f3c4c307a"
,
"rev"
:
"0"
,
"user"
:
"admin"
,
"status"
:
"RUNNING"
,
"message"
:
null
,
"timeStamp"
:
1504234822742
,
"attributes"
: {
"IS_REMOTE_PIPELINE"
:
false
,
"RUNTIME_PARAMETERS"
:
null
},
"executionMode"
:
"STANDALONE"
,
"metrics"
:
null
,
"retryAttempt"
:
0
,
"nextRetryTimeStamp"
:
0
,
"name"
:
"localhostxiaoxu8e2da4f3-fb85-4310-9803-b58f3c4c307a"
}
|
需要关注的字段为：
pipelineId：任务的ＩＤ
user : 当前的用户名称
status:当前任务的名称
timeStamp：当前的时间戳
name：当前任务的名称
/rest/v1/pipelines/status/接口路径和请求方式
url：/rest/v1/pipelines/status/
method：Get
请求参数
无
请求头
Authorization: Basic YWRtaW46YWRtaW4=
|
用户名和密码通过Basic方式传递。
返回结果
{
"yt50resignrecordc87c8f9a-ca5d-48f8-bf31-d39fd37353c7"
:{
"pipelineId"
:
"yt50resignrecordc87c8f9a-ca5d-48f8-bf31-d39fd37353c7"
,
"rev"
:
"0"
,
"user"
:
"mawei"
,
"status"
:
"EDITED"
,
"message"
:
"Pipeline edited"
,
"timeStamp"
:
1503281192186
,
"attributes"
:{
"IS_REMOTE_PIPELINE"
:
false
},
"executionMode"
:
"STANDALONE"
,
"metrics"
:
null
,
"retryAttempt"
:
0
,
"nextRetryTimeStamp"
:
0
,
"name"
:
"yt50resignrecordc87c8f9a-ca5d-48f8-bf31-d39fd37353c7"
}
******************
}
|
需要关注的字段为：
pipelineId:当前任务的ＩＤ
user:该任务属于哪一个用户下的
status：当前任务的状态
timeStamp：当前任务创建的时间
attributes：当前任务的信息
executionMode：当前任务的执行模型
nextRetryTimeStamp：最后执行的时间戳
yt50resignrecordc87c8f9a-ca5d-48f8-bf31-d39fd37353c7 : 当前任务的名称
/v1/pipelines/alerts接口路径和请求方式
url：/v1/pipelines/alerts
method：Get
请求参数
无
请求头
Authorization: Basic YWRtaW46YWRtaW4=
|
用户名和密码通过Basic方式传递。
返回结果
[]
|
[] ：表示没有警告的任务
/v1/pipelines/snapshots接口路径和请求方式
url：/v1/pipelines/snapshots
method：Get
请求参数
无
请求头
Authorization: Basic YWRtaW46YWRtaW4=
|
用户名和密码通过Basic方式传递。
返回结果
[]
|
[]: 表示当前没有任务的简介
/v1/pipeline/{pipelineId}/validate接口路径和请求方式
url：/v1/pipeline/{pipelineId}/validate
method：Get
请求参数
parameter value
pipelineId localhostxiaoxu8e2da4f3-fb85-4310-9803-b58f3c4c307a
rev 0
timeout 2000
请求头
Authorization: Basic YWRtaW46YWRtaW4=
|
用户名和密码通过Basic方式传递。
返回结果
{
"previewerId"
:
"06cb160b-a2b1-4183-9772-d8be91049c70"
,
"status"
:
"CREATED"
}
|
previewerId ：预览的id
status ：当前预览的状态
/v1/pipeline/{pipelineId}接口路径和请求方式
url：/v1/pipeline/{pipelineId}
method：Get
请求参数
parameter value
pipelineId localhostxiaoxu8e2da4f3-fb85-4310-9803-b58f3c4c307a
rev 0
get pipelineattachment false
请求头
Authorization: Basic YWRtaW46YWRtaW4=
|
用户名和密码通过Basic方式传递。
返回结果
{
"schemaVersion"
:
3
,
"version"
:
6
,
"pipelineId"
:
"localhostxiaoxu8e2da4f3-fb85-4310-9803-b58f3c4c307a"
,
"title"
:
"localhost--xiaoxu"
,
"description"
:
""
,
"uuid"
:
"9b4c3af5-660c-4553-90d7-16c85429ecc8"
,
"configuration"
: [
{
"name"
:
"executionMode"
,
"value"
:
"STANDALONE"
},
{
"name"
:
"deliveryGuarantee"
,
"value"
:
"AT_LEAST_ONCE"
},
{
"name"
:
"shouldRetry"
,
"value"
:
true
},
********************************
|
schemaVersion :当前图示的版本
version:当前的版本
pipelineId:当前任务的id
title:当前标题的名字
description:当前任务的描述
uuid:当前任务的UUID
configuration:当前任务的配置
****************************
/v1/pipeline/{pipelineId}/export接口路径和请求方式
url：/v1/pipeline/{pipelineId}/export
method：Get
请求参数
parameter value
pipelineId localhostxiaoxu8e2da4f3-fb85-4310-9803-b58f3c4c307a
rev 0
attachment falseincludeLibraryDefinitions false
请求头
Authorization: Basic YWRtaW46YWRtaW4=
|
用户名和密码通过Basic方式传递。
返回结果
{
"pipelineConfig"
: {
"schemaVersion"
:
3
,
"version"
:
6
,
"pipelineId"
:
"localhostxiaoxu8e2da4f3-fb85-4310-9803-b58f3c4c307a"
,
"title"
:
"localhost--xiaoxu"
,
"description"
:
""
,
"uuid"
:
"9b4c3af5-660c-4553-90d7-16c85429ecc8"
,
"configuration"
: [
{
"name"
:
"executionMode"
,
"value"
:
"STANDALONE"
},
{
"name"
:
"deliveryGuarantee"
,
"value"
:
"AT_LEAST_ONCE"
},
***********************************
|
schemaVersion :当前图示的版本
version:当前的版本
pipelineId:当前任务的id
title:当前标题的名字
description:当前任务的描述
uuid:当前任务的UUID
configuration:当前任务的配置
****************************
/v1/pipeline/{pipelineId}/rules接口路径和请求方式
url：/v1/pipeline/{pipelineId}/rules
method：Get
请求参数
parameter value
pipelineId localhostxiaoxu8e2da4f3-fb85-4310-9803-b58f3c4c307a
rev 0
请求头
Authorization: Basic YWRtaW46YWRtaW4=
|
用户名和密码通过Basic方式传递。
返回结果
{
"schemaVersion"
:
2
,
"version"
:
1
,
"metricsRuleDefinitions"
: [
{
"id"
:
"badRecordsAlertID"
,
"alertText"
:
"High incidence of Error Records"
,
"metricId"
:
"pipeline.batchErrorRecords.counter"
,
"metricType"
:
"COUNTER"
,
"metricElement"
:
"COUNTER_COUNT"
,
"condition"
:
"${value() > 100}"
,
"sendEmail"
:
false
,
"enabled"
:
false
,
"timestamp"
:
1497507819196
,
"valid"
:
true
},
**********************************
],
"dataRuleDefinitions"
: [
{
"id"
:
"dataRule1499407528619"
,
"label"
:
"DFDF"
,
"lane"
:
"HadoopFS_01_EventLane"
,
"samplingPercentage"
:
5
,
"samplingRecordsToRetain"
:
10
,
"condition"
:
""
,
"alertEnabled"
:
true
,
"alertText"
:
""
,
"thresholdType"
:
"PERCENTAGE"
,
"thresholdValue"
:
"100"
,
"minVolume"
:
1000
,
"meterEnabled"
:
true
,
"sendEmail"
:
false
,
"enabled"
:
false
,
"timestamp"
:
0
,
"valid"
:
false
}
],
"driftRuleDefinitions"
: [],
"emailIds"
: [
""
],
"uuid"
:
"f18c5d10-50d8-41aa-96c0-b38904be7482"
,
"configuration"
: [
{
"name"
:
"webhookConfigs"
,
"value"
: []
}
],
"ruleIssues"
: [
{
"additionalInfo"
: {
"property"
:
"condition"
},
"ruleId"
:
"dataRule1499407528619"
,
"message"
:
"VALIDATION_0040 - 数据规则属性 'condition' 必须定义"
}
]
}
|
schemaVersion:图标的版本
version：当前的任务的版本
metricsRuleDefinitions：当前角色的定义
alertText：警告的内容
condition：条件的表达式
sendEmail:发送邮箱
timestamp:时间戳
/v1/pipelines接口路径和请求方式
url：/v1/pipelines
method：Get
请求参数
parameter value
pipelineId localhostxiaoxu8e2da4f3-fb85-4310-9803-b58f3c4c307a
rev 0
filterTextlabel
offset ０
len -1
orderBy （ NAME / TITLE / LAST_MODIFIED / CREATED / CREATOR / STATUS ） 任选一个，默认的是NAME
order （ ASC / DESC ）
请求头
Authorization: Basic YWRtaW46YWRtaW4=
|
用户名和密码通过Basic方式传递。
返回结果
[
{
"pipelineId"
:
"11b189e47c-eae6-4b91-aac4-c1e9a938e9bf"
,
"title"
:
"目标源"
,
"description"
:
""
,
"created"
:
1503017525260
,
"lastModified"
:
1503298982851
,
"creator"
:
"admin"
,
"lastModifier"
:
"admin"
,
"lastRev"
:
"0"
,
"uuid"
:
"a56a59eb-c598-4634-b7d0-402c19faff0e"
,
"valid"
:
false
,
"metadata"
: {
"labels"
: []
},
"name"
:
"11b189e47c-eae6-4b91-aac4-c1e9a938e9bf"
**************************
|
pipelineId : 管道的名称
title ：当前的标题的名称
description ：当前的描述
created ：创建的时间
lastModified ：最后更新的时间
creator ：谁创建的
lastModifier ：最后的修改者
lastRev ：最后的描述着
uuid ：当前的uuid
valid :是否有效
metadata ：当前的元数据
name : 当前的名字
/v1/pipelines/count接口路径和请求方式
url：/v1/pipelines/count
method：Get
请求参数
无
请求头
Authorization: Basic YWRtaW46YWRtaW4=
|
用户名和密码通过Basic方式传递。
返回结果
{
"count"
:
46
}
|
count ：当前任务的总个数
/v1/pipelines/labels接口路径和请求方式
url：/v1/pipelines/labels
method：Get
请求参数
无
请求头
Authorization: Basic YWRtaW46YWRtaW4=
|
用户名和密码通过Basic方式传递。
返回结果
[]
|
[] ：代表没有标签
/v1/pipelines/systemLabels接口路径和请求方式
url：/v1/pipelines/systemLabels
method：Get
请求参数
无
请求头
Authorization: Basic YWRtaW46YWRtaW4=
|
用户名和密码通过Basic方式传递。
返回结果
[
"system:allPipelines"
,
"system:runningPipelines"
,
"system:nonRunningPipelines"
,
"system:invalidPipelines"
,
"system:errorPipelines"
,
"system:sharedWithMePipelines"
]
|
此表示系统的标签
/rest/v1/system/bundle/list接口路径和请求方式
url：/rest/v1/system/bundle/list
method：Get
请求参数
无
请求头
Authorization: Basic YWRtaW46YWRtaW4=
|
用户名和密码通过Basic方式传递。
返回结果
[
{
"version"
:
1
,
"description"
:
"管道的元数据 (定义, 历史的文件, ...)."
,
"klass"
:
"com.streamsets.datacollector.bundles.content.PipelineContentGenerator"
,
"enabledByDefault"
:
true
,
"name"
:
"Pipelines"
,
"id"
:
"PipelineContentGenerator"
},
{
"version"
:
1
,
"description"
:
"Most recent logs."
,
"klass"
:
"com.streamsets.datacollector.bundles.content.LogContentGenerator"
,
"enabledByDefault"
:
true
,
"name"
:
"Logs"
,
"id"
:
"LogContentGenerator"
},
{
"version"
:
1
,
"description"
:
"Pipeline snapshots."
,
"klass"
:
"com.streamsets.datacollector.bundles.content.SnapshotGenerator"
,
"enabledByDefault"
:
false
,
"name"
:
"Snapshots"
,
"id"
:
"SnapshotGenerator"
},
{
"version"
:
1
,
"description"
:
"关于数据采集器本身 (清楚的构造信息本身, 配置和线程转储, ...)."
,
"klass"
:
"com.streamsets.datacollector.bundles.content.SdcInfoContentGenerator"
,
"enabledByDefault"
:
true
,
"name"
:
"SDC 的信息"
,
"id"
:
"SdcInfoContentGenerator"
}
]
|
/v1/system/configuration接口路径和请求方式
url：/v1/system/configuration
method：Get
请求参数
无
请求头
Authorization: Basic YWRtaW46YWRtaW4=
|
用户名和密码通过Basic方式传递。
返回结果
{
"stage.alias.streamsets-datacollector-elasticsearch_2_4-lib,com_streamsets_pipeline_stage_destination_elasticsearch_ToErrorElasticSearchDTarget"
:
"streamsets-datacollector-elasticsearch_5-lib,com_streamsets_pipeline_stage_destination_elasticsearch_ToErrorElasticSearchDTarget"
,
"ui.enable.usage.data.collection"
:
"true"
,
"ui.local.help.base.url"
:
"/docs"
,
***********************
|
/v1/system/configuration/ui接口路径和请求方式
url：/v1/system/configuration/ui
method：Get
请求参数
无
请求头
Authorization: Basic YWRtaW46YWRtaW4=
|
用户名和密码通过Basic方式传递。
返回结果
{
"ui.enable.usage.data.collection"
:
"true"
,
"ui.local.help.base.url"
:
"/docs"
,
"ui.enable.webSocket"
:
"true"
,
"ui.header.title"
:
""
,
"ui.undo.limit"
:
"10"
,
"ui.refresh.interval.ms"
:
"2000"
,
"ui.hosted.help.base.url"
:
"https://www.streamsets.com/documentation/datacollector/2.6.0.1/userguide/help"
,
"ui.jvmMetrics.refresh.interval.ms"
:
"4000"
,
"ui.debug"
:
"false"
,
"ui.server.timezone"
:
"CST"
}
|
/v1/system/directories接口路径和请求方式
url：/v1/system/directories
method：Get
请求参数
无
请求头
Authorization: Basic YWRtaW46YWRtaW4=
|
用户名和密码通过Basic方式传递。
返回结果
{
"runtimeDir"
:
"/home/xiaoxu/softWare/smartgitWokspace/dist/target/streamsets-datacollector-2.6.0.1/streamsets-datacollector-2.6.0.1"
,
"configDir"
:
"/home/xiaoxu/softWare/smartgitWokspace/dist/target/streamsets-datacollector-2.6.0.1/streamsets-datacollector-2.6.0.1/etc"
,
"dataDir"
:
"/home/xiaoxu/softWare/smartgitWokspace/dist/target/streamsets-datacollector-2.6.0.1/streamsets-datacollector-2.6.0.1/data"
,
"logDir"
:
"/home/xiaoxu/softWare/smartgitWokspace/dist/target/streamsets-datacollector-2.6.0.1/streamsets-datacollector-2.6.0.1/log"
,
"resourcesDir"
:
"/home/xiaoxu/softWare/smartgitWokspace/dist/target/streamsets-datacollector-2.6.0.1/streamsets-datacollector-2.6.0.1/resources"
,
"libsExtraDir"
:
"/home/xiaoxu/softWare/smartgitWokspace/dist/target/streamsets-datacollector-2.6.0.1/streamsets-datacollector-2.6.0.1/streamsets-libs-extras/"
}
|
/v1/system/groups接口路径和请求方式
url：/v1/system/groups
method：Get
请求参数
无
请求头
Authorization: Basic YWRtaW46YWRtaW4=
|
用户名和密码通过Basic方式传递。
返回结果
[
"all"
,
"test"
,
"dev"
]
|
/v1/system/info接口路径和请求方式
url：/v1/system/info
method：Get
请求参数
无
请求头
Authorization: Basic YWRtaW46YWRtaW4=
|
用户名和密码通过Basic方式传递。
返回结果
{
"info"
: {
"built.date"
:
"2017-08-31T02:51Z"
,
"version"
:
"2.6.0.1"
,
"built.repo.sha"
:
"48f43ba1a81f9075b41dd7ef84ec8c4d1cce34f2"
,
"source.md5.checksum"
:
"7f358aad9f9a79a2fcb8bfd15f6c74"
,
"built.by"
:
"xiaoxu"
},
"version"
:
"2.6.0.1"
,
"builtDate"
:
"2017-08-31T02:51Z"
,
"builtBy"
:
"xiaoxu"
,
"builtRepoSha"
:
"48f43ba1a81f9075b41dd7ef84ec8c4d1cce34f2"
,
"sourceMd5Checksum"
:
"7f358aad9f9a79a2fcb8bfd15f6c74"
}
|
/v1/system/info/currentUser接口路径和请求方式
url：/v1/system/info/currentUser
method：Get
请求参数
无
请求头
Authorization: Basic YWRtaW46YWRtaW4=
|
用户名和密码通过Basic方式传递。
返回结果
{
"roles"
: [
"admin"
],
"groups"
: [
"all"
],
"user"
:
"admin"
}
|
/v1/system/info/serverTime接口路径和请求方式
url：/v1/system/info/serverTime
method：Get