Nifi + Kafka + Flink（Scala）+ Doris Sqlserver 数据实时同步

一 Nifi 配置

2.搜索表生成器

配置信息

创建数据库连接池

连接信息jdbc:sqlserver://10.126.141.189:29528;DatabaseName=db
Database Driver Class Name：com.microsoft.sqlserver.jdbc.SQLServerDriver

打开连接池

最后配置好的processer

二 创建sql执行器

创建json解析器



配置json解析器

{
	"namespace": "zhuihu",
	"type": "record",
	"name": "dbo.UV_FreemudReport_Coupon_Redeemlog_Report",
	"fields": [
		{
			"name": "ID",
			"type": [
				"int",
				"null"
			]
		},
		{
			"name": "Store_Id",
			"type": [
				"string",
				"null"
			]
		},
		{
			"name": "Station_Id",
			"type": [
				"string",
				"null"
			]
		},
		{
			"name": "Operator_Id",
			"type": [
				"string",
				"null"
			]
		},
		{
			"name": "Coupon_Code",
			"type": [
				"string",
				"null"
			]
		},
		{
			"name": "Coupon_Product_ID",
			"type": [
				"int",
				"null"
			]
		},
		{
			"name": "Amount",
			"type": [
				"double",
				"null"
			]
		},
		{
			"name": "State",
			"type": [
				"int",
				"null"
			]
		},
		{
			"name": "ProductID",
			"type": [
				"int",
				"null"
			]
		},
		{
			"name": "RedeemDate",
			"type": [
				"string",
				"null"
			]
		},
		{
			"name": "TransId",
			"type": [
				"string",
				"null"
			]
		},
		{
			"name": "RedeemPrice",
			"type": [
				"double",
				"null"
			]
		},
		{
			"name": "RedeemChannel",
			"type": [
				"int",
				"null"
			]
		},
		{
			"name": "ActiveID",
			"type": [
				"int",
				"null"
			]
		},
		{
			"name": "Type",
			"type": [
				"int",
				"null"
			]
		},
		{
			"name": "ValidDate",
			"type": [
				"string",
				"null"
			]
		},
		{
			"name": "EBCode",
			"type": [
				"string",
				"null"
			]
		},
		{
			"name": "PartnerId",
			"type": [
				"int",
				"null"
			]
		},
		{
			"name": "Coupon_State",
			"type": [
				"int",
				"null"
			]
		},
		{
			"name": "Coupon_ID",
			"type": [
				"int",
				"null"
			]
		},
		{
			"name": "Coupon_End_Time",
			"type": [
				"string",
				"null"
			]
		},
		{
			"name": "Order_Id",
			"type": [
				"string",
				"null"
			]
		},
		{
			"name": "src_tbName",
			"type": "string",
			"default": "dbo.UV_FreemudReport_Coupon_Redeemlog_Report"
		}
	]
}

三 配置json split工具

四 设置kafka