Dinky集成Flink碰到的问题

1.yarn-application模式无法创建my_catalog(mysql catalog)

不久前,在集群上安装了dinky以解决flinkcdc同步占用大量数据库连接以及集群资源的问题,dinky安装步骤,参考dinky官网

部署 | Dinky

在部署完相关的环境以后,提交了一个简单任务用以测试yarn-application模式任务运行情况,简单案例如下:

Dinky集成Flink碰到的问题_第1张图片

 但是执行的时候,报错:

Dinky集成Flink碰到的问题_第2张图片

 提示,无法创建my_catalog,思考了一下在配置文件中配置了数据库连接相关的信息,同时我也创建了dinky用户和授予dinky用户相关权限,应该不至于出现这个问题。然后,我查看了一下mysql所有用户(因为我们用的是阿里云rds服务,所以关于在没有root权限创建mysql用户,确实可能存在一些问题),查看mysql中数据库名为mysql,user用户表情况如下:

 果然,虽然创建了dinky用户,但是dinky用户权限没有给到,所以需要用到有相关权限的超级用户,

然后进一步更改了dinky的application.yml配置表,将连接mysql的用户换成超级用户

Dinky集成Flink碰到的问题_第3张图片

 然后重启一下dinky,再测试一些,异步提交任务成功!

提示:如果还是不成功的话,原因可能是dinky的元数据保存在mysql里面,更改数据库连接配置后,但是元数据没有变,所以还是按照之前的配置信息启动的dinky,这里只需要把dinky重新初始化一下就好了,重新执行dinky.sql就可以!

2.CDCSOURCE整库同步,yarn-application模式报错

执行cdc整库同步到kafka时,使用application模式报错,如下:

Dinky集成Flink碰到的问题_第4张图片

 找不到相关的驱动,在这之前,我以及把flink相关依赖同步到dinky,MySQL、kafka连接器分别同步到flink和dinky目录下。报错显示,应该时缺少dlink.metadata相关依赖。经过咨询,原来dinky0.7.3暂时还不支持application,需要用add jar导入相关jar包

Dinky集成Flink碰到的问题_第5张图片

 再执行任务,异步执行成功!

你可能感兴趣的:(flink,大数据)