【第十期】Apache DolphinScheduler 每周 FAQ 集锦
点击蓝字 关注我们
摘要
为了让 Apache DolphinScheduler 的广大用户和爱好者对于此项目的疑问得到及时快速的解答，社区特发起此次【每周 FAQ】栏目，希望可以解决大家的实际问题。
关于本栏目的要点：
本栏目每周将通过腾讯文档（每周更新）从社区微信群收集 10-30 个问答，并在每周五整理具有典型代表意义的问答后发布，供大家参考。
所有人均可登录文档并提出问题，每人限 2 个提问，提问范围包括：
关于 Apache DolphinScheduler 的使用问题和技术性问题；
在实际应用中遇到的瓶颈问题；
参与社区贡献遇到的困难；
关于社区发展的疑问。
资源有限，请勿提问项目无关问题。
【每周FAQ】是一个社区互助的项目，发起宗旨是鼓励社区成员相互帮助，因此，欢迎大家积极踊跃志愿回答提出的疑问，在腾讯文档中写下答案即可。（高手们都别“潜水”了，出来露一手）
在社群里已经提问的问题，请勿在文档中重复提问，节约资源。
本栏目招募志愿者，有兴趣参与的小伙伴请加微信小助手 Leonard ds 报名。
6月3日-6月9日
问
我们公司用的bigtop 集成的zk版本低于DolphinScheduler 3.1.0要求的zk版本3.8.0，DolphinScheduler可以依赖更换低版本zk吗？
答
需要自己拉GitHub对应的tag，
然后自行编译，相关可见 https://github.
com/apache/dolphinscheduler
/blob/dev/CONTRIBUTING.
md#build-with-different-z
ookeeper-versions
问
DolphinScheduler是通过Yarn的接口读到Spark的日志的，Yarn日志被聚合了能查到么？
答
和你用 cli 调用是一样的，如果你 cli 没有的话这个也是没有的。
问
3.1.1版本Spark3.3.0,测试数据质量，开始报错"Exception in thread "main" org.apache.spark.SparkException: No main class set in JAR; please specify one with --class. "
答
请确保你的libs 中已经有我们数据质量的包，否则会报错 https://github.com/apache/dolphin
scheduler/blob/7ee66f2d029b8d
0d860b59d5dfe1e8224ccf6b44/
dolphinscheduler-common/src/
main/resources/common.proper
ties#L106
问
DolphinScheduler 3.1.2版本里面我们该如何对任务做备份工作？或者说如何保障我们的结点故障的同时，任务不会找不回来呢？
答
可以找回，都会持久化到db，只要任务是幂等可以被重复运行即可。
问
DolphinScheduler 3.1.7 集成SeaTunnel，配置MySQL CDC 实时同步，任务开启后，怎么停止这个任务？目前点击工作流实例中的停止按钮后，SeaTunnel中的实时同步任务仍然在执行中。
答
目前SeaTunnel的kill 是 soft kill，可能需要定制一个force kill 方式。
问
3.1.3 版本任务执行成功后查看任务实例日志时，日志一直在加载 ，并Roll view log error：connection to :Host{address=''，ip='',port=} fail一直加载中，这是什么原因，如何解决？
答
这个时候是任务没有被运行，可以查看 master 日志应该报错了。
问
${setValue(output=${datetime)} ，${datetime)为自定义参数，类型为in，${output)为自定义参数，类型为out，向后传递，为什么output打印为空？这种参数之间相互赋值支持吗？还是参数赋值只能赋值常量？
答
请确保你的 datetime 变量是有值的。
问
PyDolphinScheduler 使用资源插件时resource_plugin=GitLab(prefix=”xxx”, username=”username”, password=”pwd”)；一直提示PyResPluginException: Incomplete path.；有没有使用gitlab插件的样例文件？使用github也是一样，只有local才正常。
答
请确保你的 prefix 开头是 http url 形式的，
另外可以参考
https://github.com/apache/dolphins
cheduler-sdk-python/blob/05f87a9
9b1e007733ee83cf71d8768e404cf
ee9e/tests/resources_plugin/test_
gitlab.py#L63
参与贡献
随着国内开源的迅猛崛起，Apache DolphinScheduler 社区迎来蓬勃发展，为了做更好用、易用的调度，真诚欢迎热爱开源的伙伴加入到开源社区中来，为中国开源崛起献上一份自己的力量，让本土开源走向全球。
参与 DolphinScheduler 社区有非常多的参与贡献的方式，包括：
贡献第一个PR(文档、代码) 我们也希望是简单的，第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。
社区汇总了以下适合新手的问题列表：https://github.com/apache/dolphinscheduler/issues/5689
非新手问题列表：https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22
如何参与贡献链接：https://dolphinscheduler.apache.org/zh-cn/community/development/contribute.html
来吧，DolphinScheduler开源社区需要您的参与，为中国开源崛起添砖加瓦吧，哪怕只是小小的一块瓦，汇聚起来的力量也是巨大的。
参与开源可以近距离与各路高手切磋，迅速提升自己的技能，如果您想参与贡献，我们有个贡献者种子孵化群，可以添加社区小助手微信(Leonard-ds) ，手把手教会您( 贡献者不分水平高低，有问必答，关键是有一颗愿意贡献的心 )。
添加社区小助手微信(Leonard-ds)
添加小助手微信时请说明想参与贡献。
来吧，开源社区非常期待您的参与。
< >
更多精彩推荐
☞终于定了，小海豚再度牵手数据湖三剑客之一 Apache Hudi社区！
☞优秀用户案例有奖征集 | 活动火热开启，快来投稿！
☞用一杯星巴克的钱，训练自己私有化的ChatGPT
☞运维实战：Apache DolphinScheduler 生产环境升级
☞去年办了这么多场Meetup都没有你，2023年赶紧安排起来！
☞企业级应用如何用 Apache DolphinScheduler 有针对性地进行告警插件开发？
☞Apache DolphinScheduler 2.0.9 发布，或将是最后一个 2.0.X 版本
我知道你在看哟