DS调试问题总结
DS调度框架问题
1. java.nio.file.NoSuchFileException: /tmp/dolphinscheduler/exec/process/4/3912/2533/6642/3912_2533_6642_node.sh
权限问题，租户对应的操作/tmp/dolphinscheduler/exec/process/4/3912/2533/6642目录的用户不一致
2. 任务一直在运行
Ambari默认内存是8G，导致少量任务使用完了所有的yarn内存，其他任务一直在等待，修改MapReduce AppMaster为2G
3. 任务会出现随机失败的情况，并且没有日志
当服务器的可使用内存<服务器的总内存*worker.reserved.memory，DS不会启动该任务，需要调小worker.reserved.memory
调试问题
4. 没有GETDATE()函数,可以改成current_timestamp()或者from_unixtime(unix_timestamp(),'yyyy-MM-dd HH:dd:ss')
5. 空指针NullPointerException: null
流程的参数漏了，或者没写对
6. 依赖一直在等待
依赖配置有问题，或者上游还没跑完，或者有依赖自身节点、或者依赖报错
7. 正则表达式`(id)?+.+`和${system.biz.date}同时存在可能会报错
DS对正则表达式不够兼容，需要改成查询列名
8. to_char改成date_format
9. Hive没有GETDATE()函数,可以改成current_timestamp()或者from_unixtime(unix_timestamp(),'yyyy-MM-dd HH:dd:ss')
10. datetime类型报错，改为timestamp
多条sql不能用;分开，否则会报错，可以使用前置sql或者后置sql
11. mportTool: Import failed: java.io.IOException: Caught Exception checking database column scheme_explain_time in hcatalog table
hive中可能不存在scheme_explain_time这个字段，需加上
12. GROUPPING_ID和dataworks不一致
加参数hive.strict.checks.type.safety=false、去掉GROUPPING_ID后面的括号、将GROUPING_ID修改为GROUPING__ID、然后把0改1、1改0
13. 日期 0000-00-00 00:00:00 导入错误添加 注意一定要加反斜杠
14. sqoop导入的时候，报ERROR tool.ImportTool: Import failed: Import job failed!
INFO metastore.HiveMetaStoreClient: Closed a connection to metastore, current connections:解决: mysql列的类型和hive列的类型对应有问题，可以检查mysql的date类型的字段在hive中是不是date，如果不是date，需要修改hive中列的类型修改为date