Spark2.3.0解决Exception in thread "main" java.lang.IllegalArgumentException: Illegal pattern component

原文链接: Spark2.3.0解决Exception in thread “main” java.lang.IllegalArgumentException: Illegal pattern component: XXX 报错 出错的调用代码 此问题出现在调用spark.read.json或者csv的时候出现。 res.write .mode("append") .json("c://out") 1 2 3 说明 maven升级的时候,没有自动加载完整依赖包,jsonAPI对于timeStampFormat有特

转载:
https://blog.csdn.net/lds_include/article/details/89329139

Spark2.3.0解决Exception in thread “main” java.lang.IllegalArgumentException: Illegal pattern component: XXX 报错
出错的调用代码
此问题出现在调用spark.read.json或者csv的时候出现。
res.write
.mode(“append”)
.json(“c://out”)
1
2
3
说明
maven升级的时候,没有自动加载完整依赖包,jsonAPI对于timeStampFormat有特殊需求,默认为下面这个格式这种格式,是无法被scala-lang包识别的。我们看报错的源码可以看出。

修改的方法
修改option选项修改默认的timeStampFormat,代码如下
res.write
.option(“timestampFormat”, “yyyy/MM/dd HH:mm:ss ZZ”)
.mode(“append”)
.json(“C://out”)
————————————————
版权声明:本文为CSDN博主「lds_include」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/lds_include/article/details/89329139

你可能感兴趣的:(bigdata)