spark 中 postgresql数据库使用

毕竟是号称世界上最先进的数据库,还是要会一点的

一:

最近是在spark里面使用,需要从数据库中直接读出数据构建Dataframe,但是这里有一个坑点,我需要拿到每天的数据,但是如果不使用spark.sql()执行sql语句,而是使用其他API,就涉及一个日期条件怎么写的问题,
最后解决时是使用spark.read.jdbc(),参数除了url,表名,配置文件,就是一个predicates的条件Array[String],重点就是这个条件string怎么写,查看jdbc方法的源代码,可以看出,其实这些条件还是形成sql去查询,那么就写成postgresql的查询语句就可以了,然后在条件这,如何形成一个date型的条件值使用date(日期),比如你要查询1970-01-01这天的数据,条件应该写成
columnName = date('1970-01-01')
如果是在程序中,要对单引号转义\'

未完待续