spark sql 数据类型转换_spark sql时间类型转换以及其他

1.spark sql的日期转换一般使用两种形式

第一种使用

to_timestamp(REACHTIME1,"yyyy-MM-dd HH24:mi:ss") //它将字符串时间转换为日期类型 例如2018-10-10 12:34:43

第二种使用时间戳的形式

to_timestamp(a.REACHTIME,"yyyy-MM-dd HH24:mi:ss") //转后是1970年至今的时间戳一大长串数据

2.如果spark是在本地电脑上跑，没有 打成jar放在集群上跑。只要代码运行，在本地也可以查看spark跑的过程

本地查看spark运行的路径:http://localhost:4040/jobs/    注意要查看spark状态，无论是集群还是本地，都要运行spark项目且没有中断或停止可以看

3.说一些oralce和spark sql的语句

oralce方面:

WHERE D.LINE_NO(+) = E.LINE_NO //这个是sql片段。里面的(+)只得是是右连接这个字段

spark sql方面

LEAD (b.DISTANCE) OVER (PARTITION BY a.LINENO,a.BUSNO,a.ISUPDOWN ORDER BY REACHTIME) DISTANCE1

//这个lead...over在oralce也用到了。它的作用是获取下一条数据信息，又叫开窗函数

DISTANCE1是别名//网址参考:https://blog.csdn.net/qq_39869388/article/details/80364985---spark streaming消费数据插入hbase里//https://www.cnblogs.com/z