Spark-SQL常用内置日期时间函数

Spark-SQL常用内置日期时间函数

一、获取当前时间

1、current_date

  • 获取当前日期
  • 时间格式:yyyy-MM-dd
	spark.sql("select current_date").show(false)

结果显示:

+--------------+
|current_date()|
+--------------+
|2020-11-25    |
+--------------+

2、now()

  • 获取当前日期时间
  • 时间格式:yyyy-MM-dd HH:mm:ss.毫秒
	spark.sql("select now()").show(false)

结果显示:

+-----------------------+
|current_timestamp()    |
+-----------------------+
|2020-11-25 11:02:50.484|
+-----------------------+

3、current_timestamp

  • 获取当前日期时间
  • 结果完全同now()
	spark.sql("select current_timestamp").show(false)

二、提取时间中的字段

1、year

  • 提取时间中的年份
    spark.sql("select now()").show(false)
    spark.sql("select year(now()) as year").show()

结果显示:

+-----------------------+
|current_timestamp()    |
+-----------------------+
|2020-11-25 12:04:28.859|
+-----------------------+

+----+
|year|
+----+
|2020|
+----+

2、month

  • 提取时间中的月份
    spark.sql("select now()").show(false)
    spark.sql("select month(now()) as month").show()

结果显示:

+-----------------------+
|current_timestamp()    |
+-----------------------+
|2020-11-25 12:07:44.976|
+-----------------------+

+-----+
|month|
+-----+
|   11|
+-----+

3、day、dayofmonth

  • 提取日期中的天
  • day 和 dayofmonth 效果完全相同
    spark.sql("select now()").show(false)
    spark.sql("select day(now()) as day").show()
    spark.sql("select dayofmonth(now()) as dayofmonth").show()

结果显示:

+-----------------------+
|current_timestamp()    |
+-----------------------+
|2020-11-25 12:09:45.178|
+-----------------------+

+---+
|day|
+---+
| 25|
+---+

+---+
|day|
+---+
| 25|
+---+

4、hour

  • 获取时间小时
    spark.sql("select now()").show(false)
    spark.sql("select hour(now()) as hour").show()

结果显示:

+-----------------------+
|current_timestamp()    |
+-----------------------+
|2020-11-25 12:12:58.917|
+-----------------------+

+----+
|hour|
+----+
|  12|
+----+

5、minute

  • 获取时间分钟数
    spark.sql("select now()").show(false)
    spark.sql("select minute(now()) as minute").show()

结果显示:

+-----------------------+
|current_timestamp()    |
+-----------------------+
|2020-11-25 12:14:47.916|
+-----------------------+

+------+
|minute|
+------+
|    14|
+------+

6、second

  • 获取时间秒数
    spark.sql("select second(2020-11-25 12:16:25.172) as second").show()

结果显示:

+------+
|second|
+------+
|    25|
+------+

三、一年中第几天\周\季度

1、dayofyear

  • 获取指定日期是当年中的第几天
	spark.sql("select dayofyear(now()) as dayNum").show()

结果显示:

+------+
|dayNum|
+------+
|   330|
+------+

2、weekofyear

  • 获取指定日期是当年中的第几周
	spark.sql("select weekofyear(now()) as weekNum").show()

结果显示:

+-------+
|weekNum|
+-------+
|     48|
+-------+

3、dayofweek、date_format

  • 获取指定日期是星期几,可使用获取当前日期函数
  • dayofweek 在hive2.2.0开始引入
  • 版本较低的时候可以使用以下方式获取日期是星期几
  • 注意函数中第二个参数为小写 u
	spark.sql("select date_format(now(),'u') as weekMany").show()

结果显示:

+--------+
|weekMany|
+--------+
|       3|
+--------+

4、quarter

  • 返回指定日期为第几季度
  • 1到3月为一季度,三个月一个季度
	spark.sql("select quarter(now())").show()

结果显示:

+------------------------------------------+
|quarter(CAST(current_timestamp() AS DATE))|
+------------------------------------------+
|                                         4|
+------------------------------------------+

5、trunc

  • 选择年或月,选择之后的日期用默认值 01 表示
  • 第一个参数为不带时分秒的日期,需写指定日期,不能用时间函数获取当前日期
  • 第二个参数可选:"year"、"yy"、"month"、"mon"、"mm",否则返回 null
  • 这里只处理日期,即结果只显示日期
	spark.sql("select trunc('2020-11-25','YEAR') as year").show(false)

结果显示:

+----------+
|year      |
+----------+
|2020-01-01|
+----------+

四、日期时间转换

1、unix_timestamp

  • 返回当前时间的 unix 时间戳
  • 可指定日期,指定日期的同时需要指定日期格式
	spark.sql("select unix_timestamp() as unix").show()
	spark.sql("select unix_timestamp('2020-11-25','yyyy-MM-dd') as unix").show()

结果显示:

+----------+
|      unix|
+----------+
|1606302965|
+----------+

+----------+
|      unix|
+----------+
|1606233600|
+----------+

2、to_unix_timestamp

  • 将时间转化为时间戳
  • 第一个参数为时间,第二个参数为时间格式
  • 可传入获取当前日期函数,此时不需要传入日期格式
  • 效果与unix_timestamp相同
spark.sql("select to_unix_timestamp(now()) as unix").show()
spark.sql("select to_unix_timestamp('2020-11-25','yyyy-MM-dd') as unix").show()

3、from_unixtime

  • 将时间戳换算成当前时间
  • 可自定义输出日期格式,若不定义则为默认yyyy-MM-dd HH:mm:ss
spark.sql("select from_unixtime('1606303452') as time").show()

结果显示:

+-------------------+
|               time|
+-------------------+
|2020-11-25 19:24:12|
+-------------------+

4、to_date、date

  • 将字符串转化为日期格式
  • to_date、date效果完全相同
	spark.sql("select to_date('2020-11-25') as time").show()

	spark.sql("select to_date('2020-11-25','yyyy-MM-dd') as time").show()

结果显示:

+----------+
|      time|
+----------+
|2020-11-25|
+----------+

五、日期、时间计算

1、months_between

  • 返回两个日期之间的月数
	spark.sql("select months_between(now(),'2020-10-29') as monNum").show()

结果显示:

+----------+
|    monNum|
+----------+
|0.89760581|
+----------+

2、add_months

  • 返回日期后n个月后的日期
	spark.sql("select add_months('2020-11-11',1) as afterMonthTime").show()

结果显示:

+--------------+
|afterMonthTime|
+--------------+
|    2020-12-11|
+--------------+

3、date_add(加)、date_sub(减)

  • 返回相加(减)n 天后的日期
	spark.sql("select date_add(now(),3) as addDay").show()
	spark.sql("select date_sub(now(),3) as addDay").show()

结果显示:

+----------+
|    addDay|
+----------+
|2020-11-28|
+----------+

+----------+
|    addDay|
+----------+
|2020-11-22|
+----------+

4、datediff

  • 两个日期间的天数,即两个日期相减
	spark.sql("select datediff(now(),'2020-11-20') as diff").show()

结果显示:

+----+
|diff|
+----+
|   5|
+----+

5、last_day(date)

  • 返回指定时间当前月份的最后一天
	spark.sql("select last_day('2020-10-20') as last_day").show()

结果显示:

+----------+
|  last_day|
+----------+
|2020-10-31|
+----------+

6、next_day(start_date, day_of_week)

  • 查找指定日期后第一个星期几(第二个参数)
  • 即第二个参数为星期几的英文缩写
	spark.sql("select next_day('2020-11-20','we') as next_day").show()

结果显示:

+----------+
|  next_day|
+----------+
|2020-11-25|
+----------+

你可能感兴趣的:(Spark,sql,spark)