21 SparkSQL函数定义

1 SparkSQL 定义UDF函数

21 SparkSQL函数定义_第1张图片
21 SparkSQL函数定义_第2张图片
21 SparkSQL函数定义_第3张图片
21 SparkSQL函数定义_第4张图片
21 SparkSQL函数定义_第5张图片
21 SparkSQL函数定义_第6张图片
21 SparkSQL函数定义_第7张图片

2 SparkSQL 使用窗口函数

21 SparkSQL函数定义_第8张图片
21 SparkSQL函数定义_第9张图片
21 SparkSQL函数定义_第10张图片
21 SparkSQL函数定义_第11张图片

3 总结

  1. SparkSQL支持UDF和UDAF定义,但在Python中,暂时只能定义
    UDF
  2. UDF定义支持2种方式, 1:使用SparkSession对象构建. 2: 使用
    functions包中提供的UDF API构建. 要注意, 方式1可用DSL和SQL
    风格, 方式2 仅可用于DSL风格
  3. SparkSQL支持窗口函数使用, 常用SQL中的窗口函数均支持, 如聚
    合窗口\排序窗口\NTILE分组窗口等

你可能感兴趣的:(spark,css3,css,html,spark)