spark内置函数笔记

spark常用的内置函数

一、统计函数

1. approx_percentile

select
    approx_percentile( id, array(0.5, 0.7, 0.9), 1000) as res
from (
        select explode(sequence(1,1000)) as id
    ) aa
;
[499,699,899]

二、数组函数

1. array

-- 构造数据组 
select array(1, 2, 3);
[1,2,3]

-- 数组取值, 索引从0开始
select array(1, 2, 3)[0];
1

三、字符串函数

1. btrim

删除字符串头部和尾部的指定"字符", 可同时指定多个要删除的"字符"

> SELECT btrim('    SparkSQL   ');
 SparkSQL
> SELECT btrim('SSparkSQLS', 'SL');
 parkSQ