90%分位数:
quantile(0.9)()
在求(平均)响应时间时用到,quantile(0.9)(url_rt)
median()
还未使用到,median(url_rt)
计算x与y的相关系数,计算公式: ∑ ( x − x ‾ ) ( y − y ‾ ) ∑ ( x − x ‾ ) 2 ∑ ( y − y ‾ ) 2 \dfrac{\sum(x-\overline{x})(y-\overline{y})}{\sqrt{\sum(x-\overline{x})^2\sum(y-\overline{y})^2}} ∑(x−x)2∑(y−y)2∑(x−x)(y−y),取值范围[-1,1],其绝对值越大代表线性关系越强,当相关系数为0时,表示x与y之间没有线性相关关系(不代表没有非线性关系):
corr(x,y)
还未使用到,corr(url_rt,hit)
toString()
在Superset中应用较多,toString(date)
toYear()
应用形式toYear(date)
toMonth()
应用形式toMonth(date)
,例如date = ‘2018-07-25’,得到结果为7
toDayOfDay()
应用形式toDayOfDay(date)
,例如date = ‘2018-07-25’,得到结果为25
toDayOfWeek()
应用形式toDayOfWeek(date)
,例如date = ‘2018-07-25’,得到结果为3
上方
toHour()
应用形式toHour(ts)
,例如date = ‘2018-07-25 08:10:20’,得到结果为8
toMinute()
与上方类似,用在物化视图中分钟级聚合
toSecond()
与上方类似
以下函数与上方函数极为类似。
toStartOfHour()
应用形式toStartOfHour(ts)
,例如date = ‘2018-07-25 08:01:21’,得到结果为2018-07-25 08:00:00
toStartOfMinute()
应用形式toStartOfMinute(ts)
,例如date = ‘2018-07-25 08:01:21’,得到结果为2018-07-25 08:01:00
toStartOfFiveMinute()
应用形式toStartOfFiveMinute(ts)
,随着时间的推移将日期缩短到五分钟间隔的开始。例如date = ‘2018-07-25 08:05:21’,得到结果为2018-07-25 08:00:21,当秒级/分钟级数据量较大时,考虑五分钟聚合可以使用该函数。
lower()
应用形式lower('aBcA')
upper()
应用形式upper('aBcA')
concat(s1,s2,...)
应用形式concat('adsa','121sf')
substring(s, offset, length)
应用形式substring('iioomAjOOBJB', 2, 3)
,从字符串的第2位起截取3个字符,得到ioo
splitByString(separator , s)
SELECT splitByString(',','afffv,safe,efwee,htrjt' ) AS temp;
,结果:[‘afffv’,‘safe’,‘efwee’,‘htrjt’]。
和length()
结合使用,SELECT length(splitByString(',','afffv,safe,efwee,htrjt' )) AS temp_num;
,结果:4。
match(haystack,pattern)
应用形式match('avhsca','vh)
,是否由匹配字段,字符串中由’vh’字符串,结果输出为1
返回匹配到的第一个子串:
extract(haystack,pattern)
应用形式extract('iioomAj12123124OOBJB', '\\d+')
,匹配多个数字,并返回第一个子串,结果输出为’12123124’
extract('iioomAj12123124OOBJB', '\\[a-z]+')
,匹配小写字母的子串,并返回第一个子串,结果输出为’iioom’
返回匹配到的所有子串:
extractAll(haystack,pattern)
应用形式extract('iioomAj12123124OOBJB', '\\[A-Z]+')
,匹配大写字母的子串,并返回所有子串,结果输出为[‘A’,‘OOBJB’]
返回匹配到的数据:
like(haystack,pattern)
可以包含:%和_等字符
一般应用于模糊查找URL
notLike(haystack,pattern)
得到结果与like()
相反。
replaceOne(haystack,pattern,replacement)
只替换第一个匹配到的pattern。
replaceAll(haystack,pattern,replacement)
替换匹配到的所有pattern。可以和length()
函数搭配来统计某个字符的个数,SELECT (length(task_ids)-length(replaceAll(task_ids,',','')) + 1) AS task_num FROM dcm_mission_all ;
统计任务的数量,task_ids可能取值为‘123,5325,564564,234’,执行后结果为:4。
replaceRegexpAll(haystack,pattern,replacement)
与replaceAll()类似,pattern可以用正则表示,SELECT replaceRegexpAll('Hello, World!', '^', 'here: ') AS res;
,得到:here: Hello, World!
if(cond,then,else)
条件cond为TRUE,返回then处的结果,否则,返回else处的结果。
用法:
SELECT protocol('http://www.baidu.com.cn')
结果:http。
用法:
SELECT domain('http://www.baidu.com.cn')
结果:www.baidu.com.cn。
用法:
SELECT domainWithoutWWW('http://www.baidu.com.cn')
结果:baidu.com.cn。
用法:
SELECT topLevelDomain('http://www.baidu.com.cn')
结果:cn。
用法:
SELECT firstSignificantSubdomain('http://www.baidu.com.cn')`
结果:baidu。
用法:
SELECT path('https://www.baidu.com/s?wd=SQL%E4%B8%AD%E7%9A%84split&rsv_spt=1&rsv_iqid=0xb79d2a30000683c8&issp=1&f=8&rsv_bp=1&rsv_idx=2&ie=utf-8&rqlang=cn&tn=baiduhome_pg&rsv_enter=0&oq=SQL%2520if()&rsv_t=c9ecC9JfyBAd%2Bobx3UmEq4ZivwZzO7M%2Bar6xjhU3caPXwxMwD76F9AUI%2FaX%2B6jUYE4Lb&inputT=7416&rsv_pq=c8d2f6750000cc4e&rsv_sug3=35&rsv_sug1=35&rsv_sug7=100&rsv_sug2=0&rsv_sug4=8521')
结果:/s。
用法:
SELECT cutQueryString('https://www.baidu.com/s?wd=SQL%E4%B8%AD%E7%9A%84split&rsv_spt=1&rsv_iqid=0xb79d2a30000683c8&issp=1&f=8&rsv_bp=1&rsv_idx=2&ie=utf-8&rqlang=cn&tn=baiduhome_pg&rsv_enter=0&oq=SQL%2520if()&rsv_t=c9ecC9JfyBAd%2Bobx3UmEq4ZivwZzO7M%2Bar6xjhU3caPXwxMwD76F9AUI%2FaX%2B6jUYE4Lb&inputT=7416&rsv_pq=c8d2f6750000cc4e&rsv_sug3=35&rsv_sug1=35&rsv_sug7=100&rsv_sug2=0&rsv_sug4=8521')
结果:https://www.baidu.com/s。
用法:
SELECT dictGetString('ck_abc_dic', 'ck_value', tuple(_abc)) AS abc
FROM DB.TABL
WHERE date=today()
LIMIT 10;