Presto 标量函数注册和调用过程简述

在Presto 函数开发一文中已经介绍过如何进行函数开发,本文主要讲述标量函数(Scalar Function)实现之后,是如何在Presto内部进行注册和被调用的。主要讲述标量函数是因为:三类函数的注册和调用过程略有不同,而实际查询中调用最多的是标量函数。

标量函数注册

函数在能够调用之前,首先要进行注册,上一篇文章已经介绍过函数注册的方法,那么函数在注册时究竟注册了哪些信息呢?函数注册实际上是维护FunctinoRegistry类中的一个 MultiMap,Key 为函数的限定名(QualifiedName,可以简单地理解为函数名),Value 为SqlFunction接口的实现类,实际主要为SqlAggregationFunctionSqlWindowFunctionSqlScalarFunction这三个类的子类。SqlScalarFunction是一个抽象类,定义如下:

public abstract class SqlScalarFunction
        implements SqlFunction
{
    private final Signature signature;

    protected SqlScalarFunction(Signature signature)
    {
        this.signature = requireNonNull(signature, "signature is null");
        checkArgument(signature.getKind() == SCALAR, "function kind must be SCALAR");
    }

    @Override
    public final Signature getSignature()
    {
        return signature;
    }

    public abstract ScalarFunctionImplementation specialize(BoundVariables boundVariables, int arity, TypeManager typeManager, FunctionRegistry functionRegistry);

    public static PolymorphicScalarFunctionBuilder builder(Class clazz)
    {
        return new PolymorphicScalarFunctionBuilder(clazz);
    }
}

可以看出,其子类需要获取Signature和实现specialize方法。

首先来看Signature

public final class Signature
{
    private final String name;
    private final FunctionKind kind;
    private final List typeVariableConstraints;
    private final List longVariableConstraints;
    private final TypeSignature returnType;
    private final List argumentTypes;
    private final boolean variableArity;

    ....
}

类的成员变量说明如下:

  • name:函数名,不包括参数类型和结果类型,例如:函数isnull(T):boolean的函数名为isnull
  • kind:枚举类型,有 SCALAR、AGGREGATE 和 WINDOW三种取值,用于区分函数类型
  • typeVariableConstraints:类型变量约束,记录函数中的类型变量名,以及类型变量所需要满足的约束条件:类型是否为comparable、orderable 和是否绑定具体类型。例如:contains(array(T),T):boolean函数要求类型T满足comparablearray_sort(array(E)):array(E)函数要求类型E满足orderable;判断两个ROW类型是否相等的操作符(操作符也属于标量函数)$operator$EQUAL>(T,T):boolean要求类型T为ROW类型。
  • LongVariableConstraint:长整型变量约束,记录函数中带有约束的长整型变量的计算表达式(一般用于计算返回类型中的长整型变量)。例如:函数concat(char(x),char(y)):char(u)的返回类型中长整型变量u的计算表达式为x + y
  • returnType:函数的返回类型
  • argumentTypes:函数参数类型
  • variableArity:标记是否为变长参数

以上成员变量都可以从函数实现的类对象中,根据注解规则解析获得。除了获取Signature,由于同一个函数可能会有多个实现(例如上一篇文章介绍的isnull(T):boolean函数,因为传入的参数类型可能不同,所以有五个实现方法),所以还要记录函数的实现方法。源码中将实现方法分为三类:

  • exactimplementation:函数中不包含类型变量,即函数的参数类型和返回类型都是确定的
  • specializedImplementation:函数中包含类型变量,但类型变量作用在具体的 Java 类型(Native Container Type)上
  • genericImplement:函数中包含类型变量,但是类型变量作用在 Object 类型上

Presto 保存的是实现方法的MethodHandle,通过反射获取Method,再保存Method对应的MethodHandleMethodHandle在JDK1.7引入,调用的效率比反射高),如果该方法不是静态方法,还要将MethodHandle的中的this参数改为Object来避免调用时的类加载问题。所以,抽象方法specialize的本质是通过传入的参数,来获取匹配到的MethodHandle,这部分放到下一节的标量函数调用中进行讲解。

可以看出,标量函数注册的本质是保存函数的SignatureMethodHandle。开发者根据注解框架实现的标量函数,注册时再根据注解解析出SignatureMethodHandle,封装在ParametricScalar对象中。当然,开发者也可以自行继承SqlScalarFunction,自己定义Signature和实现specialize方法。

标量函数调用

标量函数调用的入口为InterpretedFunctionInvoker类的public Object invoke(Signature function, ConnectorSession session, List arguments)方法,形参里的Signature是由语义分析时,根据词法分析得到函数QualifiedName和语法分析得到的参数类型,调用FunctionRegistry中的public Signature resolveFunction(QualifiedName name, List parameterTypes)方法得到。所以,标量函数调用的关键是resolveFunction方法和invoke方法。

首先来看resolveFunction方法,该方法主要通过函数名和函数参数类型来确定Signature,流程如下:

Presto 标量函数注册和调用过程简述_第1张图片

虚线红框中的三个匹配过程实际上是调用了同一个方法:Optional matchFunction(Collection candidates, List parameters, boolean coercionAllowed),其中的coercionAllowed为是否将实参类型转化为形参类型的标识。matchFunction方法等价于为Signature中的变量寻找赋值,不仅要满足变量类型是对应的实际参数类型的超类,而且对应的实际参数还要满足Signature中声明的变量约束。将形参类型和实参进行绑定时,还会做一些约定性的检查:

  • 一个类型不能既赋给类型变量(type parameter),又赋给字面变量(literal parameter,如varchar(x)中的x
  • 字面变量不允许跨类型使用

为了便于理解第二个规定,下面例举几个字面变量跨类型使用的例子:

  • x 出现在不同的基本类型中:char(x)和varchar(x)
  • x 出现在同一种基本类型的不同位置:decimal(x,y) 和 decimal(z,x)
  • p 与不同的字面量、类型或者字面变量组合使用:decimal(p,s1) and decimal(p,s2)

还有一个限制是,如果尝试将实际参数类型decimal(1,0)赋给Signature中声明的decimal(x,2),会失败,但是使用decimal(3,1)可以赋值成功。因为根据decimal的定义,precision 必须大于 scale,即x必须大于2。

经过一系列的规则匹配和变量求解,最终会返回一个具体的函数函数签名,签名中的类型都是具体类型(即不含变量)。比如简单 SQLselect isnull('a'),最终得到的Signatureisnull(varchar(1)):boolean,实参中的类型varchar(1)赋给了原先注册的isnull(T):boolean中的类型变量T

再来看invoke方法,该方法首先会根据传入的Signature调用FunctionRegistry中的getScalarFunctionImplementation来获取最终的MethodHandle,然后使用具体的参数值来进行实际方法的调用(方法中若需要ConnectorSession,也在此进行注入)。因为函数注册维护的是QualifiedName->SqlFunction的映射关系,而调用getScalarFunctionImplementation时传入的Signature并没有记录变量与实参的绑定关系,所以这里需要再进行一次类型变量的求解,这一步的计算其实是可以避免的,因为在resolveFunction中其实已经拿到了变量绑定的关系,可以进行复用,所以340版本中已改为传入带绑定关系的FunctionBinding。函数注册时说明了一个函数可能有多个实现方法,接下来就是根据形参和实参的绑定关系,调用SqlFunctionspecialize方法进行对应参数的 Java 类型的匹配,按照exactimplementation类型->specializedImplementation类型->genericImplement类型的顺序进行匹配,一旦匹配成功则直接返回匹配到的实现方法,如果方法中需要传入依赖变量,也在此步骤中根据绑定关系对MethodHandle进行参数值注入。因为对MethodHandle的反复编译会导致full GC(怀疑是触发了 JVM Bug),所以 Presto 在FunctionRegistry中为三类函数分别做了个大小为1000,有效时长为1小时的缓存来避免这个问题。

至此,函数的注册和调用的过程已经完成。熟悉这两个过程可以帮助我们在函数开发和调用中快速地定位问题,除此之外,求解Signature时的类型转换匹配可以作为类型隐式转换的一个入口。

你可能感兴趣的:(Presto 标量函数注册和调用过程简述)