晓之木初

结合Presto CLI，Presto Client学习

1. 序言

作为Presto的客户端之一，Presto CLI是一个基于终端的交互式shell，它依赖Presto client向Presto server提交查询并获取查询执行进度、执行结果等。
Presto使用Master-Slave架构，对外提供服务的接口都在coordinator中，上面的描述可以改写为：Pressto client向coordinator提交查询
笔者认为，在学习Presto CLI前，了解Presto client与coordinator之间如何进行HTTP通信是极有必要的
官网有Presto Client的相关文档：Presto Client REST API，本文对Presto client的介绍也会参考该文档，并辅以Presto 0.279的源码

2. Presto client如何提交一个查询？

2.1 关键类StatementClientV1

StatementClientV1内含OkHttpClient，是实现client与coordinator通信的关键
与Presto Client有关的代码中，大多直接使用client表示StatementClientV1
```
class StatementClientV1 implements StatementClient
```

StatementClientV1的一些重要成员如下：

private final OkHttpClient httpClient; 
// 当前session的user，每次访问/v1/statement接口，都必须将user放在resquest header的X-Presto-User中
private final String user; 

// 来自response的QueryResults，里面记录了查询的相关信息，如query_id、nextUri、data、error等
private final AtomicReference<QueryResults> currentResults = new AtomicReference<>();

// 来自response header，需要在之后的request header中使用
private final AtomicReference<String> setCatalog = new AtomicReference<>();
private final AtomicReference<String> setSchema = new AtomicReference<>();
... // 还有更多来自response header的属性，这里不再赘述

// 初始化为RUNNING状态，还有CLIENT_ERROR、CLIENT_ABORTED、FINISHED三种状态
private final AtomicReference<State> state = new AtomicReference<>(State.RUNNING);

2.2 提交一个查询

创建StatementClientV1时，通过httpClient向coordinator发起一个查询请求，然后获取并处理请求结果

向coordinator的/v1/statement接口、以POST方式发起查询请求，body中包含query string
coordinator的QueuedStatementResource.postStatement()方法将处理查询请求，并返回一个包含QueryResults的response
这个response将被转化为JsonResponse，内含QueryResults类型的JSON文档、response headers等信息
执行processResponse()方法，使用response中的信息更新StatementClientV1

public StatementClientV1(OkHttpClient httpClient, ClientSession session, String query)
{
    ... // 其他代码省略

    // 1. 构建request，用于向coordinator提交查询；此时查询尚未执，需要访问response中nextUri触发查询的执行
    Request request = buildQueryRequest(session, query);

    // 2. 提交查询，response将被封装为JsonResponse
    JsonResponse<QueryResults> response = JsonResponse.execute(QUERY_RESULTS_CODEC, httpClient, request);
    // 如果发起查询的请求失败，更新client的状态并上抛异常
    if ((response.getStatusCode() != HTTP_OK) || !response.hasValue()) {
        state.compareAndSet(State.RUNNING, State.CLIENT_ERROR);
        throw requestFailedException("starting query", request, response);
    }

    // 3. 处理response，使用response header和body更新statementClient
    processResponse(response.getHeaders(), response.getValue());
}

processResponse()方法的代码如下：

保存response header，新的request中将使用这些headrs
respopnse中的QueryResults赋值给自身的currentResults字段

private void processResponse(Headers headers, QueryResults results)
{
     setCatalog.set(headers.get(PRESTO_SET_CATALOG));
     setSchema.set(headers.get(PRESTO_SET_SCHEMA));

    for (String setSession : headers.values(PRESTO_SET_SESSION)) {
        List<String> keyValue = SESSION_HEADER_SPLITTER.splitToList(setSession);
        if (keyValue.size() != 2) {
            continue;
        }
        setSessionProperties.put(keyValue.get(0), urlDecode(keyValue.get(1)));
    }
    resetSessionProperties.addAll(headers.values(PRESTO_CLEAR_SESSION));
    ... // 对response header的记录，省略部分代码

    // 更新执行结果
    currentResults.set(results);
}

StatementClientV1每次成功请求coordinator后，都将使用processResponse()方法更新自身

2.3 关于QueryResults

QueryResults就是查询结果，其重要字段如下：

public class QueryResults
        implements QueryStatusInfo, QueryData
{
	// qiery_id，YYYYMMdd_HHmmss_index_coordId，例如：20230405_045317_00000_tagb8
    private final String id; 
    // 查询对应的web UI地址
    private final URI infoUri;
    // 决定查询是否结束的关键字段，如果nextUri不为null，则client需要访问nextUri以获取下一批查询结果
    private final URI nextUri;
    // 查询结果的列名和数据类型
    private final List<Column> columns; 
    // 查询结果，一行对应一个List