Spark Thrift Server改造：返回执行进度日志

一、问题背景

当前Spark Thrift Server在运行SQL时，Client不会输出任何日志，只有任务运行结束后输出的查询结果集(目前Spark最新版本2.4.0仍有此问题)。在任务运行过程中看不到当前的执行进度，影响了用户的使用体验，为了解决此问题对Spark Thrift Server作了一番改造。

此前为了解决任务提交入口收敛的问题也对HiveServer2作了改造，了解过其内部的相关具体实现，而Spark Thrift Server的核心代码移植自HiveServer2，因此想到通过对比两者的实现差异找到解决问题的切入点。

二、相关实现

Hive的查询结果和执行日志都是通过fetchResults 方法返回，由 FetchType 参数指定返回的是查询结果(QUERY_OUTPUT)还是执行日志(LOG)。

任务的执行日志在具体代码实现中被称为OperationLog，有关日志的读、写、删除操作都封装在该类中。OperationLog以本地文件的方式存储在 hive.server2.logging.operation.log.location 配置的目录中，每个session有唯一的UUID，对应一个存储目录，相同session内提交的statement用单独的文件存储日志(以提交这个statement的handle UUID作为对应的文件名)。

执行日志的写入并非直接调用OperationLog.writeOperationLog方法，而是专门实现了一个Log4j Appender，通过动态追加Appender，其他类在调用log.info()等方法打印日志时就会统一写入OperationLog。由于在调用log.info()时并不会传入与OperationLog有关的参数，为了区分哪些日志应该写入到哪个OperationLog中，OperationLog内部使用了ThreadLocal与线程做了绑定，也就是说在相同线程上调用log.info打印的日志将写入到相同线程的OperationLog中。

通过对比发现，Spark Thrift Server不输出日志是由于在执行前没有将OperationLog与线程绑定，涉及改动代码：

重新编译，然后测试，发现也就只有寥寥几行日志，依然没有进度信息：

但Thrift Server端却有较详细的进度日志，包括各个stage、task的运行情况等，由此推断 TaskSetManager 的方法调用与OperationLog不在相同线程内。

为了获取各个stage、task的运行信息，可以通过注册SparkListener 实现。

首先在 SparkExecuteStatementOperation 中保存statementId 与 OperationLog 实例的映射关系，然后在SparkListener 通过statementId 得到对用的OperationLog 实例实现执行日志的写入。另外，由于SparkListener中的各个接口参数信息不全的关系，在SparkListener 内部还需要额外存储 jobId 与statementId、stageId 与jobId 的映射关系以辅助找到对应的OperationLog 实例。

最后一步，在 HiveThriftServer2 中注册该SparkListener：

最终输出执行日志效果：