Kyuubi

spark thrift server 与 网易 kyuubi thrift server

thriftserver可以实现通过jdbc，beeline等工具，实现连接到spark集群，并提交sql查询的机制。默认情况下，cdh安装的spark没有包含thriftserver模块，因此我们需要重新编译spark。另外，为了不影响cdh自带的spark，而且spark目前都是基于yarn运行的，本身也没有什么独立的服务部署（除了historysever）。所以，在一个集群中，可以部署安装多
__destory__·2021-07-13 15:50

网易数帆开源项目Kyuubi进入Apache孵化器

北京时间2021年6月21日，全球顶级开源组织Apache基金会宣布，网易数帆开源的大数据项目Kyuubi以全票通过的表现，正式进入Apache基金会孵化器。
网易杭研·2021-06-25 19:23

Kyuubi服务源码解析：KyuubiServer

  Kyuubi服务与HiveServer2服务非常相似，在Kyuubi中很多类的设计和代码逻辑都参照了HiveServer2（SparkSQLThriftServer也是同样的道理）。  
此间少年仍犹在·2021-05-02 15:33

企业大数据实战：Kyuubi 与 Spark ThriftServer 的全面对比分析

网易数帆旗下易数大数据团队开源的Kyuubi，和Spark社区的SparkThriftServer，都是通过纯SQL语言和JDBC接口的方式降低大数据使用门槛的项目。
NetEaseResearch·2021-03-19 19:01

Kyuubi: 网易数帆开源的企业级数据湖管理平台（架构篇）

Kyuubi是网易数帆旗下易数大数据团队开源的一个企业级数据湖管理平台，建立在ApacheSpark之上。
NetEaseResearch·2021-03-04 20:43

Kyuubi 输出任务进度信息改造

文章目录一、HiveQueryLog的实现客户端方面服务端实现日志的读取日志的写入二、Kyuubi增加进度日志输出附录一、HiveQueryLog的实现由于Kyuubi、SparkThriftServer
疯狂哈丘·2020-08-21 10:39

Kyuubi服务源码解析：OpenSession解析

  在Kyuubi服务源码解析：FrontendService一文解析HiveConnection的构造函数时，有一行代码是openSession()，现在来解析一下。
此间少年仍犹在·2020-04-06 06:57

Kyuubi服务源码解析：FrontendService

FrontendService（Thrift服务Server端）  FrontendService负责与客户端进行交互：维护与客户端的连接，并将SQL执行结果返回至客户端。FrontendService.scala：FrontendService的类声明如下所示：  从FrontendService类声明中可以看出，该类实现了Runnable接口，看一下它如何重写的run方法。run()方法ove
此间少年仍犹在·2020-02-27 10:46

Kyuubi High Availability Guide

Asanenterprise-classad-hocSQLqueryservicebuiltontopofApacheSpark,Kyuubitakeshighavailability(HA)asamajorcharacteristic,aimingtoensureanagreedlevelofserviceavailability,suchasahigherthannormalperiodofu
Kent_Yao·2019-11-08 16:11

A Brief Introduction of Kyuubi Architecture

KyuubiArchitectureKyuubiisanenhancededitionoftheApacheSpark'sprimordialThriftJDBC/ODBCServer.ItismainlydesignedfordirectlyrunningSQLtowardsaclusterwithallcomponentsincludingHDFS,YARN,HiveMetaStore,and
Kent_Yao·2018-05-10 14:20
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他