【trino】

【trino https】trino权限验证开启https

一.背景presto使用的很顺利，项目要求把presto的账号开放出去，供其他用户自己使用。因为目前的presto的jdbc链接是没有口令的，只要拿到这个链接，任何人都可以使用，且无法追踪任务提交的用户，这对presto和集群是一个大的风险，因此需要给presto加上权限控制。因为presto有两个版本，一个是目前的facebook的prestodb，更新到0.265.1，目前我们使用的prest
秦拿希·2023-11-24 11:47

【trino ssl】使用rancher部署trino ssl到kubernestes

这边介绍trino在kubernetes上的安装，这个过程遇到了几个难缠的问题，耗费了3周左右，其实都是小问题，但是在部署的过程中没有考虑到，导致时间拉长了。
秦拿希·2023-11-24 11:47

Trino 387 Docker 部署配置数据源后不显示对应数据Catalog

1部署过程使用Docker镜像部署，以【官方文档】连接Hive集群为例：按照文档示例，在etc/catalog/目录下创建hive.properties文件，并写入以上配置。进入容器命令：dockerexec-i-t【容器名称】/bin/bash注：其他命令类似Linux。2问题现象使用Docker命令进入TrinoCLI：dockerexec-ittrinotrino--cataloghive执
tonglingtou1875·2023-11-24 11:17

【大数据】Docker部署HMS(Hive Metastore Service)并使用Trino访问Minio

HiveStandaloneMetastore管理MinIO（S3）_hiveminio_BigDataToAI的博客-CSDN博客一.背景团队要升级大数据架构，需要摒弃hadoop，底层使用Minio做存储，应用层用trino
秦拿希·2023-11-24 11:35

利用 Apache Ranger 管理 Amazon EMR 中的数据权限

在大数据领域，ApacheRanger是最受欢迎的授权选择之一，它支持所有主流大数据组件，包括HDFS、Hive、HBase、Trino等组件。
亚马逊云开发者·2023-11-23 14:43

基于trino构建新的算子下推框架

背景下推发展过程trino或者presto早期的数据源主要是hive表（列存），所以计算引擎的下推发力点主要在于project和filter下推，由于parquet等列存主要基于zonemap索引（min
诺野·2023-11-19 23:58

Trino 与Hive 有差异的函数

日常使用中发现trino和hive中的有一些函数存在差异，所以开此帖记录一下这里只是记录trino和hive有差异的函数，遇到了就会记录一下，不定期更新1.查看集合中元素个数hive：size()trino
香山上的麻雀1008·2023-11-19 22:49

大数据综合案例（单表主从）

：两台机器（3308（主），3309（从）），分别构建主从复制模式，参考：https://blog.csdn.net/huxiang19851114/article/details/113846022trino
八五年的湘哥·2023-11-14 20:57

Paimon 与 Spark 的集成（一）

Paimon采用开放的数据格式和技术理念，可以与ApacheFlink/Spark/Trino等诸多业界主流计算引擎进行对接，共同推进StreamingLakehouse架构的普及和发展。
Apache Spark中国社区·2023-11-11 08:44

Trino 源码剖析

Functionsfunction反射和注册io.trino.operator.scalar.annotations.ScalarFromAnnotationsParser这里是提取注解元素的方法StringbaseName
zhixingheyi_tian·2023-11-09 20:48

dbeaver 连接trino 出现Datasource was invalidated

dbeaver连接trino出现Datasourcewasinvalidated问题描述，如图所示：连接测试通过，但是无法访问数据库解决1.首先是看自己的dbeaver连接配置是否有问题2.看驱动配置是否
一名正在努力的大数据learner·2023-11-06 00:14

《Presto（Trino）——The Definitive Guide》CHAPTER 6 Connectors Advanced CHAPTER 7 Connector Examples

Presto（暂译：普雷斯托）系列文章目录-CHAPTER6ConnectorsThisbookprovidesagreatintroductiontoPrestoandteachesyoueverythingyouneedtoknowtostartyoursuccessfulusageofPresto.—DainSundstromandDavidPhillips,CreatorsofthePre
爱学大树锯·2023-11-04 06:53

Trino源码Gitlab CICD单测环境搭建

在中大型公司，由于对Trino源码的定制魔改量越来越大，会随着时间推移而增大出现冷门bug的概率，所以需要建立一套自动测试机制，在魔改源码合入主分支时可以自动触发testcase，通过特定单测的执行失败
书忆江南·2023-11-03 03:49

使用 SQL 的方式查询消息队列数据以及踩坑指南

消息列表点击详情后查看轨迹原理介绍由于Pulsar并没有关系型数据库中表的概念，所有的数据都是存储在Bookkeeper中，为了模拟使用SQL查询的效果Pulsar提供了Presto(现在已经更名为Trino
架构大数据双料架构师·2023-10-29 18:13

开源大数据OLAP引擎最佳实践

一、开源OLAP综述二、开源数仓解决方案三、ClickHouse介绍四、StarRocks介绍五、Trino介绍六、客户案例01开源OLAP综述如今的开源数据引擎多种多样，不同种类的引擎满足了我们不同的需求
zhisheng_blog·2023-10-28 21:59

CQ 社区版 V2.5.0 发布 | 开放在线试用、自定义高危操作、新增数据源Phoenix、Trino等

本次更新快览：新增数据源：Phoenix、Trino新增自定义高危操作数据变更功能新增数据备份、整体事务、消息通知用户管理新增批量操作系统设置新增密码强度设置、短信复核登录、IP访问规则设置……首先带来的第一个好消息
BinTools图尔兹·2023-10-27 06:15

直播预约 | CQ课堂 社区版V2.5.0新功能操作演示

开放在线体验环境新增数据源：Phoenix、Trino新增自定义高危操作数据变更功能新增数据备份、整体事务、消息通知……以上新增功能的操作及正确打开方式就在11月1日晚19:00视频号「BinTools
BinTools图尔兹·2023-10-27 06:44

查询性能较 Trino/Presto 3-10 倍提升！Apache Doris 极速数据湖分析深度解读

从上世纪90年代初BillInmon在《buildingtheDataWarehouse》一书中正式提出数据仓库这一概念，至今已有超过三十年的时间。在最初的概念里，数据仓库被定义为「一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策」，而数据湖最初是为了解决数仓无法存储海量且异构的数据而构建的集中式存储系统。时代的发展与用户数据应用诉求的演进，催生了数据架构的不断革新，也
SelectDB技术团队·2023-10-23 22:46

使用 SQL 的方式查询消息队列数据以及踩坑指南

消息列表点击详情后查看轨迹原理介绍由于Pulsar并没有关系型数据库中表的概念，所有的数据都是存储在Bookkeeper中，为了模拟使用SQL查询的效果Pulsar提供了Presto(现在已经更名为Trino
·2023-09-20 12:59

PrestoSQL, PrestoDB 和 Trino

目录1.PrestoSQL,PrestoDB和Trino1.1.PrestoSQL改名Trino1.PrestoSQL,PrestoDB和TrinoPresto社区分家后搞了2个项目,分别为PrestoDB
云满笔记·2023-09-20 05:30

Trino HTTPS 与密码认证介绍与实战操作

文章目录一、概述二、安装Trino三、配置HTTPS1）生成证书2）配置Trino3）修改Trinodocker-composeyaml文件4）开始部署Trino5）测试验证四、密码认证1）开启密码认证
大数据老司机·2023-09-17 15:17

Amazon EMR Hudi 性能调优——Clustering

的查询性能也提出更多要求，除了Parquet存储格式本来的性能优势之外，还希望Hudi能够提供更多的性能优化的技术途径，尤其当对Hudi表进行高并发的写入，产生了大量的小文件之后，又需要使用Presto/Trino
·2023-09-02 23:52

使用 SQL 的方式查询消息队列数据以及踩坑指南

消息列表点击详情后查看轨迹原理介绍由于Pulsar并没有关系型数据库中表的概念，所有的数据都是存储在Bookkeeper中，为了模拟使用SQL查询的效果Pulsar提供了Presto(现在已经更名为Trino
crossoverJie·2023-09-02 05:37

使用 SQL 的方式查询消息队列数据以及踩坑指南

消息列表点击详情后查看轨迹原理介绍由于Pulsar并没有关系型数据库中表的概念，所有的数据都是存储在Bookkeeper中，为了模拟使用SQL查询的效果Pulsar提供了Presto(现在已经更名为Trino
·2023-08-31 08:48

10 倍性价比，万物新生基于 StarRocks 无缝直替 Trino

在经历了MySQL、Greenplum、Trino等多种架构之后，为了
StarRocks_labs·2023-08-25 19:46

10 倍性价比，万物新生基于 StarRocks 无缝直替 Trino

在经历了MySQL、Greenplum、Trino等多种架构之后，为了
·2023-08-25 15:53

Trino · datalake · 架构设计1

一、背景本文介绍学习Presto/Trino权威指南中的架构相关的信息。这里深挖相关概念，如查询执行模型、查询计划、基于成本的优化，本章首先讨论高层架构组件。
sinwaj·2023-08-22 02:58

Amazon EMR Hudi 性能调优——Clustering

的查询性能也提出更多要求，除了Parquet存储格式本来的性能优势之外，还希望Hudi能够提供更多的性能优化的技术途径，尤其当对Hudi表进行高并发的写入，产生了大量的小文件之后，又需要使用Presto/Trino
亚马逊云开发者·2023-08-15 03:58

Presto/Trino的Mysql Connector使用和查询下推优化

目录1.Mysql连接器2.查询下推1.Mysql连接器底层是通过JDBC驱动来查询Mysql的数据源一条SQL中有多个表，则会对应创建多个JDBC连接在Mysql中准备数据[root@bigdata005~]#[root@bigdata005~]#mysql-hbigdata005-P3306-uroot-pRoot_123mysql:[Warning]Usingapasswordontheco
Bulut0907·2023-08-09 19:11

Presto/Trino的Hive Connector的使用(内部表、外部表、分区表)

目录1.配置Hive连接器2.通过Hive连接器创建schema3.通过Hive连接器创建内部表和外部表3.通过Hive连接器创建分区表4.Hive连接器创建外部分区表，不能查询到已有分区数据5.通过Hive连接器插入数据6.删除分区表的数据Hive连接器不使用Hive的运行环境，而是使用HiveMetastore服务获取元数据，再使用HDFS客户端直接从HDFS上读写数据。所以不能将SQL查询下
Bulut0907·2023-08-09 19:41

Trino CLI的使用、Python/Scala连接Presto/Trino

目录1.客户端安装和使用2.Python客户端的使用3.JDBCdriver的使用1.客户端安装和使用下载，然后重命名，最后赋予执行权限[root@trino1~]#[root@trino1~]#wgethttps
Bulut0907·2023-08-09 19:40

Trino开荒

一.概述1.1Trino历史Facebook的数据仓库存储在少量大型Hadoop/HDFS集群。Hive是Facebook在几年前专为Hadoop打造的一款数据仓库工具。
oifengo·2023-08-09 19:39

《Presto（Trino）——The Definitive Guide》Presto指南20版

Presto系列文章目录ThisbookprovidesagreatintroductiontoPrestoandteachesyoueverythingyouneedtoknowtostartyoursuccessfulusageofPresto.—DainSundstromandDavidPhillips,CreatorsofthePrestoProjectsandFoundersoftheP
爱学大树锯·2023-08-09 19:39

大数据入门之Presto/Trino

Presto和Trino的关系Presto架构PrestoVSSparkpyhive访问prestoWhatisPresto?
Frank范·2023-08-09 19:39

trino的介绍和安装使用

前言：最近在研究大数据的一些组件和数据库，本来是要调研下presto怎么用的，结果发现presto因为facebook的关系，导致presto核心开发成员离开，重新开始创建了trino，个人感觉trino
我想问问天·2023-08-09 19:37

jdbc连接presto/trino，报错IllegalArgumentException: The datetime zone id ‘GMT+08:00‘ is not recognised

使用jdbc连接trino时遇到了一个报错：java.lang.IllegalArgumentException:Thedatetimezoneid'GMT+08:00'isnotrecognised官方
Sivan呀·2023-08-09 19:34

使用Presto、Trino数据库时提示“The datetime zone id ‘GMT+08:00‘ is not recognised”

出现这个问题的原因是：Presto、Trino的驱动使用了joda这个库来处理时区的问题。但这个库的编写人似乎对javazone的格式没有太多经验。
橘子西瓜·2023-08-09 19:03

trino on alluxio报java.lang.NoClassDefFoundError: Could not initialize class alluxio.metrics.MetricsS

Causedby:java.lang.NoClassDefFoundError:Couldnotinitializeclassalluxio.metrics.MetricsSystematalluxio.client.file.FileSystemContext.initContext(FileSystemContext.java:316)atalluxio.client.file.FileSys
csding11·2023-08-02 13:35

Trino418框架适配达梦数据库方案

一、介绍trino框架官网地址：Trino418版本https://trino.io/docs/current/installation/deployment.htmlTrino是一款旨在使用分布式查询高效查询大量数据的工具
飞奔的屎壳郎·2023-07-27 06:25

Kyuubi的介绍优势（官网链接）

Kyuubi在各种现代计算框架（例如ApacheSpark、Flink、Doris、Hive和Trino等）之上构建分布式SQL查询引擎，以查询来自异构数据源的分布在大量机器上的海量数据集。
墨卿风竹·2023-07-21 00:07

Apache Hudi的编译及安装

pluggableindexing.Incrementalqueries,RecordlevelchangestreamsTransactions,Rollbacks,ConcurrencyControl.SQLRead/WritesfromSpark,Presto,Trino
贾斯汀玛尔斯·2023-07-19 13:06

如何用Spark SQL实现多Catalog联邦查询

但是，传统的计算引擎如Hive、Spark2对多Catalog支持能力很弱，也许是受Flink、Presto（Trino）的步步紧逼，Hive3也开始支持多Catalog，但是仅限于存储层面和API层面
咬定青松·2023-07-18 10:25

Presto(Trino)的逻辑执行计划和Fragment生成过程

文章目录1.前言2.从SQL提交到Fragment计划生成全过程2.1Statement生成2.2对结构化的Statement进行分析2.3生成未优化的逻辑执行计划2.4基于Visitor模型对逻辑执行计划进行优化2.4.1Visitor模型介绍2.4.2Presto中常见的逻辑执行计划优化器常规OptimizerIterativeOptimizer2.4.3关于ExchangeNode2.5逻辑
小昌昌的博客·2023-06-24 08:16

Flink Table/Sql自定义Kudu Sink实战(其它Sink可参考)

目录1.背景2.原理3.通过Trino创建Kudu表4.FlinkKuduTableSinkProject项目4.1pom.xml4.2FlinkKuduTableSinkFactory.scala4.3META-INF
Bulut0907·2023-06-20 13:42

【Trino实战】Trino下ORC与Parquet查询性能分析

Trino下ORC与Parquet查询性能分析环境OS：CentOS6.5JDK：1.8内存：256G磁盘：HDDCPU：Dual8-coreIntel®Xeon®CPU(32Hyper-Threads
顧棟·2023-06-19 12:16

shell 常用工具指令

于是将常用开发语言的安装固化成脚本，方便后续使用项目:shell-tools举例:安装trino较高版本，需要jdk17，通过这个项目直接执行makejava-new即可安装完成后，环境变量中自动就配置了
xiaoliizi·2023-06-11 02:48

【Trino练习】Trino 基于hive schema 进行的查询验证

Trino基于hiveschema进行的查询验证数据准备国家城市出租车出车记录#创建测试库createDATABASEifnotEXISTStest_trinoCOMMENT'Trino测试的库'WITHDBPROPERTIES
顧棟·2023-06-09 00:53

【Trino实战】Elasticsearch Connector辅助说明

ElasticsearchConnector文章目录ElasticsearchConnector要求与配置特殊情况的处理数组类型的处理原始JSON（RawJson）的处理查询全文检索谓词下推sql支持程度Tablefunctions原生查询`raw_query(varchar)->table`要求与配置对ES的版本要求：(Elasticsearch6.6.0orlater)orOpenSearch
顧棟·2023-06-08 14:13

Iceberg +Flink+CDH+Trino+Hive

Iceberg+Flink+CDH+Trino+Hive集群环境名称版本描述flink1.3.2开源版本cdh6.3.2开源版本hive2.1.1-cdh6.3.2cdh6.3.2中版本hadoop3.0.0
我去探险了·2023-04-20 05:37

Presto

一Presto基本介绍Presto分成两个开源框架来维护Prestodb由facebook维护Prestosql（现在更名为trino）两个框架的架构和原理基本一致，所以使用安装起来没有差别，1Prestosql
dulangMaster·2023-04-02 09:03
上一页 1 2 3 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他