tpc-ds

Hive 基于MapReduce引擎 map和reduce数的参数控制原理与调优经验

1.概述主要对基于MR的map数和reduce数测试与调优2.数据准备（1）表信息本次测试的表和sql都是使用的TPC-DS，表文件存储格式为text表名是否压缩总数占用空间文件数date_dim否730499.8M1item
abcdggggggg·2024-02-20 20:03

openLooKeng-gaussDB多分片tpc-ds指导

本文旨在介绍对openLooKeng进行多分片特性进行tpc-ds99语句性能测试的方法，使用的工具为apachejmeter，使用的数据源为gaussDB200。1.gaussDB连接使用方法指导1.1数据库连接1.以操作系统用户omm登录GaussDB200集群的任一主机2.执行“gs_om-tstatus--detail”命令查询集群各实例情况3.确认CN的端口号的方法，执行”cat/srv
mumusuibian·2024-01-29 01:18

ByConity与主流开源OLAP引擎（Clickhouse、Doris、Presto）性能对比分析

因此，本文将使用TPC-DS基准测试的99个查询语句来对比开源的ClickHouse、Doris、Presto以及ByConity这4个OLAP引擎的性能表现，以便为企业选择合适的OLAP引擎提供参考。
MoMoSQL666·2024-01-21 08:14

tpc-h tpc-ds 数据生成--postgresql

1.修改makefile#makefile.suite的更改参数如下CC=gcc#CurrentvaluesforDATABASEare:INFORMIX,DB2,TDAT(Teradata)#SQLSERVER,SYBASE,ORACLE,VECTORWISE#CurrentvaluesforMACHINEare:ATT,DOS,HP,IBM,ICL,MVS,#SGI,SUN,U2200,VMS
templarzq·2024-01-14 06:29

LAS Spark 在 TPC-DS 的优化揭秘

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群文章主要介绍了火山引擎湖仓一体分析服务LASSpark（下文以LASSpark指代）在TPC-DS上的性能突破与优化策略
字节数据平台·2023-10-16 14:26

【TPC-DS】99条query的SQL（16-40）

--startquery16instream0usingtemplatequery16.tplselecttop100count(distinctcs_order_number)as"ordercount",sum(cs_ext_ship_cost)as"totalshippingcost",sum(cs_net_profit)as"totalnetprofit"fromcatalog_sales
恋物·2023-10-08 05:48

tcp-ds数据集sql查询

TPC-DS是与真实场景非常接近的一个测试集，它包含7张事实表，17张纬度表，平均每张表含有18列。用这个数据集能够很好的模拟企业数据查询、报表生成以及数据挖掘等复杂应用。
a_big_cat·2023-10-07 06:32

趋势解读 | 从Databricks与Snowflake之争，再谈湖仓一体化架构

【作者】郑金辉一、Databricks和Snowflake之争2021年11月初，Databricks和Snowflake因TPC-DS测试结果正面开撕，掐得挺狠，双方创始人都亲自下场了，好
麦聪聊数据·2023-09-18 23:06

TPC-DS 测试是否支持 Glue Data Catalog？

在上一篇文章《在Hive/Spark上执行TPC-DS基准测试(PARQUET格式）》中，我们详细介绍了具体的操作方法，当时的集群使用的是HiveMetastore，所有操作均可成功执行。
　Laurence·2023-08-20 06:01

在Hive/Spark上执行TPC-DS基准测试 (PARQUET格式）

在上一篇文章：《在Hive/Spark上运行执行TPC-DS基准测试(ORC和TEXT格式）》中，我们介绍了如何使用hive-testbench在Hive/Spark上执行TPC-DS基准测试，同时也指出了该项目不支持
　Laurence·2023-08-19 15:39

在Hive/Spark上运行执行TPC-DS基准测试 (ORC和TEXT格式）

不过，该项目仅支持生成ORC和TEXT格式的数据，如果需要Parquet格式，请参考此文《在Hive/Spark上执行TPC-DS基准测试(Parquet格式）》。备注：本文使用的Hive/Spar
　Laurence·2023-08-15 11:55

TPC-DS 标准介绍、工具下载地址

目录一、TPC-DS标准介绍1.DMS介绍2.TCP-DS概念二、数据库模型1.数据库模型介绍2.数据库模型包含内容三、数据生成器1.数据生成器介绍2.数据生成器包含内容四、查询集合1.查询集合介绍2.
Lightning-py·2023-08-04 21:19

编译 TPC-DS ( dsdgen / dsqgen ) 生成测试数据和查询语句

所有Benchmark工具包的下载地址是：https://www.tpc.org/tpc_documents_current_versions/current_specifications5.asp,TPC-DS
　Laurence·2023-08-02 01:44

dsdgen命令 的用法，定义，命令参数详解，以及使用案例

TPC-DS(TestPerformanceCouncilDecisionSupport)是一款用于数据仓库基准测试的测试套件，包含了针对数据仓库的45种负载。
鲸落ж·2023-06-16 13:51

数据集 TPC-H、TPC-DS、IMDB的导入使用

数据集地址一.TPC-H数据集数据集下载TPC-H数据集可采用gcc下载或者直接下载zip包，然后解压即可。具体使用方法可以查看dbgen文件目录下的：README文件数据表的创建与约束在下载的文件包下的dbgen文件夹下，有2个文件，分别是dss.ddl、dss.ri。一个用于创建表、一个用于规约。（1）dss.ddl是创建表的语句，将里面的内容放入到dss.sql中（你自己创建的sql文件）,
四岁小·2023-06-15 13:16

EMR集群运行TPC-DS在云盘和OSS中的对比

1.简介TPC-DS是大数据领域最为知名的Benchmark标准。本文介绍使用阿里云EMR集群运行TPC-DS在云盘和OSS中的表现对比。
q495673918·2023-04-13 05:07

大数据组件Hive性能测试和性能优化

2、测试方法使用业界sql性能测试工具tpc-ds，选择个别SQL做
Wilbur.Dreamer·2023-04-06 19:29

DataWorks系列（一）： Dataworks下的MaxCompute（ODPS）的基本简介--经典六问

TPC-DS测试Dataworks下的MaxCompute（ODPS）基
NICEDAYSS·2023-04-04 18:25

Apache Flink 1.10.0 重磅发布，年度最大规模版本升级！

Flink1.10同时还标志着对Blink[1]的整合宣告完成，随着对Hive的生产级别集成及对TPC-DS的全面覆盖，Flink在增强流式SQL处理能力的同时也具备了成熟的批处理能力。
尼小摩·2023-03-29 07:55

自研云原生数据仓库AnalyticDB再破权威评测TPC-DS世界纪录！

南仙，阿里云数据库高级技术专家北京时间2020/5/4青年节，TPC（全球最知名非盈利的数据管理系统评测基准标准化组织）官网正式上线AnalyticDBTPC-DS成绩，AnalyticDB通过严苛的TPC-DS
阿里云数据库·2023-03-19 21:34

Spark2.1和2.2 SQL物理执行策略关键源码分析

1.文章开始之前先附上一句SQL，使用tpc-ds的表结构，我们围绕这句SQL讲。
orisonchan·2023-03-15 08:15

TPC-DS每条querySql释义

查询SQLSQL意义query1查找退回商品的次数比某一年某一特定州，某一商店的平均退货次数多20%以上的客户query2报告每周网络和目录销售增长的比例，从一年到下一年的每一周。即计算星期一、星期二、…从一年后的周日销售query3报告一个特定制造商在一年的特定月份的所有销售中，每项产品品牌的总延伸销售价格query4通过目录找到比在商店花费更多钱的客户。确定首选客户及其原产国query5在14
恋物·2023-03-11 23:41

Trino(Presto345) on Hive知识总结及TPC-DS测试(转)

版权声明：本文为CSDN博主「@TangXin」的原创文章，遵循CC4.0BY-SA版权协议，转载请附上原文出处链接及本声明。原文链接：https://blog.csdn.net/Happy_Sunshine_Boy/article/details/112007602文章目录1.PrestoSQL更名Trino2.PrestoSQL-345与Hive-3.1.0的操作2.1Presto连接Hive
你的努力时光不会辜负·2023-02-16 22:41

TPC-DS的25张表介绍

TPC-DS测试会生成25张表，其中包括7张业务数据的事实表，17张业务数据的维度表，还有1张TPC-DS的系统表（与性能测试无关）SyntaxDescriptionDescription表类型表名称说明事实表
恋物·2023-02-01 15:46

TPC-DS 性能测试

TPC-DS介绍https://blog.csdn.net/justlpf/article/details/106859262数据库性能基准测试——TPCC、TPCH及TPCDS的区别https://blog.csdn.net
胖胖胖胖胖虎·2023-01-31 21:32

【转】TPC-C 、TPC-H和TPC-DS区别

TPC-C、TPC-H和TPC-DS区别_RunningShare的博客-CSDN博客_tpc-cTPC-C:TPCBenchmarkC于1992年7月获得批准，是一个在线事务处理（OLTP）基准。
小金子的夏天·2023-01-31 21:31

数据库性能基准测试——TPCC、TPCH及TPCDS的区别

其中被业界广泛接受和使用的有TPC-C、TPC-H和TPC-DS。
CA-CA·2023-01-31 21:30

TPC-DS安装测试hive

目标：通过TPC-DS测试hive，内网安装tpcds，执行sql47对hive进行测试。
烟肆酒家·2023-01-26 07:01

Hive基准测试神器-hive-testbench

TPC-DS测试概述在对Hive的语法及性能进行测试时，需要构造大量数据，TPC-DS测试基准是TPC组织推出的用于替代TPC-H的下一代决策支持系统测试基准。
shining_yyds·2023-01-13 15:09

技术分享 | Presto性能对比测试：Kubernetes部署 VS 物理机部署

目录一、引言Presto系统架构传统方式部署Presto存在的问题二、使用Kubernetes部署PrestoKubernetes部署方案的优点Kubernetes部署方案的问题三、对比测试评估测试介绍TPC-DS
Alluxio·2022-12-30 09:59

EMR-Jindo Spark 核心引擎优化

凭借该引擎，EMR成为第一个云上TPC-DS成绩提交者。经过持续不断地内核优化，目前基于最新EMR-Jindo引擎的TPC
YaPengLi.·2022-12-15 11:14

2021年12月国产数据库排行榜: openGauss节节攀升拿下榜眼，GaussDB与TDSQL你争我夺各进一位...

其中三方测评方面，在原信通院大数据产品能力评测的基础上，新增TPC-C、TPC-DS、TPC-H以及电信行业能力评测四项指标，体现数据库产品在特定场景下的基准达标，以及性能和稳定性；生态体系指标，包含
数据和云·2022-11-25 18:21

2021年12月国产数据库排行榜: openGauss节节攀升拿下榜眼，GaussDB与TDSQL你争我夺各进一位

其中三方测评方面，在原信通院大数据产品能力评测的基础上，新增TPC-C、TPC-DS、TPC-H以及电信行业能力评测四项指标，体现数据库产品在特定场景下的基准达标，以及性能和稳定性；生态体系指标，包含社区平台
MoMoSQL666·2022-11-25 18:44

大数据技术Spark3.0详解

1、Spark3.0新功能（1）通过自适应查询执行，动态分区修剪和其他优化，与Spark2.4相比，TPC-DS的性能提高了2倍（2）符合ANSISQL（3）pandasAPI有重大改进，包括Python
wespten·2022-10-04 14:04

Apache Hudi vs Delta Lake：透明TPC-DS Lakehouse性能基准

1.介绍最近几周，人们对比较Hudi、Delta和Iceberg的表现越来越感兴趣。我们认为社区应该得到更透明和可重复的分析。我们想就如何执行和呈现这些基准、它们带来什么价值以及我们应该如何解释它们添加我们的观点。2.现有方法存在哪些问题？最近Databeans发布了一篇博
leesf·2022-08-07 20:00

PostgreSQL vs MySQL TPC-H 测试

昆仑数据库继承并扩展了PostgreSQL在分析类SQL查询处理方面的强大能力，可以支持TPC-H和TPC-DS的所有查询。
·2022-04-12 17:42

【TPC-DS】99条query的SQL（1-15）

--startquery1instream0usingtemplatequery1.tplwithcustomer_total_returnas(selectsr_customer_skasctr_customer_sk,sr_store_skasctr_store_sk,sum(SR_FEE)asctr_total_returnfromstore_returns,date_dimwheresr_
恋物·2022-03-16 15:27

spark-sql-perf

测试环境：spark2.4.0spark-sql-perf_2.11-0.5.0-SNAPSHOT测试tpcds-kit通过tpcds-kit生成TPC-DS数据。
breeze_lsw·2022-02-21 10:12

【Iceberg＋Alluxio】助力加速数据通道（下篇）

它创建table也是一样，我们可以从一个TPC-DS数据的customer表里抽几列再创建一个table，你可以指定这个数据的格式，可以是Parquet也可以是ORC格式。也可以同时
·2022-02-16 19:43

TPC-H表结构与22条查询SQL语句介绍

TPC发布的被业界广泛接受使用的测试基准有TPC-C、TPC-H、TPC-DS等，TPC-C是针对OLTP的测试基准，TPC-H和TPC-DS则通常是针对OLAP的测试基准。
·2022-01-21 22:07

2021年12月国产数据库排行榜:GaussDB与TDSQL你争我夺各进一位

其中三方测评方面，在原信通院大数据产品能力评测的基础上，新增TPC-C、TPC-DS、TPC-H以及电信行业能力评测四项指标，体现数据库产品在特定场景下的基准达标，以及性能和稳定性；生态体系指标，包含社区平台
·2021-12-09 10:51

26万奖金 | 第一届 E-MapReduce 极客挑战赛 诚邀英才前来挑战！

据悉，本次大赛由阿里云、英特尔联合举办，聚焦SparkSQL执行效率，探索TPC-DS测试集最优性能，助力海量数据轻松上云，全程将有资深技术专家提供技术指导。
·2021-08-19 16:20

SQL on Hadoop 之查询效率分析

本文分析用的benchmark是TPC-DS，查询语句如下：selecti_item_desc,i_cate
群演_·2021-06-22 03:22

Flink SQL 性能优化：multiple input 详解

本文将以一个SQL作业为例介绍上述优化，并展示Flink1.12在TPC-DS测试集上取得的成果。作者｜贺小令、翁才智执行效率的优化一直是Flink追
阿里云开发者·2021-03-05 13:50

Flink SQL 性能优化：multiple input 详解

本文将以一个SQL作业为例介绍上述优化，并展示Flink1.12在TPC-DS测试集上取得的成果。执行效率的优化一直是Flink追寻的目标。在大多数作
·2021-02-25 11:18

Flink SQL 性能优化：multiple input 详解

本文将以一个SQL作业为例介绍上述优化，并展示Flink1.12在TPC-DS测试集上取得的成果。执行效率的优化一直是Flink追寻的目标。在大多数作
·2021-02-25 11:20

HBase最佳实践-用好你的操作系统

终于又切回HBase模式了，之前一段时间因为工作的原因了解接触了一段时间大数据生态的很多其他组件（诸如Parquet、Carbondata、Hive、SparkSQL、TPC-DS/TPC-H等），虽然只是走马观花
dianzhouyu2189·2020-08-22 16:22

TPC-DS标准规范（一）

TPC-DS是一套决策支持系统测试基准，主要针对零售行业。
唐犁·2020-08-15 23:04

presto+alluxio查询性能分析

Alluxio+Presto查询1、总述主机cpu内存磁盘p1(master)16core64GB100GBP28core32GB100GBP28core32GB100GB之前我基于TPC-DS做了很多轮测试
爪哇者·2020-08-15 06:56

阿里云大数据+AI技术沙龙上海站回顾 | 揭秘TPC-DS 榜单第一名背后的强大引擎...

11月16日，阿里云大数据+AI技术沙龙，首站上海站取得圆满成功。我们邀请到阿里巴巴计算平台事业部技术专家辛庸，辰山，抚月，诚历；高级技术专家铁杰，以及Intel软件工程师喻杉和大家进行分享交流。以下是各议题相关资料沉淀。点击文末"阅读原文"可直达相关链接。议题一：基于Spark打造高效云原生数据分析引擎视频观看链接：https://developer.aliyun.com/live/1712?s
weixin_45906054·2020-08-10 11:27
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他