在Hive/Spark上运行执行TPC-DS基准测试 (ORC和TEXT格式)

目前,在Hive/Spark上运行TPC-DS Benchmark主要是通过早期由Hortonworks维护的一个项目:hive-testbench 来完成的。本文我们以该项目为基础介绍一下具体的操作步骤。不过,该项目仅支持生成ORC和TEXT格式的数据,如果需要Parquet格式,请参考此文《在Hive/Spark上执行TPC-DS基准测试 (Parquet格式)》。

备注:本文使用的Hive/Spark环境为AWS EMR,版本:6.11。本文操作须在EMR Master节点上执行!因为脚本中会使用到hdfs、beeline等命令行工具。

1. 前置条件

hive-testbench是在TPC-DS的官方工具包基础上开发的,所以它的编译和安装与TPC-DS官方工具包的编译和安装类似,在build前需要安装gccmaven,安装后执行如下命令进行build:

sudo yum -y install git
git clone https://github.com/hortonworks/hive-testbench.g

你可能感兴趣的:(付费专栏,hive,spark,tpc-ds,orc,csv)