HAWQ

111.Parquet表的使用

Parquet格式：数据模型:Avro,Thrift,ProtocolBuffers,POJOs查询引擎:Hive,Impala,Pig,Presto,Drill,Tajo,HAWQ,IBMBigSQL
大勇任卷舒·2024-01-21 02:33

OushuDB 管理指南之资源管理（中）

MTY4ODg1MTEzNzAyMzAyMA_498422_MsIP59ZdCMDdPm0E_1639648579.png1、资源管理配置用户可以通过以下两个参数(hawq-site.xml中)配置资源管理器可以分配的资源数量
北漂一号·2023-11-26 16:38

HAWQ：基于 Hessian 的混合精度神经网络量化

HAWQ：基于Hessian的混合精度神经网络量化摘要动机方法海森方法的有效性分析海森矩阵方法推导根据幂迭代求海森矩阵的最大特征值根据海森矩阵最大特征值确定量化精度与顺序实验结果ResNet20OnCIFAR
AI异构·2023-10-14 14:05

企业级数据仓库-理论知识

HAWQ
beyond_champion·2023-09-17 03:39

OushuDB 安装与升级之安装 HDFS

安装HDFS由于hadoop依赖于特定版本的snappy，请先卸载snappy确保安装的顺利进行：hawqssh-fhostfile-e'yumremove-ysnappy'HAWQ的HDFS采用HA的方式进行安装配置
北漂一号·2023-09-14 14:46

开源OLAP引擎测评报告(SparkSql、Presto、Impala、HAWQ、ClickHouse、GreenPlum)

开源OLAP引擎测评报告(SparkSql、Presto、Impala、HAWQ、ClickHouse、GreenPlum)易观CTO郭炜序现在大数据组件非常多，众说不一，在每个企业不同的使用场景里究竟应该使用哪个引擎呢
zxfBdd·2023-09-01 08:10

OushuDB-启动gpfdist文件服务器

日志分别存放在/home/hawq/log1和/home/hawq/log2中。gpfdist就像是一个文件服务器。其中-d选项指定的是目录是该文件服务器的根目录。gpfdist-d/data
·2023-04-20 16:17

oushudb-数据库的备份和恢复

再导入导出之前，为了保证你有足够的磁盘空间来存储备份文件，我们可以通过如下命令得到数据库大小:mydb=#SELECTsodddatsizeFROMhawq_toolkit.hawq_size_of_databaseWHEREsodddatname
·2023-04-20 16:16

HADOOP和MPP数据库的区别

更加封闭，但很多MPP数据库使用HDFS存储系统，计算则不采用MAPREDUCE，比如:HAWQ.当查询失败时，MPP数据库会终止整个查询，重新提交。
价值成长·2023-04-06 23:52

(Presto、HAWQ、ClickHouse、GreenPlum)

这是易观Spark实战营出品的开源Olap引擎测评报告，团队选取了Hive、Sparksql、Presto、Impala、Hawq、Clickhouse、Greenplum大数据查询引擎，在原生推荐配置情况下
探路人·2023-04-06 16:06

HAWQ配置之HDFS HA

二、修改HAWQ的配置文件1，修改hdfs-client.xml有关HA的项目dfs.nameservi
weixin_33795743·2023-04-02 05:46

启动gpfdist文件服务器-

日志分别存放在/home/hawq/log1和/home/hawq/log2中。gpfdist就像是一个文件服务器。其中-d选项指定的是目录是该文件服务器的根目录。gpfdist-d/da
·2023-02-06 16:08

数据库的备份和恢复

再导入导出之前，为了保证你有足够的磁盘空间来存储备份文件，我们可以通过如下命令得到数据库大小:mydb=#SELECTsodddatsizeFROMhawq_toolkit.hawq_size_of_databaseWHEREsodddatname
·2023-02-06 16:36

OushuDB-启动gpfdist文件服务器

日志分别存放在/home/hawq/log1和/home/hawq/log2中。gpfdist就像是一个文件服务器。其中-d选项指定的是目录是该文件服务器的根目录。gpfdist-d/data
·2023-02-06 16:36

《HAWQ-V3: Dyadic Neural Network Quantization》论文阅读

HAWQ-V3阅读笔记Abstract混合精度量化，integer-only，Methodology只采用均匀量化权重对称量化，激活非对称量化，对量化步长S采用静态量化，采用per-channel的量化方式
Niko_尼公子不想转码·2023-01-05 08:24

#SQL on Hadoop技术分析

目前比较主流的有Impala，SparkSQL，HAWQ，Tez，Drill，Presto，Tajo等。下面从技术层
葡萄喃喃呓语·2022-02-14 03:18

关于实时数仓

大数据领域开源OLAP引擎包括不限于Hive、Hawq、Presto、Kylin、Impala、SparkSQL、Druid、Clickhouse、Greeplum等等。
夜丨雨·2022-02-09 15:49

全面解析SQL on Hadoop中用到的主要技术

而对于HAWQ这样的商业产品和apachedrill这样成熟度还不是很高的开源方案就不做过多了解了。
丨程序之道丨·2022-02-06 11:31

OushuDB 安装与升级之安装 HDFS

由于hadoop依赖于特定版本的snappy，请先卸载snappy确保安装的顺利进行：hawqssh-fhostfile-e'yumremove-ysnappy'HAWQ的HDFS采用HA的方式进行安装配置
·2021-11-25 19:21

OushuDB 如何安装与升级

首先在oushum1，修改/usr/local/hawq/etc/slaves，将所有OushuDB的segment节点的hostname写
·2021-11-25 19:21

OushuDB 查看查询执行情况

id|name----+------1|hawq2|hdfs(2rows)Time:16.369mstest=＃\timingoff#关闭时间输出Timingisoff.使用explain语句可以显示出查询计划
·2021-11-23 11:58

OushuDB 基本用法 启动/停止

启动哪些segment是由”/hawq-install-path/etc/slaves”中包含的节点确定的。
·2021-11-23 10:51

Oushu Database和Apache HAWQ的不同

全新执行引擎，充分利用硬件的所有特性，比ApacheHAWQ性能高出5-10倍支持Update和Delete，以及索引C++可插拔外部存储替换JAVAPXF，性能高数倍，无需安装部署PXF额外组件，极大简化了用户安装部署和运维原生支持CSV/TEXT外部存储可以用于不同集群之间共享数据，比如数据仓库和集市之间共享及传输数据可以用于高速数据加载和数据导出可以实现高速备份和恢复可以实现可插拔文件系统：
·2021-11-18 15:30

(Presto、HAWQ、ClickHouse、GreenPlum) - 知乎

这是易观Spark实战营出品的开源Olap引擎测评报告，团队选取了Hive、Sparksql、Presto、Impala、Hawq、Clickhouse、Greenplum大数据查询引擎，在原生推荐配置情况下
·2021-08-25 11:00

Hawq4.0.1.0到Hawq4.5.0.1的升级

##Hawq4.0.1.0到Hawq4.5.0.1的升级**1.配置系统参数**编辑/etc/sysctl.conf文件，内容如下```kernel.shmmax=1000000000kernel.shmmni
lmyzz·2021-05-30 20:32

ext 4.2 grid 分组详细_PostgreSQL、Greenplum、HAWQ、oushuDB统一分区详细讲解

Postgresql、greenplum、HAWQ、oushuDB统一分区详细讲解！【关注茅哥】分享技术，分享科技，如果觉得还可以别忘了关注茅哥、点个赞哦！
雲花糖是我的榮耀·2021-01-15 18:40

HAWQ技术解析（六） —— 定义对象

HAWQ本质上是一个数据库系统，所以这里所说的对象指的是数据库对象。和其它关系数据库类似，HAWQ中有数据库、表空间、表、视图、自定义数据类型、自定义函数、序列等对象。本篇将简述这些对象的创建与管理。
wzy0623·2020-09-17 05:56

HAWQ技术解析（十八） —— 问题排查

（原文地址：http://hawq.incubator.apache.org/docs/userguide/2.1.0.0-incubating/troubleshooting/Troubleshooting.html
wzy0623·2020-09-17 05:56

HAWQ + MADlib 玩转数据挖掘之（八）——聚类方法之k-means

一、聚类方法简介所谓“物以类聚，人以群分”，其核心思想就是聚类。通过聚类，人们能意识到密集和稀疏的区域，发现全局的分布模式，以及数据属性之间有趣的相互关系。在实践中，聚类往往为分类服务，即先通过聚类来判断事务的合适类别，然后再利用分类技术对新的样本进行分类。分类与聚类的区别是：分类是事先定义好类别，类别数不变，分类需要由人工标注训练得到，属于监督学习范畴。聚类则没有事先预定的类别，类别数不确定。聚
wzy0623·2020-09-17 00:05

HDB IN ACTION(1)

SQLonHadoop我们需要知道业界很多产品如hive、Presto、Drill、SparkSQL、Impala等均在发力sqlonhadoop,如果谈及这个话题，需要很多的篇幅，我们这里只需要知道hawq
jameswangcnbj·2020-09-16 23:43

MADlib---indatabase的可扩展数据库分析的开源库

它提供了PivotalGreenplum™，PostgreSQL和Apache™HAWQ®（孵化）HadoopNativeSQL平台上的机器学习，数学和统计方法的数据并行实现。
jameswangcnbj·2020-09-16 23:43

MADlib---indatabase的可扩展数据库分析的开源库

它提供了PivotalGreenplum™，PostgreSQL和Apache™HAWQ®（孵化）HadoopNativeSQL平台上的机器学习，数学和统计方法的数据并行实现。
jameswangcnbj·2020-09-16 22:44

HAWQ技术解析（二） —— 安装部署

一、安装规划1.选择安装介质HAWQ的安装介质有两种选择，一是下载源码手工编译，二是使用Pivotal公司提供的HDB安装包。
wzy0623·2020-09-12 04:53

Apache Hawq-使用中遇到的问题和解决方法

查看函数列表\df+查看自定义函数\dc查看转换\dc+\l查看数据库列表\dtable查看表信息\d+table查看表详细信息select*frominformation_schema.schemata;HAWQ
weixin_34303897·2020-09-12 03:53

Hawq学习笔记 --- 存储过程生成数据

创建一个存储过程createorREPLACEFUNCTIONLoopcopy()RETURNSINTEGERas$$DECLAREjINT;BEGINj:=0;whilej<100loopcopytbl_pccs_biz_act_action_hisfrom'/mnt/disk01/eds/pccs/TBL_PCCS_BIZ_ACT_ACTION_HIS.txt'delimiteras','CS
杨鑫newlfe·2020-09-12 03:51

HAWQ安装方式之RPM包安装

假设HAWQ集群安装在hawq1、hawq2、hawq3三台主机上。
奋斗, 拼·2020-09-12 03:40

Hawq安装搭建

环境列表操作系统：centos764位Hawq版本：gitclonehttps://git-wip-us.apache.org/repos/asf/incubator-hawq.git虚拟机主机列表主机名
treacle田·2020-09-12 03:40

HAWQ手动安装

HAWQ手动安装及使用手册1HAWQ简介HAWQ是Pivotal设计的一个大规模并行SQL分析处理引擎，支持事务处理。HAWQ将复杂的查询分割成简单的任何，并分发到并行处理系统中的处理单元执行。
SunShine2025·2020-09-12 03:15

Apache HAWQ集群的安装部署

今天我们就来聊聊怎么部署强大的HAWQ2.0吧。企业版的HAWQ你花了钱基本就可以躺着等它安装好了，所以这里先不讨论，我们来讲讲社区版HAWQ的多节点集群的安装部署。
大数据社区·2020-09-12 02:36

lease机制导致hdfs创建文件失败

WARNorg.apache.sqoop.tool.EvalSqlTool-SQLexceptionexecutingstatement:org.postgresql.util.PSQLException:,error:FailedtoCREATE_FILE/hawq_data
沉默的迷茫·2020-09-11 07:52

HAWQ技术解析（八） —— 大表分区

一、HAWQ中的分区表与大多数关系数据库一样，HAWQ也支持分区表。这里所说的分区表是指HAWQ的内部分区表，外部分区表在后面“外部数据”篇讨论。
wzy0623·2020-08-24 06:27

【HAWQ】【行列转换】插件tablefunc安装和使用

说明此功能只在测试环境论证过，没有在生产环境论证，如需使用，请自行评估风险HAWQ版本PostgreSQL8.2.15(GreenplumDatabase4.2.0build1)(HAWQ2.4.0.0builddev
晓_mini·2020-08-20 17:14

【HAWQ】【行列转换】插件tablefunc安装和使用

说明此功能只在测试环境论证过，没有在生产环境论证，如需使用，请自行评估风险HAWQ版本PostgreSQL8.2.15(GreenplumDatabase4.2.0build1)(HAWQ2.4.0.0builddev
晓_mini·2020-08-20 17:14

Calcite RBO rule 解析和自定义

什么是查询优化器查询优化器是传统数据库的核心模块，也是大数据计算引擎的核心模块，开源大数据引擎如Impala、Presto、Drill、HAWQ、Spark、Hive等都有自己的查询优化器。
GuoSmileSmile·2020-08-11 12:50

HAWQ取代传统数仓实践（七）——维度表技术之维度子集

有些需求不需要最细节的数据。例如更想要某个月的销售汇总，而不是某天的数据。再比如相对于全部的销售数据，可能对某些特定状态的数据更感兴趣等。此时事实数据需要关联到特定的维度，这些特定维度包含在从细节维度选择的行中，所以叫维度子集。维度子集比细节维度的数据少，因此更易使用，查询也更快。有时称细节维度为基本维度，维度子集为子维度，基本维度表与子维度表具有相同的属性或内容，称这样的维度表具有一致性。一致的
wzy0623·2020-08-04 22:29

HAWQ取代传统数仓实践（八）——维度表技术之角色扮演维度

单个物理维度可以被事实表多次引用，每个引用连接逻辑上存在差异的角色维度。例如，事实表可以有多个日期，每个日期通过外键引用不同的日期维度，原则上每个外键表示不同的日期维度视图，这样引用具有不同的含义。这些不同的维度视图具有唯一的代理键列名,被称为角色，相关维度被称为角色扮演维度。当一个事实表多次引用一个维度表时会用到角色扮演维度。例如，一个销售订单有一个是订单日期，还有一个请求交付日期，这时就需要引
wzy0623·2020-08-04 22:29

SQL数据分析概览——Hive、Impala、Spark SQL、Drill、HAWQ 以及Presto+druid

本文涵盖了6个开源领导者：Hive、Impala、SparkSQL、Drill、HAWQ以及Presto，还加上Calcite、Kylin、Phoenix、Tajo和Trafodion。
djph26741·2020-08-04 14:32

主流开源SQL（on Hadoop）总结，不断改进的Hive始终遥遥领先

本文涵盖了6个开源领导者：Hive、Impala、SparkSQL、Drill、HAWQ以及Presto，还加上Calcite、Kylin、Phoenix、Tajo和Trafodion。
HAOXUAN168·2020-08-02 15:44

全面解析SQL on Hadoop中用到的主要技术

而对于HAWQ这样的商业产品和apachedrill这样成熟度还不是很高的开源方案就不做过多了解了。
程序の之道·2020-08-02 14:21

HAWQ + MADlib 玩转数据挖掘之（一）——安装

一、MADlib简介MADlib是Pivotal公司与伯克利大学合作的一个开源机器学习库，提供了精确的数据并行实现、统计和机器学习方法对结构化和非结构化数据进行分析，主要目的是扩展数据库的分析能力，可以非常方便的加载到数据库中,扩展数据库的分析功能，2015年7月MADlib成为Apache软件基金会的孵化项目，其最新版本为MADlib1.11，可以用在Greenplum、PostgreSQL和H
wzy0623·2020-08-01 07:28
上一页 1 2 3 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他