impala

Impala架构概述

因为直接使用的Hive的metadata，也就是impala的元数据都存储在Hive中的metadata之中，并且Impala兼容大部分Hive语法。
Nekou_·2023-04-04 22:14

Impala架构及其原理

一、Impala概述Impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。
数据小二·2023-04-04 22:11

impala理论篇之六：查询的执行流程

Impala如何执行查询下面这个图表示impala在Hadoop集群中所处的位置：Impala由以下组件组成：Clients-HUE、ODBCclients、JDBCclients和impalashell
AllenGd·2023-04-04 22:36

impala实战篇

第1章impala基本概念1什么是impalaCloudera公司推出，提供对HDFS、Hbase数据的高性能、低延迟的交互式SQL查询功能。
AllenGd·2023-04-04 22:36

Impala 架构了解

Impala整体架构了解一Impala官网PB级大数据实时查询分析引擎，具有实时、批处理、多并发等优点，提供对HDFS、Hbase数据的低延迟SQL查询；Impala不使用MapReduce，通过分布式查询引擎访问数据
叫我阿呆就好了·2023-04-04 22:33

Hadoop/Spark 太重，esProc SPL 很轻

经过多年的应用和发展，Hadoop已经被广泛接受，不仅直接应用于数据计算，还发展出很多基于它的新数据库，比如Hive、Impala等。Hadoo
逛逛GitHub·2023-04-04 21:22

Impala中replace和translate的用法和区别

说到字符串替换功能函数，大家都会不约而同地想到replace函数，毕竟replace函数在各种语言中都是由应用，且比较容易理解；在Impala中，还有一个字符串替换函数translate，也可以用于做函数替换
丿潇湘丶书笛·2023-04-04 19:26

Impala解决cast导致UDF ERROR: Decimal expression overflowed

在使用castasdecimal时，有时会发生报错，报错内容大致为：[ImpalaJDBCDriver](500312)Errorinfetchingdatarows:UDFERROR:Decimalexpressionoverflowed
丿潇湘丶书笛·2023-04-04 19:55

Impala查找指定字符位置instr

在数据查询的应用场景中，不乏需要进行数据字符定位，获取该字符所在位置，进而配合进行数据截取、判断、分组、替换等等操作；往往有时候，我们未必知道该字符所在的位置，也不能断言该字符就是从某位置开始，不能觉得理所当然，此时我们就需要应用instr函数，先进行字符的定位，再配合其他函数，如截取场景，进行查询函数的搭配使用，以达到我们的预期效果，这正式我们应用instr的目的和价值所在；下面直接用实例说明i
丿潇湘丶书笛·2023-04-04 19:55

hive 的分组排序用法与 Impala 分组排序

hive的分组排序用法与Impala分组排序hive支持两种语法：row_number()over(partitionby分组的字段orderby排序的字段)asrank(rank可随意定义表示排序的标识
hey、韩韩·2023-04-04 19:53

Impala实现group_concat分组排序拼接

首先，先声明：常见数据库Oracle、Mysql、MSsql等，是支持group_concat中使用orderby的，但是Impala是不支持group_concat中使用orderby的（百度了、想尽办法折腾了
丿潇湘丶书笛·2023-04-04 19:24

hive中字符串查找函数 instr 和 locate

(stringstr,stringsubstr)--hive语法instr(stringstr,stringsubstr[,bigintposition[,bingintoccurrence]])--impala
奔跑者-辉·2023-04-04 12:15

OLAP 技术选型：对什么进行选型?

OLAP技术架构上图展现的impala技术架构，很直观展示了OLAP技术核心模块：数据模型、存储格式与数据处理架构；数据模型数据模型层主要是解决数据传输问题，通过对数据序列化与反序列化，同时提供了远程调用
浪尖聊大数据-浪尖·2023-04-04 10:40

3.3 Impala 概述,特点, 安装部署 , 架构原理(impalad,statestored,catalogd), shell操作, sql语法, 导入数据, JDBC方式查询,负载均衡及优化

目录交互式查询⼯具Impala第1部分Impala概述1.1Impala是什么1.2Impala优势Impala与Hive对⽐1.3Impala的缺点1.4适⽤场景第2部分Impala安装与⼊⻔案例2.1
CH_ENN·2023-04-03 18:18

ClickHouse原理解析与应用实践

的前世今生在大量数据分析场景的解决方案中，传统关系型数据库很快就被Hadoop生态所取代传统关系型数据库所构建的数据仓库，被以Hive为代表的大数据技术所取代数据查询分析的手段也层出不穷，Spark、Impala
yeedom·2023-04-02 22:45

CDH 安装 presto集成hive和mysql

同Impala一样，作为Hadoop之上的SQL交互式
夜空07·2023-04-02 09:37

2021-12-24 迈向程序猿的第五十四步

目录一、Presto的概述1.1Presto的简介1.2Presto支持的数据源1.3Presto和Hive的比较1.4Presto与Impala的比较二、Presto的体系架构2.1简介与图解2.2Presto
改个昵称就有这么难吗·2023-04-02 09:57

Presto架构和使用总结

目录Presto概念Presto架构图Presto优缺点Hive和Presto性能比较Presto、Impala性能比较
击水三千里·2023-04-02 09:21

实时数仓架构哪些事儿(续13-PostgreSQL CDC数据实时接入Kudu)

书接前文，在上一节中，我们将MysqlCDC数据实时接入了ImpalaKudu表。
登峰大数据·2023-03-31 21:26

pyhive的安装

pyhive的安装impyla连接Hive遇到的坑安装impala报错及解决办法以下涉及所有包Can'tconnecttounsecuredhive.SASLerror:TTransportException
ZAK_ML·2023-03-31 16:56

Presto一个处理秒级查询的框架类似Impala

Impala只用于hive，稍领先于Presto，但是presto在数据源的支持上非常丰富，有hive,redis,tushujuku,图数据库、redis、关系型数据库。
'煎饼侠·2023-03-31 12:28

【Linux】Impala源码编译全过程小结

1.背景介绍1、开源组件Impala-3.1.0、3.2.0、3.3.0版本进行编译操作。
小白鸽i·2023-03-30 23:39

Oracle 关联表更新

背景：根据甲方要求，需要对大数据平台指定表(hive、impala表)的历史数据[2021-01-01至2023-03-29]指定字段进行批量更新，然后把表同步到Oracle。
AllenGd·2023-03-30 20:15

hive表数据更新insert overwrite/merge into

背景：根据甲方要求，需要对大数据平台指定表(hive、impala表)的历史数据[2021-01-01至2023-03-29]指定字段进行批量更新，然后把表同步到Oracle。
AllenGd·2023-03-30 20:15

impala中的刷新元数据和刷新表

impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。
AllenGd·2023-03-30 20:44

Spark3每个job之间任务间隔过长

公司的跑批引擎从impala改成Spark3已经有一个多月了。不得不说，跑批稳定了好多。资源控制有相对稳定了很多。Spark3比CDH的hiveonspark2.4.0要快不少。
黑眼圈@~@·2023-03-30 02:28

导出SQL执行结果

MySQLmysql-A数据库名-hIP-u账号-p密码-ss-e"SQL语句;"|sed's/\t/","/g;s/^/"/;s/$/"/;s/\n//g'>文件名.csvImpalaimpala-shell-q"SQL
chen1null·2023-03-29 02:56

cannot import name 'constants' from 'TCLIService' (unknown location)

同时使用impala和pyhive链接时会报这个错误，原因是import顺序不对导致冲突。
QianmianH·2023-03-27 10:45

OLAP选型及使用场景

这时就引入了OLAP引擎，本文以impala和spark为主进行介绍。
多彩海洋·2023-03-24 22:43

CDH5.13.x文档翻译SQL Differences Between Impala and Hive

https://www.cloudera.com/documentation/enterprise/5-13-x/topics/impala_langref_unsupported.html#langref_hiveql_deltaImpala
gregocean·2023-03-24 07:10

正确使用Impala的invalidate metadata与refresh语句

在Impala中，invalidatemetadata与refresh语句都可以用来刷新表，但它们本质上还是不同的。本文简要分析一下，并说明它们应该在什么情况下使用。
LittleMagic·2023-03-21 13:13

hive 常见问题汇总

hivetimestamp与impala显示不一致hive''和null不一致导入hive\n\r特殊字符hive动态分区插入
多彩海洋·2023-03-20 14:21

IMPALA&HIVE大数据平台数据血缘与数据地图

https://www.freesion.com/article/1176553841/impala数据血缘与数据地图系列：1.解析impala与hive的血缘日志2.实时采集impala血缘日志推送到
七_seven·2023-03-20 01:14

一个由TimeZone引发的BUG

数据平台的数据流水线如下图所示，最近的平台的数据出现异常，数据导入过程中随机出现Impala中的数据比Loghub中的数据少了很多。
Caoyun·2023-03-18 20:07

impala 不可轻易更换列类型

1.建表[slave01:21000]>usetmp;Query:usetmp[slave01:21000]>createtableml_2(aint,bdouble,cvarchar(10));Query:createtableml_2(aint,bdouble,cvarchar(10))Fetched0row(s)in0.17s[slave01:21000]>showcreatetableml
老农民挖数据·2023-03-18 17:33

003 Impala | 安装前性能配置

为了更好的发挥Impala的性能，需要在impala的配置项，如下几点，Short-CircuitReads开启HDFS短路读取HDFS也有短路读取的功能，因此在安装Impala之前开启次功能，这样Impala
__destory__·2023-03-18 02:11

IMPALA 解析JSON 结论： 无法用于where条件

最近MYSQL5.7更新支持JSON语法，于是使用SQOOP同步了数据到大数据平台，准备使用IMPALA来做分析但是发现IMPALA无法使用JSON用于where条件，只能用于select，不过我未尝试使用基于嵌套表去查询作为替代方案
会长大的幸福_8bf9·2023-03-17 18:40

从Linux服务器本地写文件到hdfs

使用python中的impalapackage中的executemany方法向hivetable写入数据十分慢。可以使用pyhdfs向hdfs文件系统中写入文件，然后加载到table的分区实现。
cosine90·2023-03-17 10:47

大数据知识点分享：大数据平台应用 17 个知识点汇总

在Hadoop平台中，一般大家都把hive当做数据仓库的一种选择，而Mpp数据库的典型代表就是impala，presto。
haotian1685·2023-03-17 07:27

Impala：Java API导入数据到Impala Parquet表

摘要：Java，Impala，Parquet导数流程通过Java直接在HDFS上落CSV数据文件，通过Imapal的load语法将CSV映射成二维临时表，最后临时表写入分区表导数流程建表先构建目标表，parquet
xiaogp·2023-03-16 15:03

Impala 数值函数大全

Impala数学函数Impala中数学函数用来执行数值计算，比如基本加法，减法，乘法和除法及更复杂的运算函数列表abs(numeric_typea)返回参数的绝对值--得到-12的绝对值[master:
奥利奥_3357·2023-03-15 15:13

Hue 的SQL查询页面搜索框生效问题处理

集群启用Sentry之后，Hive和Impala的SQL查询页面多了一个搜索框，通过搜索框搜索时，侧边栏一直处于加载状态，如下图所示。首先通过Chrome抓包看到搜索的HTTP请求报了一个500错误。
Caoyun·2023-03-15 11:15

Hive SQL使用技巧&避坑

Impala刷新命令：INVALIDATE
翱翔云端·2023-03-13 06:11

MPP架构、常见OLAP引擎分析

MPP架构、常见OLAP引擎分析一、MPP架构1、SMP2、NUMA3、MPP二、批处理架构和MPP架构三、MPP架构的OLAP引擎1）只负责计算，不负责存储的引擎1、Impala2、Presto2）既负责计算
jerry-89·2023-02-16 20:56

Hudi: Uber Engineering的Apache Hadoop增量处理框架

随着ApacheParquet和ApacheORC等存储格式以及Presto和ApacheImpala等查询引擎的发展，Hadoop生态系统有潜力作为面向分钟级延时场景的通用统一服务层。
Kent_Yao·2023-02-06 10:31

Flume 理论

大数据常用数据处理框架graphLR实时流数据采集-->flume,kafka实时流数据处理-->spark,storm实时数据查询处理-->impala批数据导入导出-->Sqoop批数据查询处理--
袭明·2023-02-04 12:27

spark python 上传代码包_hue通过livy提交spark jar包python文件到spark

背景：集群中有hive、spark2，没有impala需求：通过hue访问hive以及提交spark任务现状：hue以及通过sentry实现了对hive的权限管理CDH5.15.1centos7.4livy
weixin_39927408·2023-02-02 14:58

hadoop介绍

HadoopYARN：HadoopMapReduce：Hadoop生态圈组件：Spark（分布式计算框架）Flink（分布式计算框架）Zookeeper（分布式协作服务）Sqoop（数据同步工具）Hive/Impala
昊昊该干饭了·2023-02-02 14:58

大数据的框架与特点

1.Impalahadoop的sql平台、支持hbase/hdfs、支持超大数据、支持多并发、sql支持好、对内存依赖比较严重。需要自己优化，并且有的语句超过内存会报错。
weixin_30892037·2023-02-02 14:28

Impala的SYNC_DDL

那天去面试，面试官问我知不知道Impala同步数据的方式，我回答invalidatemetadata和refreshtable[partition]，后来他问我还有没有其他的方式，当时我没想到别的，因为工作中用到
润土1030·2023-01-29 04:30
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他