Impala

Presto一个处理秒级查询的框架类似Impala

Impala只用于hive，稍领先于Presto，但是presto在数据源的支持上非常丰富，有hive,redis,tushujuku,图数据库、redis、关系型数据库。
'煎饼侠·2023-03-31 12:28

【Linux】Impala源码编译全过程小结

1.背景介绍1、开源组件Impala-3.1.0、3.2.0、3.3.0版本进行编译操作。
小白鸽i·2023-03-30 23:39

Oracle 关联表更新

背景：根据甲方要求，需要对大数据平台指定表(hive、impala表)的历史数据[2021-01-01至2023-03-29]指定字段进行批量更新，然后把表同步到Oracle。
AllenGd·2023-03-30 20:15

hive表数据更新insert overwrite/merge into

背景：根据甲方要求，需要对大数据平台指定表(hive、impala表)的历史数据[2021-01-01至2023-03-29]指定字段进行批量更新，然后把表同步到Oracle。
AllenGd·2023-03-30 20:15

impala中的刷新元数据和刷新表

impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。
AllenGd·2023-03-30 20:44

Spark3每个job之间任务间隔过长

公司的跑批引擎从impala改成Spark3已经有一个多月了。不得不说，跑批稳定了好多。资源控制有相对稳定了很多。Spark3比CDH的hiveonspark2.4.0要快不少。
黑眼圈@~@·2023-03-30 02:28

导出SQL执行结果

MySQLmysql-A数据库名-hIP-u账号-p密码-ss-e"SQL语句;"|sed's/\t/","/g;s/^/"/;s/$/"/;s/\n//g'>文件名.csvImpalaimpala-shell-q"SQL
chen1null·2023-03-29 02:56

cannot import name 'constants' from 'TCLIService' (unknown location)

同时使用impala和pyhive链接时会报这个错误，原因是import顺序不对导致冲突。
QianmianH·2023-03-27 10:45

OLAP选型及使用场景

这时就引入了OLAP引擎，本文以impala和spark为主进行介绍。
多彩海洋·2023-03-24 22:43

CDH5.13.x文档翻译SQL Differences Between Impala and Hive

https://www.cloudera.com/documentation/enterprise/5-13-x/topics/impala_langref_unsupported.html#langref_hiveql_deltaImpala
gregocean·2023-03-24 07:10

正确使用Impala的invalidate metadata与refresh语句

在Impala中，invalidatemetadata与refresh语句都可以用来刷新表，但它们本质上还是不同的。本文简要分析一下，并说明它们应该在什么情况下使用。
LittleMagic·2023-03-21 13:13

hive 常见问题汇总

hivetimestamp与impala显示不一致hive''和null不一致导入hive\n\r特殊字符hive动态分区插入
多彩海洋·2023-03-20 14:21

IMPALA&HIVE大数据平台数据血缘与数据地图

https://www.freesion.com/article/1176553841/impala数据血缘与数据地图系列：1.解析impala与hive的血缘日志2.实时采集impala血缘日志推送到
七_seven·2023-03-20 01:14

一个由TimeZone引发的BUG

数据平台的数据流水线如下图所示，最近的平台的数据出现异常，数据导入过程中随机出现Impala中的数据比Loghub中的数据少了很多。
Caoyun·2023-03-18 20:07

impala 不可轻易更换列类型

1.建表[slave01:21000]>usetmp;Query:usetmp[slave01:21000]>createtableml_2(aint,bdouble,cvarchar(10));Query:createtableml_2(aint,bdouble,cvarchar(10))Fetched0row(s)in0.17s[slave01:21000]>showcreatetableml
老农民挖数据·2023-03-18 17:33

003 Impala | 安装前性能配置

为了更好的发挥Impala的性能，需要在impala的配置项，如下几点，Short-CircuitReads开启HDFS短路读取HDFS也有短路读取的功能，因此在安装Impala之前开启次功能，这样Impala
__destory__·2023-03-18 02:11

IMPALA 解析JSON 结论： 无法用于where条件

最近MYSQL5.7更新支持JSON语法，于是使用SQOOP同步了数据到大数据平台，准备使用IMPALA来做分析但是发现IMPALA无法使用JSON用于where条件，只能用于select，不过我未尝试使用基于嵌套表去查询作为替代方案
会长大的幸福_8bf9·2023-03-17 18:40

从Linux服务器本地写文件到hdfs

使用python中的impalapackage中的executemany方法向hivetable写入数据十分慢。可以使用pyhdfs向hdfs文件系统中写入文件，然后加载到table的分区实现。
cosine90·2023-03-17 10:47

大数据知识点分享：大数据平台应用 17 个知识点汇总

在Hadoop平台中，一般大家都把hive当做数据仓库的一种选择，而Mpp数据库的典型代表就是impala，presto。
haotian1685·2023-03-17 07:27

Impala：Java API导入数据到Impala Parquet表

摘要：Java，Impala，Parquet导数流程通过Java直接在HDFS上落CSV数据文件，通过Imapal的load语法将CSV映射成二维临时表，最后临时表写入分区表导数流程建表先构建目标表，parquet
xiaogp·2023-03-16 15:03

Impala 数值函数大全

Impala数学函数Impala中数学函数用来执行数值计算，比如基本加法，减法，乘法和除法及更复杂的运算函数列表abs(numeric_typea)返回参数的绝对值--得到-12的绝对值[master:
奥利奥_3357·2023-03-15 15:13

Hue 的SQL查询页面搜索框生效问题处理

集群启用Sentry之后，Hive和Impala的SQL查询页面多了一个搜索框，通过搜索框搜索时，侧边栏一直处于加载状态，如下图所示。首先通过Chrome抓包看到搜索的HTTP请求报了一个500错误。
Caoyun·2023-03-15 11:15

Hive SQL使用技巧&避坑

Impala刷新命令：INVALIDATE
翱翔云端·2023-03-13 06:11

MPP架构、常见OLAP引擎分析

MPP架构、常见OLAP引擎分析一、MPP架构1、SMP2、NUMA3、MPP二、批处理架构和MPP架构三、MPP架构的OLAP引擎1）只负责计算，不负责存储的引擎1、Impala2、Presto2）既负责计算
jerry-89·2023-02-16 20:56

Hudi: Uber Engineering的Apache Hadoop增量处理框架

随着ApacheParquet和ApacheORC等存储格式以及Presto和ApacheImpala等查询引擎的发展，Hadoop生态系统有潜力作为面向分钟级延时场景的通用统一服务层。
Kent_Yao·2023-02-06 10:31

Flume 理论

大数据常用数据处理框架graphLR实时流数据采集-->flume,kafka实时流数据处理-->spark,storm实时数据查询处理-->impala批数据导入导出-->Sqoop批数据查询处理--
袭明·2023-02-04 12:27

spark python 上传代码包_hue通过livy提交spark jar包python文件到spark

背景：集群中有hive、spark2，没有impala需求：通过hue访问hive以及提交spark任务现状：hue以及通过sentry实现了对hive的权限管理CDH5.15.1centos7.4livy
weixin_39927408·2023-02-02 14:58

hadoop介绍

HadoopYARN：HadoopMapReduce：Hadoop生态圈组件：Spark（分布式计算框架）Flink（分布式计算框架）Zookeeper（分布式协作服务）Sqoop（数据同步工具）Hive/Impala
昊昊该干饭了·2023-02-02 14:58

大数据的框架与特点

1.Impalahadoop的sql平台、支持hbase/hdfs、支持超大数据、支持多并发、sql支持好、对内存依赖比较严重。需要自己优化，并且有的语句超过内存会报错。
weixin_30892037·2023-02-02 14:28

Impala的SYNC_DDL

那天去面试，面试官问我知不知道Impala同步数据的方式，我回答invalidatemetadata和refreshtable[partition]，后来他问我还有没有其他的方式，当时我没想到别的，因为工作中用到
润土1030·2023-01-29 04:30

Hive函数大全–完整版(一)

现在虽然有很多SQLONHadoop的解决方案，像SparkSQL、Impala、Presto等等，但就目前来看，在基于Hadoop的大数据分析平台、数据仓库中，Hive仍然是不可替代的角色。
ws的大数据田地·2023-01-28 16:27

数仓知识11：Hadoop生态及Hive、HBase、Impala、HDFS之间的关系

Hive、HBase、Impala、HDFS是Hadoop生态体系中常用的开源产品，各个产品间是一个什么样的关系，许多人都搞不清楚，本文将进行研究分析。
维克先生·2023-01-14 16:12

通过hadoop + hive搭建离线式的分析系统之快速搭建一览

非常适合目前的在线业务，这回老板提需求了，曾经也是一位数据分析师，sql自然就溜溜的，所以就来了一个以买家维度展示用户画像，从而更好的做数据推送和用户行为分析，因为是离线式分析，目前还没研究spark，impala
weixin_34166847·2023-01-12 21:35

StarRocks测试 - StarRocks vs Impala 性能对比

测试方法TPC-H是业界常用的一套Benchmark，由TPC委员会制定发布，用于评测数据库的分析型查询能力。TPC-H查询包含8张数据表、22条复杂的SQL查询，大多数查询包含若干表Join、子查询和Group-by聚合等。本次测试基于TPC-H100G数据进行，其中主要表数据量如下：LINEITEM表约6亿行，ORDERS表1.5亿行，PARSUPP表8000万行。测试环境机器1台master
Asware·2023-01-10 21:42

Metabase添加impala驱动

github.com/brenoae/me...原文地址：https://segmentfault.com/a/11...本文为docker版本1.下载驱动文件存放本地路径/opt/metabase/plugins/ImpalaJDBC41
·2023-01-06 16:01

IMPALA跟HIVE实践中的小绝招

#impala提升查询速度computestatstableName;#查看分区情况showpartitionstableName;#建分区表createtabletableName(字段)partitionedby
Alexander plus·2022-12-29 19:30

大数据实战项目 -- 离线数仓

Kafka，Sqoop，Logstash，DataX，数据存储MySql，HDFS，HBase，Redis，MongoDB数据计算Hive，Tez，Spark，Flink数据查询Presto，Druid，Impala
L小Ray想有腮·2022-12-24 12:02

DeepMind推出分布式深度强化学习架构IMPALA，让一个Agent学会多种技能

维金编译自DeepMindBlog量子位出品|公众号QbitAI目前，深度增强学习（DeepRL）技术在多种任务中都大获成功，无论是机器人的持续控制问题，还是掌握围棋和雅达利的电子游戏。不过，这些方面的进展仅限于孤立任务。完成每一项任务都要单独调试、训练agent。在最近的工作中，我们研究了如何训练单一agent去执行多种任务。今天，我们发布了DMLab-30。这是一组新任务，包含了在统一视觉环境
量子位·2022-12-23 13:11

分布式强化学习方法汇总

1、EspeholtL,SoyerH,MunosR,etal.Impala:Scalabledistributeddeep-rlwithimportanceweightedactor-learnerarchitectures
Barry Yang·2022-12-23 13:04

为何选MPP架构？

介绍像Greenplum（GPDB），ClickHouse，Impala，Presto，Tidb，Greenplum衍生物AnalyticDBPostgreSQL（adbpg）等都是采用MPP架构的，采用
·2022-12-20 00:19

Superset基本介绍

EMR上的Superset，原装了对Mysql、Hive、Presto、Impala、Kylin、Druid、Clickhouse的支持。
猿小百·2022-12-18 22:06

基于CM管理的CDH集群集成Phoenix

基于CM管理的CDH集群集成Phoenix背景介绍：原有的CDH集群，以Hive+Hbase+Impala进行数据处理查询，Hbase而言语法难懂，不同于寻常的SQL，Impala而言速度查询速度太慢且无法进行记录的修改
百夜﹍悠ゼ·2022-12-17 10:57

impala常用命令（持续更新ing）

impala常用命令1，表字段查看条件判断Null判断数值表达式布尔值条件选择字段函数类型转换日期统计字符串相关字符串字段是否包含某个pattern排序2，查找表找出库中包含某些字符串的所有表3，表分区查看分区
每天都想躺平的大喵·2022-12-16 18:55

通过SQL一键解析表字段血缘关系

可以根据sql文件中的sql快速解析出表字段到字段的血缘关系，支持mysql、oracle、hive、impala、greenplum等数据库sql语法解析，可以在sql文件中放如多段sql解析，也可以同时解析多份
乌云雨·2022-12-14 04:37

【大数据入门核心技术-Impala】（一）Impala简介

目录一、Impala介绍二、Impala优势三、Impala主要功能一、Impala介绍Impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase
forest_long·2022-12-10 11:34

大数据开发基础入门与项目实战（三）Hadoop核心及生态圈技术栈之5.即席查询Impala介绍及入门使用

文章目录前言1.Impala概述（1）Impala的概念和优势（2）Impala的缺点及适用场景2.Impala的安装与入门（1）准备工作（2）制作本地yum源（3）安装Impala（4）Impala启动和完善
cutercorley·2022-12-10 11:02

卓越产品计划丨神策分析性能优化详解：数据重组织查询优化

在过去7年多的发展过程中，我们基于ApacheImpala
神策数据·2022-12-10 00:37

KUDU对表操作

介绍的还是比较全的对于KUDU删除表就直接在Linux下运行：kudutabledeletemaster(master的主机名)表名对于使用kudu1.1以及以下的用户，利用impala创建kudu表的语句为
黑幕Zz·2022-12-09 07:24

kudu sql 实操

impala操作kudu建表hash分区CREATETABLExiniu.my_first_table(idBIGINT,nameSTRING,PRIMARYKEY(id))PARTITIONBYHASHPARTITIONS16STOREDASKUDU
海牛大数据_青牛老师·2022-12-09 07:54

基于 Impala 的高性能数仓实践之物化视图服务

本文将主要介绍NDHImpala的物化视图实现。接上篇讲到了虚拟数仓，它们是让一个SQL又快又好地执行的关键。
Java那点事儿·2022-12-08 09:44
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他