Impala

基于Impala的网易有数BI查询优化总结

《效能提升30%、埋点线下bug率下降50%，网易云音乐数仓建设之路》一文提到了Impala性能优化工作对于音乐数仓建设的重要性，本文总结Impala在网易有数BI应用场景下的最新查询优化经验，并探讨后续进一步优化的思路
NetEaseResearch·2021-02-22 17:56

手动导包和maven导包发生冲突

jar包冲突问题以及解决方案，如果有更好的解决方案，欢迎留言~~~本项目以IDEA作为开发环境1.出现问题这次问题出现在修改开源项目上，拿来开源项目运行是没有问题的，但是后来要在原有的项目添加hive和impala
天吻蓝了海海染蓝了天_6e66·2021-02-19 17:48

Hadoop离线_impala的介绍及安装部署

impalaimpala的介绍1.概述2.优点3.缺点4.impala和Hive的关系5.impala的架构及查询计划6.impala/hive/spark对比impala的安装及部署1.安装环境准备2
_WeiA·2021-02-18 22:13

Impala详解

第1章Impala的基本概念1.1什么是ImpalaCloudera公司推出，提供对HDFS、Hbase数据的高性能、低延迟的交互式SQL查询功能。
·2021-01-26 14:52

pyhton_将impala查询结果进行钉钉群内推送

fromdatetimeimportdatetimeimportjsonimporturllib.requestimportpymysqlaspmsimportpandasaspdimportpandasaspdfromsqlalchemyimportcreate_engineimportdatetimefrompyhiveimporthivefromimpala.dbapiimportconne
不二梁·2021-01-25 14:13

Impala SQL on Kudu优化（一）

一、Impalasql的计算方式是啥？在使用Impala进行SQL查询的时候，我们经常会使用join来关联多个表进行查询，获取想要的结果。
团子粑粑·2021-01-23 21:10

企业级大数据项目【2】数仓-流量域ODS-DWD开发篇

大数据领域中则尚无一站式解决方案，通常需要用到很多技术组件来实现不同环节：使用HDFS做存储使用spark、mapreduce作为底层计算引擎使用hive或者sparksql，作为sql引擎另外，还有impala
江湖人称涛哥·2021-01-21 10:48

HIVE常用正则函数(like、rlike、regexp、regexp_replace、regexp_extract)

Oralce中regex_like和hive的regexp对应selectregexp_like('JFAF','^[JKN]')--以J或K或N开头--oracle,impala语法select'JFAF'regexp
多彩海洋·2021-01-15 09:40

金融市场高频数据应当如何管理 —— DolphinDB与pickle的性能对比测试和分析

例如Impala和Greenplum的数据仓库，以及例如HBase的NoSQL数据库，可以解决这个数据量级的存储，但是这类通用的存储引
DolphinDB·2021-01-08 12:23

金融市场高频数据应当如何管理 —— DolphinDB与pickle的性能对比测试和分析

例如Impala和Greenplum的数据仓库，以及例如HBase的NoSQL数据库，可以解决这个数据量级的存储，但是这类通用的存储引
DolphinDB·2021-01-08 12:22

即席查询工具---Presto的安装与使用（hive数据源）

不是Mysql或者oracle的代替品，也不能处理在线事务（OLTP）1.2Presto架构1.3Presto优缺点1.4Presto、Impala性能比较https://blog.csdn.
New灬soul·2021-01-04 13:06

Hue--集成Hive与Impala

集成Hive与Impala1、集成Hive与Impala2、MySQL3、验证1、集成Hive与Impala关闭所有Hive、Impala的服务进程配置Hue中与Hive的关联hue.ini：1000-
韩家小志·2021-01-04 03:44

Hue--介绍及安装

介绍及安装介绍安装介绍本质：构建了一个JavaWeb程序，将所有工具的客户端封装了，在配置文件中配置每个工具的服务端地址功能：实现统一化的终端访问，来管理访问大数据的多个框架/多个组件ImpalaHiveHDFSYARNMySQLSParkSolr
韩家小志·2021-01-04 03:30

impala查询语句_Impala基础语法（一）

1.1Impala服务组件1.1.1ImpalaDeamon该进程运行于集群每个节点的守护进程，是Impala的核心组件，每个节点该进程的名称为impalad。
火辣健身·2020-12-29 06:52

Excel连接Impala

Impala知识，请参考Impala基础知识步骤：下载安装驱动下载ImpalaODBC驱动msi安装文件并傻瓜式安装；cloudera官网需要注册，或者可以从其他地方找到下载地址。
johnny233·2020-12-27 16:08

kudu大量数据更新_数据高效处理的秘诀——Kudu实战

背景使用Kudu之前，我们的OnlineReport采用都HDFS/ParquetonImpala的架构，数据每隔一小时通过MapReduce从生产db增量同步到HDFS，再通过HIVE/MAPREDUCE
weixin_39929687·2020-12-22 20:40

python通用数据库操作工具 pydbclib的使用简介

pydbclib是一个通用的python关系型数据库操作工具包，使用统一的接口操作各种关系型数据库（如oracle、mysql、postgres、hive、impala等）进行增删改查，它是对各个python
·2020-12-22 10:06

强化学习原理与python实现原理pdf_纯Python实现！Facebook发布PyTorch分布式强化学习库...

TorchBeast实现了流行的IMPALA算法的一个版本，用于RL代理的快速、异步、并行训练。
weixin_39638048·2020-12-16 23:06

大数据实战记录

存储MapReduce计算Yarn资源管理HBaseHBase基本操作HBase运维和优化ZooKeeperHiveHive基本操作HiveSQL大全Hive运维管理Hive备份与恢复Hive参数调优Impala
Beth_Chan·2020-12-14 16:54

Impala-shell命令参数的实现

1.impala-shell外部命令所谓的外部命令指的是不需要进入到impala-shell交互命令行当中即可执行的命令参数。impala-shell后面执行的时候可以带很多参数。
·2020-12-11 18:26

Impala概述及其安装部署

文章目录一、概述1.基本概念2.Impala与Hive关系3.Impala与Hive异同4.Impala架构二、安装部署(以Node01节点为例)1.安装前提2.下载安装包、依赖包3.配置本地yum源4
大数据老人家i·2020-12-10 22:51

Impala 安装部署

Impala安装部署安装前提下载安装包、依赖包虚拟机新增磁盘（可选）配置本地yum源安装Impala修改impala配置安装impala后hadoop，hive等会自动重新安装原有数据无法使用谨慎选择是否先准备快照安装
镜子里的宇宙·2020-12-10 17:40

和impala_Impala+Kudu基础操作手册

SQL操作通过impala对kudu进行sql操作数据库操作--描述表DESCRIBEtabel_name;--查看分区情况SHOWPARTITIONStable_name;--查看当前使用数据库SELECTcurrent_database
weixin_39794734·2020-12-08 08:30

Apache Impala 的安装部署

4．配置本地yum源4.1．上传安装包解压使用sftp的方式把安装包大文件上传到服务器/cloudera_data目录下。cd/cloudera_datatar-zxvfcdh5.14.0-centos6.tar.gz4.2．配置本地yum源信息安装ApacheServer服务器yum-yinstallhttpdservicehttpdstartchkconfighttpdon配置本地yum源的文
ChinaManor·2020-12-07 17:50

【讲稿】Impala在网易大数据中使用和优化实践-P2

上文：【讲稿】Impala在网易大数据中使用和优化实践-P13.基于ZK的服务高可用虽然每一个Impalad都可以作为Coordinator，对外提供访问服务，接受客户端请求，但是缺乏一个路由机制。
NetEaseResearch·2020-11-12 12:40

【讲稿】Impala在网易大数据中使用和优化实践-P1

导读：网易大数据平台的底层数据查询引擎，选用了Impala作为OLAP查询引擎，不但支撑了网易大数据的交互式查询与自助分析，还为外部客户提供了商业化的产品与服务。
NetEaseResearch·2020-11-03 17:56

8.2 Impala

一、Hive缺陷Hive建立在Hadoop平台上，依赖底层的MapReduce和HDFS，因此延迟高二、Impala简介Impala由Cloudera公司开发实时交互查询系统，参照Dremel系统设计。
大白猿学习笔记·2020-10-27 15:28

Impala(一) 基本命令及操作

--在impala中创建表a,在Hive中可以查到，Hive会自动更新元数据createtablea(idint,namestring);--在Hive中创建表b，在impala中查询不到，impala
Y1983058680·2020-10-23 22:57

hive join的深入解析

在大数据体系中占着很重要，并且很大的角色，我们知道，hive虽然开始只是为了让一些不擅长写MR的人员，为了方便他们查询数据而生的一个基于Hadoop的查询工具，但hive现在被更多的框架所见解，包括SparkSQL,Impala
cariya·2020-10-11 12:23

Grafana用mysql数据源展示图表实践

微信公众号：Java流水账本号记录国服安琪拉日常编程流水帐,欢迎后台留言背景公司风险部门的同学平常都是在impala中查看T+1的业务数据，希望技术部门提供一个看板，能够实时查看当前各个业务线的调用外部数据的情况
安琪拉的博客·2020-09-17 06:08

HDB IN ACTION(1)

一、SQLonHadoop我们需要知道业界很多产品如hive、Presto、Drill、SparkSQL、Impala等均在发力sqlonhadoop,如果谈及这个话题，需要很多的篇幅，我们这里只需要知道
jameswangcnbj·2020-09-16 23:43

在hive或impala中编写udf清洗数据时，常用的正则

在做项目的过程中，使用正则表达式来匹配一段文本中的特定种类字符，是比较常用的一种方式，下面是对常用的正则匹配做了一个归纳整理。我的案例下载链接：https://download.csdn.net/download/shuimofengyang/108331871、匹配中文:[\u4e00-\u9fa5]2、英文字母:[a-zA-Z]3、数字:[0-9]4、匹配中文，英文字母和数字及下划线：^[\u
水墨风漾·2020-09-16 19:53

hive 删除udf函数

DROP-FUNCTION-IF-EXISTS-udf-fails-with-quot-function-udf/td-p/92001https://docs.cloudera.com/documentation/enterprise/5-9-x/topics/impala_drop_funct
zxfBdd·2020-09-16 17:36

Hive 行转列，列传行 - Impala 暂不支持

注：Impala不支持lateralviewexplode一、行转列(对某列拆分，一列拆多行)使用函数：lateralviewexplode(split(column,','))numeg:如表：t_row_to_column_tmp
jast_zsh·2020-09-16 06:27

CDH5.16.2单机安装（开启kerberos验证）

前言：公司需求，之前做的impala单机安装并不满足需求，负责人叙述需求没有说清楚，还要过kerberos验证，导致最后需要单独在部署CDH并开启kerberos验证，当然，不装CDH独立部署也能够开启
小刘同学爱study·2020-09-16 05:08

cloudera manager5.14版本更新信息

总体概况5.14.0的cdh更新内容ApacheImpalaApacheKuduClouderaSearchApacheImpala1、新的布尔运算符：ISTRUE,ISNOTTRUE,ISFALSE,
@black·2020-09-16 04:00

如何使用hadoop对海量数据进行统计并排序

当然，凡是一个东西有优点必定也有缺点，hadoop的缺点也很多，比如对流式计算，实时计算，DAG具有依赖关系的计算，支持都不友好，所以，由此诞生了很多新的分布式计算框架，Storm，Spark，Tez，impala
三劫散仙·2020-09-15 20:34

GreenPlum 与hadoop

其中Impala可以认为是一种非关系型的数据库,Hive相当于SQL。GreenPlum的组件分成三个部分
tao_wei162·2020-09-15 15:15

数据库 数据仓库 NoSQL OLAP OLTP HTAP 预处理 内存数据库 流式计算 MPP架构 DAG架构 列存储 文档存储

数据库MySqlDruidPrestoKylinPostgreSQLTidbImpalaESSparkSQL
oqiuqian·2020-09-15 07:50

美团 R 语言数据运营实战

一、引言近年来，随着分布式数据处理技术的不断革新，Hive、Spark、Kylin、Impala、Presto等工具不断推陈出新，对大数据集合的计算和存储成为现实，数据仓库/商业分析部门日益成为各类企业和机构的标配
weixin_33686714·2020-09-15 03:48

cognos报错：cognos11 ，FM中选择数据源时报错，显示登录失败

报错背景：cognos11，impala作为数据源，该数据源在cognos页面中测试成功，但是在FM中创建模型选择数据源时报错报错信息：登录失败报错原因：impala创建数据源使用JDBC模式，使用JDBC
mona1·2020-09-15 01:21

Hue概述，核心功能，架构说明

特性：一个HDFS的文件浏览器，一个MapReduce/YARN的Job浏览器，一个HBas的浏览器，Hive，Pig，ClouderaImpala和Sqo
小哇666·2020-09-14 23:40

impala用parquet格式，hive用orc格式

1.impala用parquet格式，hive用orc格式。Impala不支持orcfile，orcfile的确很好
hunter127·2020-09-14 22:17

Oracle decode函数的使用

decode可用于Oracle、impala数据查询语法DECODE(expr,search,result[,search,result]...[,default])即DECODE(value,if1,
yLazL0000·2020-09-14 17:07

flume+kafka+storm+mysql架构设计

另外目前主要给银行做hadoop、spark、impala、storm项目，欢迎热爱技术的朋友加好友一起探讨大数据。序
停不下的脚步·2020-09-14 15:30

Impala常用日期函数

--当前时间戳now()current_timestamp()--当前时间戳相对于linuxepoch的秒数unix_timestamp(),不带参数,则返回'1970-01-0100:00:00'UTC到现在的秒数--转换到相对于linuxepoch的秒数unix_timestamp(now()+interval3days),如果传入timestamp参数,返回该时间戳相对于linuxepoch
专注于大数据技术栈·2020-09-14 15:07

Impala统计本月每天累计

案例：表A：表B：实现：SELECTb.create_at,COUNT(1)FROMtest.test_abca,test.test_bcdbWHEREa.create_at<=b.create_atGROUPBYb.create_at举了一个简单案例，经过本人测试，可以实现本月每天累计
专注于大数据技术栈·2020-09-14 15:07

hadoop集群使用规范

cdh4u2环境：提供了更高版本的hadoop，该环境安装了NameNode和JobTracker的HA，安装了比hive更快的即时查询impala。
快乐程序员·2020-09-14 14:36

impala mysq的不等于查询

sql中的等于和不等于，‘=’,’!=’,’,!=,~=,^=这四个符号据说都可以在oracle中表示不等于，但是试了之后发现是标准的sql语法，可以移植，其他的都是oracle平台的特性，移植性较差，所以开发中，尽量使用‘是’limit1;,这条语句查不出amount等于null的记录，select*fromrpt_pss.zbd_rpt_t_pss_04_productiondetailwhe
cheneyjava·2020-09-14 13:37

Insert Overwrite 进行hive或impala小文件合并后 文件数量不是1

刚开始我是直接Impala执行Insertoverwrite，想合并某一天分区内的4份文件,发现分区内部的文件数还是4个，我就纳闷，以为我记错了overwrite的执行原理，然后使用Hive进行insertoverwrite
Apache_Jerry·2020-09-14 13:12
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他