Impala

CDH 安装 presto-server-0.216

同Impala一样，作为Hadoop之上的SQL交互式查询引擎，通常比Hive要快5-10倍。另外，Presto不仅可以访问HDFS，还可以访问RDBMS中的数
jaysen1005·2020-08-18 12:09

impala和hive建表注释出现乱码

impala和hive建表注释出现乱码：Query:describexxxx+--------------------+--------------+--------------------------
_小海_·2020-08-18 12:01

数仓分层模型|简练实用以及Impala使用

分层案例1.电信通讯stage层->bdl层->analysis层2.传统金融/保险ods层->pdm层->dm层3.互联网金融/电商odl层->bdl层->idl层->adl层尽管行业不同，套路却差不多。本次借鉴互联网分层模型，使用HIVE作为数据仓库，搭建数据平台。专业术语ODL层（OperationalDataLayer）：操作数据层外部数据什么样，该层数据就是什么样（关系型数据库、JSON
首席撩妹指导官·2020-08-18 11:43

Cloudera Manager API操作Yarn/Impala队列资源

直接上代码：importjava.io.BufferedReader;importjava.io.File;importjava.io.IOException;importjava.io.InputStream;importjava.io.InputStreamReader;importjava.net.Authenticator;importjava.net.HttpURLConnection;
杰仕人生1·2020-08-18 11:16

Haddoop大数据教程笔记_02_Hadoop生态圈简介

生态圈：（一）Hdfs（二）Mapreduce（三）Hive（四）Hbase（五）Zookeeper（六）Sqoop（七）Pig（八）Mahout（九）Flume（十）Spark（十一）Storm（十二）Impala
Snowing_inhope·2020-08-18 10:58

大数据 - （五-1）- Impala

什么是Impala针对存储在Hadoop的HDFS和HBase中的PB级大数据进行交互式实时查询（速度快）Impala有什么优势大数据领域最大的问题是数据存储和分析粗略划分大数据开发任务数据采集（日志文件
啦啦啦喽啰·2020-08-18 09:37

Centos6.10安装impala集成kudu之错误

Centos6.10安装impala集成kudu时，修改了hdfs-site.xml文件时，加入了下面属性：dfs.domain.socket.path/var/run/hdfs-sockets/dn然后重新启动
木木竹·2020-08-17 21:25

impala 自定义聚合函数不能用java开发，只能用c++开发

impala3.0自定义函数(UDF:USER-DEFINEDFUNCTION)有单行函数（eg:rtrim(),abs(),concat(),substr()等），可以使用scala、java、C++
嶶風·2020-08-16 18:37

Kylin 最佳实践｜爱奇艺如何处理千亿级数据

收集业务的埋点和日志；数据按时效性分为两种类型：离线类型的灌入到HDFS，实时数据灌入到Kafka；往上是各种分析引擎，Hive用于PB级别的离线分析，Kylin用于每日报表，针对相对固定的维度进行分析，Impala
大数据星球-浪尖·2020-08-16 14:02

Hue中oozie使用shell脚本执行impala-shell脚本

Hue中oozie使用shell脚本执行impala-shell脚本一.oozie的介绍[1].oozie执行流介绍[2].oozie系统常量介绍二.oozie中shell的使用[1].Workflow
@万般皆是命·2020-08-16 14:58

JAVA maven 编写UDF适用于hive和impala

hive内置函数很少，我们可以通过自定义的方式添加新的UDF上去，来增强hive的处理能力。比如hive没有字符串包含的UDF.我们通过Java+maven的方式来编写一个字符串包含的UDF1、新建maven工程2、修改pom.xml4.0.0com.lr.udfcommon.udf0.0.1-SNAPSHOT1.81.83.3UTF-82.6.0org.apache.hadoophadoop-c
A心有千千结·2020-08-16 13:38

Win10,64bit系统，python连接hive，安装impyla依赖包

创建于：20200802修改于：20200802文章目录1、环境介绍2、基本安装过程3、报错信息及解决办法4、python链接impala5、参考链接1、环境介绍win1064bitpython3.6.6
chenhepg·2020-08-16 12:03

Hive和Impala加载和存储数据功能曝光

Hive与Impala都是构建在Hadoop之上的数据查询工具，那么在实际的应用中，它们是如何加载和存储数据的呢？
weixin_34138255·2020-08-16 09:24

【51cto】-大数据微职位-模块3：2泥沙俱下 披沙拣金 - Hive / Impala-第1章 1-1~1-3

模块3：2泥沙俱下披沙拣金-Hive/Impala第1章第五周：Hadoop集群数据查询与分析：Hive1-1查询数据与分析：Hive-ApacheHive介绍简单说明：该小节主要介绍了Hive组件的前世今生
sky_geek2008·2020-08-16 06:56

Impala function(学习笔记）

Theimpalafunction:One、Mathematicalfunction：abs(double):returnstheabsolutevalueoftheargumentacos(double
joker_zhou·2020-08-15 23:26

【Kylin】（一）初识 Apache Kylin

目前已经出现了很多优秀的SQLonHadoop引擎，包括Hive、Impala及SparkSQL等，这些技术的出现和应用极大地降低了用
云 祁·2020-08-15 05:58

平台管理（大数据）：Hue、Ooize、Ambari概述

(1)基于文件浏览器（FileBrowser）访问HDFS(2)基于Hive编辑器来开发和运行Hive查询(3)支持基于Impala的应用进行交互式查询(4)支持Spark编辑器和仪表板（Da
BigSun0·2020-08-14 22:24

Phoenix安装与使用文档超详细步骤

一、描述现有hbase的查询工具有很多如：Hive，Tez，Impala，Shark/Spark，Phoenix等。今天主要记录Phoenix。phoenix，中文译为“凤凰”，很美的名字。
CSDN_小路·2020-08-14 19:14

Intel李锐：Hive on Spark解析

相较于其他诸如Impala、Shark（SparkSQL的前身）等引擎而言，Hive拥有更为广泛的用户基础以及对SQL语法更全面的支持。
layne_liang·2020-08-14 18:00

hive metastore java api使用

hivemetastorehivemetastore是hive的元数据管理服务，实际应用中很多第三方框架需要访问metastore服务，如spark,impala等。
苍老流年·2020-08-14 16:23

Impala重点问题列表

Impala重点问题列表（截止到1.01）从目前的情况来看，impala的稳定性和易用性还有待提高，在生产环境中部署还存在比较大的风险。
风隐才藏·2020-08-14 12:03

浅谈Phoenix在HBase中的应用

虽然HBase本身不支持SQL，但业界还是有现成的方案来支持，如Hive、Impala、Phoenix等。众多方案各有各的优势，本文主要对Phoenix作一个大概的介绍。Phoeni
weixin_30412013·2020-08-14 11:19

Impala SQL语句 COMPUTE STATS

COMPUTESTATS语句收集卷信息,表列和分区的数据分布情况;收集的信息存储在元数据库中,用于优化Impala查询;例如,如果Impala能确定一张表是大还是小,表里有多少唯一值,就可以为join查询或插入操作组织和并行化工作线程
zhiliang-chen·2020-08-14 10:48

数仓笔记 一

好久没写博客了，最近一直在忙数仓迁移的事，从SqlServer迁移到impala+kudu上，没使用hive。建立一套大数据的数仓，数据接入用的streamSets。
新手路上的程序员·2020-08-14 04:45

SpringBoot整合Mybatis连接Impala入门案例详解

项目结构配置环境导入包依赖pom.xmlspring-boot-starter-web（网页展示）impala-jdbc41（impala-jdbc连接）com.alibaba.druid（阿里巴巴数据源
Blank丶空·2020-08-14 02:50

hadoop生态系统学习之路（五）hbase的简单使用

我们公司负责数据的入库，也就是一个etl过程，使用MR将数据入到hive里面，然后同步到impala，然后此接口平台提供查询接口，前台会将sql语句以参数传过来，然后接口平台通过调用impala提供的javaapi
qiyongkang520·2020-08-14 02:25

Java大数据技术栈 浅析

大数据技术板块划分数据采集flumekafkalogstashfilebeat...数据存储mysqlredishbasehdfs...数据查询hiveimpalaelasticsearchkylin.
popcjz·2020-08-13 13:59

Calcite RBO rule 解析和自定义

什么是查询优化器查询优化器是传统数据库的核心模块，也是大数据计算引擎的核心模块，开源大数据引擎如Impala、Presto、Drill、HAWQ、Spark、Hive等都有自己的查询优化器。
GuoSmileSmile·2020-08-11 12:50

kudu的基本操作（查看集群状态，APT操作，impala操作，spark整合）

1.命令行查看kudu状态操作通过root用户切换到kudu用户1.1查看集群整体信息（我本机的hostname是hadoop002，也就是kudu的master是hadoop002）-bash-4.2$kuduclusterksckhadoop002ConnectedtotheMasterFetchedinfofromall1TabletServersTablewcisHEALTHY(3tabl
muyingmiao·2020-08-11 05:29

Kudu部署

与ApacheImpala的紧密集成，使其成为使用HDFS与ApacheParquet的一个很好的、可变的替代选择。
muyingmiao·2020-08-11 05:29

impala安装部署(rpm安装)

1.下载impala所需的rpm包bigtop-utilsrpm包下载http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5.8.3/RPMS/noarch
muyingmiao·2020-08-11 05:29

Pyspark can't pickle method_descriptor

错误代码：fromimpala.dbapiimportconnectis_test=Falsehost='192.168.0.1'ifis_testelse'192.168.0.1'conn=connect
ai_1046067944·2020-08-09 19:24

Flink1.10集成Hive快速入门

之后出现的SQL引擎，如SparkSQL、Impala等，都在一定程度上提供了与Hive集成的功能，从而方便用户使用现有的数据仓库、进行作业迁移等。
西贝木土·2020-08-09 13:58

Impala 调优

前几天在用impalaonCDH5.16.2查询数据的时候，突然遇到OOM（内存溢出）的问题，如下所示：经查阅资料发现，Impala的内存主要是由两个参数控制的。
渊云·2020-08-09 11:54

表输入帮助文档

注意，上文中数据源并不一定是关系数据库，可以是任何支持JDBC驱动的存储方式，例如HadoopHive、Impala、LucidDB、SAP等。SQL语句可以固定不带参数，也可以通过变量来
CKettle·2020-08-09 04:08

impala presto SparkSql性能测试对比

目标是为测试impalaprestoSparkSql谁的性能更佳，以下结果底层查询的都是普通textfilesnappy压缩后数据，规模为15台机器，若以orcfile、parquet速度能快数倍impala
young-ming·2020-08-08 22:51

Flink1.10集成Hive快速入门

之后出现的SQL引擎，如SparkSQL、Impala等，都在一定程度上提供了与Hive集成的功能，从而方便用户使用现有的数据仓库、进行作业迁移等。
西贝木土·2020-08-08 15:42

一个帆软使用问题

解决思路：报表使用impala作为数据源。查看帆软日志。初步判断为网络问题。
我爱听听力·2020-08-08 14:56

shell脚本运行mysql和impala

mysql#！/etc/bash#1文件名2脚本中表名echostarthdfsdfs-put~/$1/rootmysql-uroot-p123456<
Learn_program_·2020-08-08 12:54

一个高性能交互式查询与分析引擎的设计思路

SQL-on-Hadoop方案（Hive、SparkSQL、Impala）流计算方案（Storm、SparkStreaming）全文检索方案（Solr、ElasticSearch）最优方案（一个万亿数据秒级查询与分析引
vv8086·2020-08-07 19:38

Hadoop运维记录系列(十一)

Hive是目前应用最多最广的SQLonHadoop工具，近期很多专业的大数据公司推出了很多新的，基于列式或者内存热数据的SQL工具，像Impala，Tez，Spark等等，但是Hive仍然是目前使用率最高和普及面最广的
weixin_34192993·2020-08-06 10:12

Parquet与ORC：高性能列式存储格式

生态圈，同时对于能够快速的从TB甚至PB级别的数据中获取有价值的数据对于一个产品和公司来说更加重要，在Hadoop生态圈的快速发展过程中，涌现了一批开源的数据分析引擎，例如Hive、SparkSQL、Impala
残阙的歌·2020-08-06 10:06

大数据分析查询引擎Impala

Impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。
紫色架构·2020-08-05 21:33

Java 调用 Impala - JDBC 调用Impala

java通过JDBC调用Impala服务Maven项目中pom.xml引用org.apache.hadoophadoop-common2.7.1org.apache.hivehive-jdbc1.2.1org.apache.hivehive-metastore1.2.1org.apache.hivehive-service1.2.1Java
jast_zsh·2020-08-05 21:21

Impala源码之订阅发布系统的实现

本文是Impala源码笔记的第一篇，本文主要根据源代码学习一下statestored模块的实现，众所周知，Impala包含三个模块，分别是impalad、catalogd和statestored，其中statestored
教练_我要踢球·2020-08-05 21:37

Impala查询

1、查询表中的记录，基本语法：SELECTc1,c2|*FROMtable_name;查询emp表中记录：SELECT*FROMemp;orSELECTname,ageFROMemp;执行结果如下：2、对查询结果进行排序，基本语法如下：SELECT*FROMtable_nameORDERBYc1,…[ASC|DESC][NULLSFIRST|NULLSLAST]ORDERBY字句根据一列或多列对查
一度凡尘·2020-08-05 21:59

Impala中最大连接数的设置

Impala中最大连接数的设置impala中最大连接数最近工作中有用到impala，有用到impala进行对数据库的操作，由于查询是页面在查询，所以有可能会有n个人在同时查询，那也就是数有可能同事有很多个客户端在请求
冰诺莫语·2020-08-05 21:50

【学习】kudu、Impala、交互式查询

1、KuduHadoop生态系统发展到现在，存储层主要由HDFS和HBase两个系统把持着，一直没有太大突破。在追求高吞吐的批处理场景下，我们选用HDFS，在追求低延迟，有随机读写需求的场景下，我们选用HBase，那么是否存在一种系统，能结合两个系统优点，同时支持高吞吐率和低延迟呢？有人尝试修改HBase内核构造这样的系统，即保留HBase的数据模型，而将其底层存储部分改为纯列式存储（目前HBas
wa2003·2020-08-05 20:56

impala连接kudu数据库（jdbc）

owinfoimpalajdbc411.0.0org.apache.hivehive-jdbc1.2.12.jdbcimportjava.sql.Connection;importjava.sql.DriverManager
程序员s·2020-08-05 20:55

比较impala，SparkSql，Hive以及交互式查询,OLAP概念

Hive：适用场景：周期性转换大量数据，例如：每天晚上导入OLTP数据并转换为星型模式；每小时批量转换数据等。整合遗留的数据格式，例如：将CSV数据转换为Avro；将一个用户自定义的内部格式转换为Parquet等。不适用场景：商业智能，例如：与Tableau结合进行数据探查；与MicroStrategy一个出报表等。交互式查询，例如：OLTP查询。SparkSQL：适用场景：从Hive数据仓库中抽
Share-Get·2020-08-05 20:14
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他