Impala

Spark扫描kerberos hbase环境配置

集成kerberos后，很多使用服务的程序代码需要改写，例如java通过jdbc链接impala；java扫描hbase表；java的kafka客户端.......，除了spark程序以外。
阿甘骑士·2018-09-29 10:11

shell脚本调度impala脚本总结

背景：由于公司使用oozie调度工作流但是其不支持impala只能转shell间接调度首先说下impala的交互方式：使用客户端直接进入impala然后进行sql操作，配好环境后impala-shll即可使用
向阳飞行·2018-09-28 15:27

交通路网数据自动化ETL项目介绍

最初的数据是从各个厂商的摄像头传入的，然后由另一个公司（合作伙伴）将最初的数据传入kafka中，然后再由kafka传入impala中。
wuli洛玖·2018-09-27 19:58

Cloudera Manager、CDH 版本安装

依次安装Hadoop的各生态组件：hdfs,hive,impala,oozie,solr,yarn,zookeeper，hue，sparkservices安装以后的结果如下：hivebeeline查询:
段智华·2018-09-20 22:59

impala创建表和导入数据

**:remote_server_path创建impala数据表createtablecompany_info(_idvarchar(100),_namevarchar(100),_scopestring
qm5132·2018-09-20 10:06

HAWQ适应场景总结

wzy0623/article/details/55047696最后总结如下：1、OLAP（联机分析处理(On-LineAnalyticalProcessing）领域，请选择HAWQ原因：HAWQ和Hive及Impala
达微·2018-09-19 10:53

Impala的简单使用

创建表createtableifnotexiststouch.table_test(namestringcomment'姓名',ageintnotnullcomment'年龄',sextinyintnotnullcomment'性别',create_timetimestampnotnullcomment'创建时间',primarykey(name))partitionbyhash(name)par
ggr·2018-09-11 15:37

Impala通用工具类封装

使用前引入必要的mvn依赖：org.apache.hivehive-jdbc2.3.3下面是整合代码：publicclassImpalaUtil{privatestaticfinalorg.apache.log4j.Loggerlogger
ggr·2018-09-11 10:15

基于SQL-on-HBase产品的一种有趣的触发器实现

背景现在市面上有不少的SQonHBase的产品：Trafodion、Impala、Greplum等等，但是很少有支持触发器功能的产品，也许是因为在这种应用场景下很少使用到触发器，但不可否认触发器是一项非常有用的功能
凯文徐·2018-09-10 00:00

Spark核心之编程模型详解

针对这种现状，谷歌提出了MR模型，后来又出现了storm流处理系统，impala交互式S
flyinthesky111·2018-09-08 14:29

Linux netstat查看端口占用情况

常用于查看服务器进程端口是否启动[root@cdh-003~]#netstat-nlp|grep21050tcp600:::21050:::*LISTEN10859/impalad(2)查看端口连接情况
微步229·2018-09-05 11:30

kudu、Impala、交互式查询

1、KuduHadoop生态系统发展到现在，存储层主要由HDFS和HBase两个系统把持着，一直没有太大突破。在追求高吞吐的批处理场景下，我们选用HDFS，在追求低延迟，有随机读写需求的场景下，我们选用HBase，那么是否存在一种系统，能结合两个系统优点，同时支持高吞吐率和低延迟呢？有人尝试修改HBase内核构造这样的系统，即保留HBase的数据模型，而将其底层存储部分改为纯列式存储（目前HBas
郭首志·2018-09-04 18:02

Hive 元数据表结构详解

本文介绍Hive元数据库中一些重要的表结构及用途，方便Impala、SparkSQL、Hive等组件访问元数据库的理解。1、存储Hive版本的元数据表(VERSION)该表比较简单，但很重要。
兴趣e族·2018-08-30 16:41

hive/impala复杂函数编写

datediff('${#date(0,0,0):yyyy-MM-dd#}','2018-08-06'),7))2.得到这月一号，上月一号思路今天日期-（今天是这月多少号-1）得到这月一号，在这基础上-1月impala
csdn侠·2018-08-29 00:21

impala-学习

可以这么理解，Impala是性能最高的SQL引擎，速度快。关系数据库和ImpalaImpala使用类似于SQL和HiveQL的Query语言。下面描述了SQL和Impala查询语言之间的一些关键差异。
Alien_lily·2018-08-27 10:34

impala介绍

目录结构参考clouderamanagerimpalaguideimpala概述impala提供了对hdfs文件格式的数据的高性能、低延迟SQL查询。
csdn侠·2018-08-26 01:32

连接池连接kerberos权限认证的impala+kudu数据库

，不要扔个个东西来就让我用，在开发环境没有kerberos，来了上正式，直接给布上，你让我这连kerberos都不知道是啥的java开发人员咋搞，完，写一下自己通过连接池连接存在kerberos认证的impala
coder_zyz·2018-08-17 11:19

Hive 或 Impala 的数据类型与 对应底层的 Parquet schema的数据类型不兼容

背景：修改了hive表的某些字段的数据类型，如从String->Double，此时，该表所对应的底层文件格式为Parquet，修改之后，更新Impala索引，然后查询修改数据类型的字段，会出现与Parquetschema
Ego_Bai·2018-08-13 19:29

impala完整常用数据类型

因为impala与mysql、Oracle在数据类型上并不完全一致并且最近会经常用到,所以记录一下类型说明BIGINT此数据类型存储数值，此数据类型的范围为-9223372036854775808至9223372036854775807
Ego_Bai·2018-08-13 18:15

impala完整常用数据类型

因为impala与mysql、Oracle在数据类型上并不完全一致并且最近会经常用到,所以记录一下类型说明BIGINT此数据类型存储数值，此数据类型的范围为-9223372036854775808至9223372036854775807
Ego_Bai·2018-08-13 18:15

impala常用语法

因为最近工作上会常用,记录一下1、语法：group_concatselectcity_id,group_concat(concat(type,”,”,cast(countasstring)),”#”)fromtmp_park_site_device_count_type_daywherep_date=20170926groupbycity_id;实际场景：  拼接成各种类型的字符串2、语法：row
Ego_Bai·2018-08-09 17:54

Hive on Spark解析

相较于其他诸如Impala、Shark（SparkSQL的前身）等引擎而言，Hive拥有更为广泛的用户基础以及对SQL语法更全面的支持。
mnasd·2018-08-08 09:08

impala 时间日期函数全解

hive日期函数增加月份add_months(timestampdate,intmonths)add_months(timestampdate,bigintmonths)Returntype:timestampusage:add_months(now(),1)增加日期adddate(timestampstartdate,intdays),adddate(timestampstartdate,big
csdn侠·2018-08-06 23:48

impala mysq的不等于查询

sql中的等于和不等于，‘=’,’!=’,’,!=,~=,^=这四个符号据说都可以在oracle中表示不等于，但是试了之后发现是标准的sql语法，可以移植，其他的都是oracle平台的特性，移植性较差，所以开发中，尽量使用‘是’limit1;,这条语句查不出amount等于null的记录，select*fromrpt_pss.zbd_rpt_t_pss_04_productiondetailwhe
cheneyjava·2018-08-03 10:16

CDH 集成Sentry权限控制

sentry服务首先登陆如下界面我的是http://master:7180/cmf/home然后点击hue组件进入下面的界面,点击配置搜索Sentry将Sentry服务的Sentry勾选上2.hive和impala
HarSenZhao·2018-08-02 14:44

Hive/Impala 日期计算与比较

一、比较函数datediffselectdatediff("2018-01-05","2018-01-02")from表//返回值是3selectdatediff("2018-01-05","2018-01-08")from表//返回值是-3hive>selectdatediff("2018-01-05","2018-01-02")fromhqlimit1;OK3二、加法date_add(时间字符
微步229·2018-08-02 13:58

Hive分区和桶的概念

Hive已是目前业界最为通用、廉价的构建大数据时代数据仓库的解决方案了，虽然也有Impala等后起之秀，但目前从功能、稳定性等方面来说，Hive的地位尚不可撼动。
JHON07·2018-07-30 21:39

在Windows平台，python通过paramiko调用Linux服务器上impala连接hive的python脚本，实现Windows操作具有kerberos认证的hive

▌前言环境准备见和python操作具有kerberos认证的hive（Linux）见另一篇博客https://blog.csdn.net/dlijuan/article/details/81203003▌示例▌windows:ParamikoLib.py#-*-coding:utf-8-*-importosimportsysimportparamikoimportjsonimportlogging
温室的花朵·2018-07-25 16:08

Impala（一）：Impala+Kudu+HDFS教程

本文部分引用其它博客，部分原创，如有不妥之处，欢迎随时留言沟通交流，谢谢~1、Impala语法增删改查2、Impala常用函数2.1、字符串函数参考链接：https://blog.csdn.net/qq
ai_1046067944·2018-07-25 15:40

python操作具有kerberos认证的hive（impala）

我选择的python2.7和impala，运行环境Linux、Windows。▌安装依赖（默认已安装好python2.7、pip）pipinstallsaslpipinstallthrift
温室的花朵·2018-07-25 15:32

impala的保留关键字，建表时慎用

在使用impala建kudu表时，如果使用了impala的保留关键字，在查询时，需要对关键字字段加上“符号，所以尽量不要使用的关键字。
姥爷家的小胡同·2018-07-22 18:33

Hive访问权限控制

通过HcatcalogAPI访问hive数据的方式，实际是通过访问metastore元数据的形式访问hive数据，这类有MapReduce，impala，pig，SparkSQL，hiveCommandline
anickname·2018-07-18 16:52

HIVE2.1 vs impala

HIVE2.0增加了LLAP（低延迟分析处理），并在2.1版本进行了改进，相较于HIVE1有了25倍的查询性能提升。LLAP以多线程方式采用内存进行计算。智能地将数据缓存到多台机器内存中，并允许所有客户端共享这些缓存的数据，同时保留了弹性伸缩能力。详见官网LLAP采用缓存持久化查询来避免较长的启动时间；内存查询，并在所有SQL用户之间共享；细粒度的资源管理和占有，适合多用户高并发操作；Carter
JLOGAN·2018-07-15 22:24

[Kudu基础]--Kudu+Impala介绍 | 微店数据科学团队博客

感谢原文作者：https://juejin.im/entry/5a72d3d1f265da3e4d730b37Kudu+Impala介绍概述Kudu和Impala均是Cloudera贡献给Apache基金会的顶级项目
highfei2011·2018-07-10 17:48

大数据工程师技能图谱【整理-转】

大数据通用处理平台Spark/Flink/Hadoop分布式存储HDFS资源调度Yarn/Mesos数据分析/数据仓库(SQL类)Pig/Hive/kylin/SparkSQL/SparkDataFrame/Impala
ReeseIMK·2018-07-10 15:01

HUE的Debug模式，Hive以及Impala支持OpenLDAP认证

HUE的日志；在Hive2Service里面支持通过HAProxy进行负载均衡，另外Hive2Server从5.8.13开始就支持同时即可以通过OpenLDAP，也可以采用Kerberos的进行认证；Impala
4点55分·2018-07-07 16:45

Flume 基础知识

大数据常用数据处理框架graphLR实时流数据采集-->flume,kafka实时流数据处理-->spark,storm实时数据查询处理-->impala批数据导入导出-->Sqoop批数据查询处理--
袭明君008·2018-07-06 17:25

Impala的简单入门

一、Impala概述什么是Impala？Impala是用于处理存储在Hadoop集群中的大量数据的MPP（大规模并行处理）SQL查询引擎。它是一个用C++和Java编写的开源软件。
林夕1740·2018-07-06 16:23

Impala支持的分窗

基本和其他数据库一样..做个记录方便查询.分析函数：OverClause：纯粹的(pure)分析函数(AnalyticFunction)需要一个Over子句，比如：lead()rank()first_value()等等，当然Max()count()sum()这些聚合函数也可以和Over结合使用。语法:function(args)OVER([partition_by_clause][order_by
joker_zhou·2018-07-06 09:05

大数据处理架构

而Impala思想来源于Go
x_no_one·2018-07-02 23:59

Parquet与ORC：高性能列式存储格式

生态圈，同时对于能够快速的从TB甚至PB级别的数据中获取有价值的数据对于一个产品和公司来说更加重要，在Hadoop生态圈的快速发展过程中，涌现了一批开源的数据分析引擎，例如Hive、SparkSQL、Impala
cjlion·2018-07-02 14:42

Impala 加载Hive的UDF

Impala的UDF有两种：NativeImapalUDF:使用C++开发的，性能极高，官方性能测试比第二种高出将近10倍Hive的UDF:是Hive中的UDF，直接加载到Impala中，优点是不需要任何改动
骑着龙的羊·2018-06-28 20:00

Flume简介及部署、测试

3)Flume、Kafka用来实时进行数据收集，Spark、Storm用来实时处理数据，impala用来实时查询。
淡淡的倔强·2018-06-26 16:49

Impala配置Kerberos认证和Sentry权限控制

集群说明：集群有wlint01、wlnamenode01、wldatanode001~wldatanode018一共20个节点，对应ip地址192.168.32.9~192.168.32.281.生成keytab文件生成http.keytab文件[wlbd@wlint01keytabFile]$sudokadmin.local-q"xst-norandkey-khttp.keytabHTTP/wl
AndrewTeng·2018-06-21 14:57

impala与hive的比较以及impala的优缺点

Impala相对于Hive所使用的优化技术没有使用MapReduce进行并行计算，虽然MapReduce是非常好的并行计算框架，但它更多的面向批处理模式，而不是面向交互式的SQL执行。
SunWuKong_Hadoop·2018-06-14 15:17

hive建立hbase内部表，外部表

操作hbase，hive建连接，impala操作hbase查询1.进入hbase命令：hbaseshell2.建表create‘test’，‘cf’：建表时必须指定表名和列族名list：列举表信息，（相当于
zjx_z·2018-06-14 13:46

kettle5.3批量插入impala

pentaho-big-data-plugin大数据插件kettle5.3对应的pentaho-big-data-plugin-5.3(大数据插件)里面扩展支持了很多数据库连接，其中就包含了hive,hive2和impala
1032851561·2018-06-11 16:22

hive 学习系列三（表格的创建create-table）

external外部表，hdfs上的表的文件，并非存储在默认的路径上的时候，EXTERNAL表格和正常表格删除区别，external只删除metastore可以称为外部表，便于和其他数据库和程序交互，比如impala
南山黑·2018-06-07 11:23

Impala表使用Parquet文件格式 2017年05月23日

准备了一个427144792行的textfile格式表t_item：[impale-host:21000]>selectcount(1)fromt_item;Query:selectcount(1)fromt_item+-----------+|count(1)|+-----------+|427144792|+-----------+Fetched1row(s)in191.67s该表在hdfs存
lin502·2018-06-06 10:28

Impala技术原理

Impala简介Impala是由Cloudera公司开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase上的PB级大数据，在性能上比Hive高出3~30倍。
曹世宏的博客·2018-06-02 14:27
上一页 21 22 23 24 25 26 27 28 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他