Hive学习

hive学习3-DDL语句

DatabasesinHive--在HIVE中使用数据库Hiveoffersnosupportforrow-levelinserts,updates,anddeletes.Hivedoesn’tsupporttransactions.Hiveaddsex-tensionstoprovidebetterperformanceinthecontextofHadoopandtointegratewith
enjoyjin·2014-11-18 13:55

Hive学习之自定义聚合函数

    Hive支持用户自定义聚合函数（UDAF），这种类型的函数提供了更加强大的数据处理功能。Hive支持两种类型的UDAF：简单型和通用型。正如名称所暗示的，简单型UDAF的实现非常简单，但由于使用了反射的原因会出现性能的损耗，并且不支持长度可变的参数列表等特征。而通用型UDAF虽然支持长度可变的参数等特征，但不像简单型那么容易编写。    这篇文章将学习编写UDAF的规则，比如需要实现哪些接
sky_walker85·2014-10-07 15:00

Hive学习之连接查询优化（二）

星型连接增强功能    Hive-0.11.0中优化器的增强功能专注于星型模式配置中连接的有效处理。星型模式连接的初始化工作是受限制的，在该模式中所有维度表在过滤和投影后在同一时间装入内存。一部分维度表装入内存的场景还未实现。连接查询优化可以被分为三部分：当使用MAPJOIN时，在只有map的一个作业中执行操作符树中的map连接链。 自动转换情况的扩展优化（在优化时生成合适的备份计划）。完全在任务
sky_walker85·2014-09-22 16:00

Hive学习之连接查询优化（一）

    Hive为连接查询提供了一系列的优化方法，包括优化Hive的查询执行计划以改进连接查询的效率和减少用户提示的使用等。Hive可以自动识别很多用例并自动优化它们，Hive在0.11版本中对下面的情况改进了优化器： 连接查询的一端放进内存中，在新的优化器中：放进内存的一端在内存中以哈希表存在只有比较大的表需要扫描事实表在内存中有较小的足迹星型模式连接在许多用例中不再需要用户提示优化器自动优化m
sky_walker85·2014-09-22 11:00

Hive学习之抽样（Sampling）

    当数据量特别大时，对全体数据进行处理存在困难时，抽样就显得尤其重要了。抽样可以从被抽取的数据中估计和推断出整体的特性，是科学实验、质量检验、社会调查普遍采用的一种经济有效的工作和研究方法。    Hive支持桶表抽样和块抽样，下面分别学习。所谓桶表指的是在创建表时使用CLUSTERED BY子句创建了桶的表。桶表抽样的语法如下：table_sample:TABLESAMPLE(BUCKET
sky_walker85·2014-09-18 12:00

Hive学习之Union和子查询

    Hive中的Union查询已经使用过多次，但在使用之前都没有系统的学习过Union的语法格式（虽然在使用过程中没有出现过问题），所以现在将这一点补上。Union的语法格式如下：select_statementUNIONALLselect_statementUNIONALLselect_statement...    Union用于将多个SELECT语句的查询结果合并到一个结果集中，目前Hi
sky_walker85·2014-09-15 16:00

Hive学习之Lateral View

    Lateralview与UDTF函数如explode()一起使用，UDTF对每个输入行产生0或者多个输出行。Lateralview首先在基表的每个输入行应用UDTF，然后连接结果输出行与输入行组成拥有指定表别名的虚拟表。Lateralview的语法如下：LateralView:LATERALVIEWudtf(expression)tableAliasAScolumnAlias(','col
sky_walker85·2014-09-15 10:00

Hive学习之连接查询

    Hive支持连接查询，但有一些条件必须遵守，比如只支持相等查询，其它查询如不等式查询则不支持，还支持外连接，左半连接查询。另外Hive支持多于两个表以上的连接查询。下面为Hive连接查询的语法：join_table: table_referenceJOINtable_factor[join_condition] |table_reference{LEFT|RIGHT|FULL}[OUTER
sky_walker85·2014-09-11 14:00

Hive学习之自定义函数（UDF）

    在之前的学习，包括后面的实践和工作中，已经多次使用了Hive的内置函数，即有普通的函数，像cast、lower等，也有聚合函数，比如max，min等，除了这些内置函数，Hive还允许在内置函数不满足业务需求的时候用户自己定义函数。  现在就学习如何使用HiveAPI自定义函数。要想自定义Hive函数，只需要继承org.apache.hadoop.hive.ql.exec.UDF类，并在实现
sky_walker85·2014-09-09 15:00

Hive学习之内置聚合函数

聚合函数下表为Hive内置的聚合函数。返回类型函数名描述BIGINTcount(*)count(expr)count(DISTINCTexpr[,expr_.])count(*)–返回检索到的行的总数，包括含有NULL值的行。count(expr)–返回expr表达式不是NULL的行的数量count(DISTINCTexpr[,expr])–返回expr是唯一的且非NULL的行的数量DOUBLEs
skyWalker_ONLY·2014-08-25 17:24

Hive学习之内置聚合函数

聚合函数下表为Hive内置的聚合函数。返回类型函数名描述BIGINTcount(*)count(expr)count(DISTINCTexpr[,expr_.])count(*)–返回检索到的行的总数，包括含有NULL值的行。count(expr)–返回expr表达式不是NULL的行的数量count(DISTINCTexpr[,expr])–返回expr是唯一的且非NULL的行的数量DOUBLEs
sky_walker85·2014-08-25 17:00

Hive学习之内置条件和字符串函数

条件函数下表为Hive支持的一些条件函数。返回类型函数名描述Tif(booleantestCondition,TvalueTrue,TvalueFalseOrNull)如果testCondition为真，返回valueTrue，否则返回valueFalseOrNullTCOALESCE(Tv1,Tv2,...)返回第一个不是NULL的v，若全部为NULL，返回NULLTCASEaWHENbTHEN
sky_walker85·2014-08-22 10:00

Hive学习之内置数学、日期函数

数学函数下面表格中的函数为Hive的内置数学函数，大部分当参数为NULL时返回NULL。返回类型函数名描述bigint round(doublea)返回a经过四舍五入的BIGINT 值doubleround(doublea,intd)返回a经过四舍五入，保留d位小数的DOUBLE值bigintfloor(doublea)返回小于等于a的最大BIGINT值bigintceil(doublea),ce
sky_walker85·2014-08-20 13:00

Hive学习和配置Mysql

1.Hive简介起源自facebook由JeffHammerbacher领导的团队构建在Hadoop上的数据仓库框架设计目的是让SQL技能良好，但Java技能较弱的分析师可以查询海量数据2008年facebook把hive项目贡献给Apache Hive的组件与体系架构用户接口：shell,thrift,web等Thrift服务器元数据库“Derby,Mysql等解析器Hadoo
wind520·2014-08-17 12:00

hive学习 hql查询

在使用hive进行查询的时候，列值可能会是Array，Map，Struct等，当对这些对象进行查询时，如下：（1）如果是查询整个对象，则和一般的查询一样：select*from表名（2）如果想查询数组的第n个：select数组[n]from表名（3）如果查询的值是map中的xx：selectmap["xx"]from表名（4）如果要查询的是个struct中的xx属性：selectstruct.xx
hao707822882·2014-08-14 01:00

hive学习 hql操作

（1）怎么加载数据加载本地文件loaddatalocalinpath‘本地文件路径’intotable表名partition（xxxx=xxxx）加载hdfs的文件：loaddatainpath‘文件路径’intotable表名partition（xxxx=xxx）（2）如果想覆盖原先已有的数据：loaddatalocalinpath‘数据文件路径’overwriteintotable表名part
Java蜗牛·2014-08-13 15:25

hive学习 hql操作

（1）怎么加载数据加载本地文件 loaddatalocalinpath‘本地文件路径’intotable表名partition（xxxx=xxxx） 加载hdfs的文件： loaddatainpath‘文件路径’intotable表名partition（xxxx=xxx）（2）如果想覆盖原先已有的数据：loaddatalocalinpath‘数据文件路径’ overwriteintotable表名
hao707822882·2014-08-13 15:00

hive学习 hive中的表

storedas存储格式（testfile/sequencefile/rcfile）hive中的表分为内部表和外部表，内部表认为是数据完整的，删除表时也会删除表的数据，而外部表不会删除表的数据，只会删除表的元数据。怎么创建一个外部表：createexternaltable表名（参数） rawformatdelimitedfieldsterminatedby‘，’//指定数据的解析分隔符 locat
hao707822882·2014-08-13 14:00

hive学习 hive中的数据类型

（1）基本类型数据类型所占字节开始支持版本TINYINT1byte，-128~127SMALLINT2byte，-32,768~32,767INT4byte,-2,147,483,648~2,147,483,647BIGINT8byte,-9,223,372,036,854,775,808~9,223,372,036,854,775,807BOOLEANFLOAT4byte单精度DOUBLE8by
hao707822882·2014-08-13 09:00

hive学习 hive基本功

hive的基本用法：（1）help命令hadoop@hadoop-Lenovo-IdeaPad-Y470:~$hive--help//help选项 Usage./hive--serviceserviceName ServiceList:beelineclihelphiveserver2hiveserverhwijarlineagemetastoremetatoolorcfiledumprcfile
hao707822882·2014-08-13 08:00

Hive学习之HiveServer2 JDBC客户端

   HiveServer和HiveServer2都有两种模式，分别为嵌入式和单机服务器模式，对于嵌入式URI为"jdbc:hive://"或者"jdbc:hive2://"，单机服务器模式的URI为"jdbc:hive://host:port/dbname"或者"jdbc:hive2://host:port/dbname"。HiveServer使用的JDBC驱动类为org.apache.hado
sky_walker85·2014-08-04 11:00

Hive学习之HiveServer2服务端配置与启动

    在之前的学习和实践Hive中，使用的都是CLI或者hive–e的方式，该方式仅允许使用HiveQL执行查询、更新等操作，并且该方式比较笨拙单一。幸好Hive提供了轻客户端的实现，通过HiveServer或者HiveServer2，客户端可以在不启动CLI的情况下对Hive中的数据进行操作，两者都允许远程客户端使用多种编程语言如Java、Python向Hive提交请求，取回结果。HiveSe
sky_walker85·2014-08-01 13:00

Hive学习之配置Oracle为Metastore及问题

    之前学习了如何配置MySQL做为Hive的Metastore，由于在实际应用环境中统一使用的是Oracle11g，所以需要将MySQL改为Oracle。原本预料只要简单地修改hive-site.xml文件即可，却遇到了在Hive中创建表失败的问题，下面就将遇到的问题及解决方法整理一下。    首先修改hive-site.xml文件的内容如下，主要修改的地方为JDBC的URL和驱动类名。 j
sky_walker85·2014-07-29 11:00

Hive学习之内置操作符

    Hive的内置操作符与很多编程语言中的操作符相似，可以分为关系操作符、算术操作符、逻辑操作符和复合类型操作符，下面进行一一学习。关系操作符    关系操作符比较操作数并产生TRUE或者FALSE，需要注意的是Hive的相等比较为=，而不是==。操作符类型描述A=B数值类型如果A与B相等则返回TRUE，否则返回FALSEAB数值类型对于非NULL操作数，结果与=相同，如果都是NULL则返回T
sky_walker85·2014-07-25 11:00

Hive学习笔记之--Hive 高级编程<转>

第一部分：产生背景产生背景为了满足客户个性化的需求，Hive被设计成一个很开放的系统，很多内容都支持用户定制，包括：•文件格式：TextFile，SequenceFile•内存中的数据格式：JavaInteger/String,Hadoop IntWritable/Text•用户提供的map/reduce脚本：不管什么语言，利用stdin/stdout传输数据•用户自定义函数自定义函数虽然Hive
yongjian_luo·2014-07-18 13:00

Hive学习之Transform/Map-Reduce语法

    使用Hive的用户可以在数据流中插入自定义的Mappers和Reducers，为了运行自定义的Mapper和Reducer脚本，用户可以使用下面的命令，该命令使用TRANSFORM从句嵌入Mapper和Reducer脚本：query: FROM( FROMsrc MAPexpression(','expression)* (inRowFormat)? USING'my_map_script
sky_walker85·2014-07-16 15:00

Hive学习笔记-API简单操作

Hive以Thrift服务的服务器形式运行，允许不同的编程语言编写客户端进行访问，可以通过thrift，jdbc，odbc等连接器与Hive服务器通信，进行相关操作。publicclassHiveUtilsextendsAbstrUtils{ privatestaticTTransporttransport=null; privatestaticTProtocolprotocol=null;
wulinshishen·2014-07-10 11:00

Hive学习笔记-分隔符处理

hive默认是只支持单字符的分隔符，默认单字符是\001。当然你也可以在创建表格时指定数据的分割符号。如：createtableuser(namestring,passwordstring)rowformatdelimitedfieldsterminatedby'\t'。通过这种方式，完成分隔符的指定。如果你想要支持多字符的分隔符可以通过如下方式：1、自定义一个InputFormat，重写Inpu
wulinshishen·2014-07-09 21:00

Hive学习之SELECT语句（二）

ORDERBY从句    Hive中的orderby从句与SQL中的orderby很相似，都支持ASC和DESC，语法格式如下：ORDERBYcolName[ASC|DESC]    但Hive中的orderby有一些限制。在严格模式下（hive.mapred.mode=strict），orderby从句后面必须跟着limit从句，如果hive.mapred.mode=nonstrict（默认值）
sky_walker85·2014-07-08 13:00

Hive学习之SELECT语句（一）

前面学习了Hive中的数据定义语言，也学习了如何加载或者插入数据，在一些示例中或多或少的使用了SELECT语句，但还没有全面系统地学习，现在就开始学习Hive的SELECT语句。Hive的SELECT语句与传统的SQL中的SELECT还是有些区别的。具体的语法如下：[WITHCommonTableExpression(,CommonTableExpression)*]SELECT[ALL|DIST
skyWalker_ONLY·2014-07-03 14:20

Hive学习之SELECT语句（一）

    前面学习了Hive中的数据定义语言，也学习了如何加载或者插入数据，在一些示例中或多或少的使用了SELECT语句，但还没有全面系统地学习，现在就开始学习Hive的SELECT语句。Hive的SELECT语句与传统的SQL中的SELECT还是有些区别的。具体的语法如下：[WITHCommonTableExpression(,CommonTableExpression)*] SELECT[ALL
sky_walker85·2014-07-03 14:00

Hive学习之Load和Insert语句

Load语句使用Load语句可以方便的将本地文件系统或者HDFS中的文件加载到Hive表中，语句格式如下：LOADDATA[LOCAL]INPATH'filepath'[OVERWRITE]INTOTABLEtablename[PARTITION(partcol1=val1,partcol2=val2...)]在该语句中，如果包含LOCAL关键字，则复制本地文件系统中的文件到目标表中，如果不包含L
skyWalker_ONLY·2014-07-01 16:30

Hive学习之Load和Insert语句

Load语句    使用Load语句可以方便的将本地文件系统或者HDFS中的文件加载到Hive表中，语句格式如下：LOADDATA[LOCAL]INPATH'filepath'[OVERWRITE]INTOTABLEtablename[PARTITION(partcol1=val1,partcol2=val2...)]    在该语句中，如果包含LOCAL关键字，则复制本地文件系统中的文件到目标表
sky_walker85·2014-07-01 16:00

Hive学习之部署UDF的四种方法

    在向Hive添加自定义的UDF或者添加Hive自带的类，如GenericUDFDBOutput时，需要将包含UDF类的Jar包添加到Hive环境中，这样就可以使用Create[temporary]function创建函数了，添加UDFJar包有四种方法，下面分别进行介绍。    第一种是最常见但也不招人喜欢的方式是使用ADDJAR(s)语句，之所以说是不招人喜欢是，通过该方式添加的jar文
sky_walker85·2014-06-30 15:00

Hive学习之配置MySQL为Metastore

  Hive默认情况下以内嵌模式使用Derby数据库做为metastore，该模式最大的缺陷是不支持多个客户端同时连接到metastore上，因此只适合用于学习测试的目的，要在实际生产上使用Hive需要将metastore配置为本地模式或者远程模式，现在就介绍如何以本地模式配置metastore，使用的数据库为MySQL5.6.19。在进行配置之前先要安装MySQL数据库，一般情况下Linux系统
sky_walker85·2014-06-26 15:00

Hive学习之函数DDL和Show、Describe语句

创建/删除函数创建临时函数下面的语句创建由class_name实现的临时函数，该函数被创建后只能够在当前会话中使用，会话结束后函数失效。实现函数的类可以是Hive类路径中的任意类，可以使用AddJar语句向Hive类路径添加类。CREATETEMPORARYFUNCTIONfunction_nameASclass_name删除临时函数使用下面的语句可以删除当前会话中的临时函数：DROPTEMPOR
skyWalker_ONLY·2014-06-20 14:06

Hive学习之函数DDL和Show、Describe语句

创建/删除函数创建临时函数  下面的语句创建由class_name实现的临时函数，该函数被创建后只能够在当前会话中使用，会话结束后函数失效。实现函数的类可以是Hive类路径中的任意类，可以使用AddJar语句向Hive类路径添加类。CREATETEMPORARYFUNCTIONfunction_nameASclass_name删除临时函数  使用下面的语句可以删除当前会话中的临时函数：DROPTE
sky_walker85·2014-06-20 14:00

Hive学习路线图

http://blog.fens.me/hadoop-hive-roadmap/1.什么是hive •Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。•本质是将HQL转换为MapReduce程序 2.为什么使用hive •操作接口采用类SQL语法，提供快速开发的能力•避免了去写MapReduce，减少开发人员的学习成本•扩展功能很方便
nysyxxg·2014-06-17 18:00

Hive学习之视图、索引DDL

创建视图    视图是纯逻辑对象并不关联任何存储，下面的语句使用给定view_name名称创建视图，若view_name与现存的表或者视图重名，则出错。CREATEVIEW[IFNOTEXISTS]view_name[(column_name[COMMENTcolumn_comment],...)][COMMENTview_comment] [TBLPROPERTIES(property_name
sky_walker85·2014-06-17 14:00

Hive学习之修改表、分区、列

修改表的语句允许改变现有表的结构，通过该语句可以增加列/分区，修改SerDe，增加表和SerDe的属性或者重命名表。与之类似，修改分区的语句可以改变指定分区的属性。重命名表重命名表的语句如下：ALTERTABLEtable_nameRENAMETOnew_table_name修改表属性修改表属性的语句如下：ALTERTABLEtable_nameSETTBLPROPERTIES(property_
skyWalker_ONLY·2014-06-12 11:38

Hive学习之修改表、分区、列

修改表的语句允许改变现有表的结构，通过该语句可以增加列/分区，修改SerDe，增加表和SerDe的属性或者重命名表。与之类似，修改分区的语句可以改变指定分区的属性。重命名表重命名表的语句如下：ALTERTABLEtable_nameRENAMETOnew_table_name修改表属性修改表属性的语句如下：ALTERTABLEtable_nameSETTBLPROPERTIES(property_
sky_walker85·2014-06-12 11:00

Hive学习之创建、删除、Truncate表

  创建表的语句有两种，分别为：CREATE[EXTERNAL]TABLE[IFNOTEXISTS][db_name.]table_name [(col_namedata_type[COMMENTcol_comment],...)] [COMMENTtable_comment] [PARTITIONEDBY(col_namedata_type[COMMENTcol_comment],...)] [
sky_walker85·2014-06-08 19:00

Hive学习

hive三种启动方式及用途，关注通过jdbc连接的启动  1:hive  命令行模式，直接输入/hive/bin/hive的执行程序，或者输入hive--servicecli    用于linux平台命令行查询，查询语句基本跟mysql查询语句类似2: hive  web界面的启动方式，hive–servicehwi    用于通过浏览器来访问hive，感觉没多大用途3: hive采用远程远程服务
nysyxxg·2014-06-08 00:00

Hive学习之Hive数据库DDL

  Hive提供了与SQL相似的数据定义语言(DDL)，对于熟悉SQL的人来说，学习Hive的DDL是非常容易得，即使从未接触过SQL的人，学习也不是一件很难的事情。虽然本人对SQL有一定的了解，但绝不敢自称熟悉SQL，所以准备对HiveQL进行深入的学习，按照SQL通常的学习曲线，先学习DDL，再学习DML（数据操作语言）。由于需要演示一些语句的示例，不得不超前使用一些其它语句，比如show、d
sky_walker85·2014-06-04 11:00

Hive学习之Hive数据类型

    Hive到0.13.0版本为止已经支持越来越多的数据类型，像传统数据库中的VCHAR、CHAR、DATE以及所特有的复合类型MAP、STRUCT等。Hive中的数据类型可以分为数值类型、字符串类型、日期时间类型、复合类型以及其它类型，下面分别予以介绍。数值类型    Hive中的数值类型与Java中的数值类型很相似，区别在于有些类型的名称不一样，可以概括为如下的表格：类型名称大小最小值最大
sky_walker85·2014-05-29 17:00

Hive学习之Hive CLI

    Hive命令行接口（CLI）提供了执行HiveQL、设置参数等功能，要启用CLI只需要在命令行下执行$HIVE_HOME/bin/hive命令。在命令下执行hive–H可以查看CLI选项，如下表所示：-d,--define应用于Hive命令的变量替换，如-d A=B或者--defineA=B--database指定所使用的数据库-e执行命令行指定SQL-f执行文件中的SQL-H,--hel
sky_walker85·2014-05-28 15:00

Hive 学习资料

Hive学习资料 http://blog.csdn.net/lifuxiangcaohui/article/details/40511637Hive安装http://www.cnblogs.com/linjiqin
nysyxxg·2014-05-28 13:00

hive学习（8）--- Hive任务转换为MP的原理分析（通过explain查看hive映射到mp的stage）

Hive任务分析如果要深入学习hive，那数据倾斜的问题是必然要面临的，又称为hive调优。想要调优，就必须了解hive是如何把hql转换成MP程序的，转换的规则是什么，只有知道规则，才能分析它的过程，从而有针对性的优化。Hive通常以hql的形式执行，它的本质是MP程序。不同的hql，会根据自己的规则，转换成不同的MP任务，比如比较简单的hql，会转成一个job（包括一个map和一个reduce
glgl2424·2014-05-25 12:23

Hive学习之Hive基本概念及实践

    Hive是基于Hadoop的数据仓库，而Hadoop为数据的存储和处理提供了很强的水平扩展和容错功能。Hive能够轻松地汇总数据，特定查询和分析大数据，提供了简单的查询语言HiveQL，该语言基于SQL，这使得熟悉SQL的用户可以执行特定查询，容易得汇总和分析数据。同时HiveQL允许map/reduce程序员能够插入定制的mapper和reducer去执行更加复杂的分析，HiveQL的内
sky_walker85·2014-05-24 12:00

Hive学习之Hive Web接口

    Hive的web接口是CLI的备选方案，使用web接口是开始使用Hive的一种很好的方式。Hive的web接口（HWI）是一个简单的图形用户接口（GUI）。    HWI在Hive-0.2分支版本中第一次出现，，如果使用的是0.2或者之后的版本，不需要做任何修改就可以直接使用HWI，HWI的默认配置在HiveConf.java文件中：//HWI HIVEHWILISTENHOST("hiv
sky_walker85·2014-05-22 16:00
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他