Hive学习

Hive学习笔记 ---- 支持Update和Delete以及Merge

在最早2013年接触Hive的时候就总看到各种材料说着Hive有一个很大的弊端，就是分布式系统依托底层HDFS存储系统没法对行级别的数据进行update更新和delete行级别的删除和merge行级别合并操作。但是后来隐约的听说Hive又可以支持update和delete了，我就去做了一个调研，这里是总结的说明文档。其中官网的WIKI中记录，开始支持行级别的update和delete最早从开源的0
杨鑫newlfe·2020-06-27 05:28

hive学习心得二

4.HiveQl数据操作a)像管理表中装载数据insertoverwritetabletable_namepartition(column_name='值1',column_name2='值2')selectcolumn_namefromtable_name;b)导出数据1)hadoopfs-get/user/dim/dim_w3_gprs_product_type.txt/bonc/bonc/s
半疯半痴·2020-06-27 04:35

hive学习心得

前导1.数据类型a）基本数据类型int（4字节，32位），float（4字节，32位），double（8字节，64位），boolean（true/false），补充：tinyint（1字节，8位），smallint（2字节，16位），bigint（8字节，64位），string字符串，binary（二进制）），timestamp（时间戳），decimal，varchar，dateb）复杂数据类型a
半疯半痴·2020-06-27 04:05

Hive学习笔记（3）- Hive 运行日志的配置

1Hive运行日志配置[hadoop@node1~]$cd$HIVE_HOME/conf[hadoop@node1conf]$lltotal20-rw-r--r--.1hadoophadoop1196Mar242016beeline-log4j.properties.template-rw-r--r--.1hadoophadoop2470Jan1612:36hive-env.sh-rw-r--r-
一角残叶·2020-06-27 03:40

Hive学习之自定义聚合函数

Hive支持用户自定义聚合函数（UDAF），这种类型的函数提供了更加强大的数据处理功能。Hive支持两种类型的UDAF：简单型和通用型。正如名称所暗示的，简单型UDAF的实现非常简单，但由于使用了反射的原因会出现性能的损耗，并且不支持长度可变的参数列表等特征。而通用型UDAF虽然支持长度可变的参数等特征，但不像简单型那么容易编写。这篇文章将学习编写UDAF的规则，比如需要实现哪些接口，继承哪些类，
skyWalker_ONLY·2020-06-26 12:45

Hive学习之HiveServer2 JDBC客户端

HiveServer和HiveServer2都有两种模式，分别为嵌入式和单机服务器模式，对于嵌入式URI为"jdbc:hive://"或者"jdbc:hive2://"，单机服务器模式的URI为"jdbc:hive://host:port/dbname"或者"jdbc:hive2://host:port/dbname"。HiveServer使用的JDBC驱动类为org.apache.hadoop.
skyWalker_ONLY·2020-06-26 12:45

Hive学习之HiveServer2服务端配置与启动

在之前的学习和实践Hive中，使用的都是CLI或者hive–e的方式，该方式仅允许使用HiveQL执行查询、更新等操作，并且该方式比较笨拙单一。幸好Hive提供了轻客户端的实现，通过HiveServer或者HiveServer2，客户端可以在不启动CLI的情况下对Hive中的数据进行操作，两者都允许远程客户端使用多种编程语言如Java、Python向Hive提交请求，取回结果。HiveServer
skyWalker_ONLY·2020-06-26 12:45

Hive学习之自定义函数（UDF）

在之前的学习，包括后面的实践和工作中，已经多次使用了Hive的内置函数，即有普通的函数，像cast、lower等，也有聚合函数，比如max，min等，除了这些内置函数，Hive还允许在内置函数不满足业务需求的时候用户自己定义函数。现在就学习如何使用HiveAPI自定义函数。要想自定义Hive函数，只需要继承org.apache.hadoop.hive.ql.exec.UDF类，并在实现类中定义一个
skyWalker_ONLY·2020-06-26 12:45

Hive学习之修改表、分区、列

修改表的语句允许改变现有表的结构，通过该语句可以增加列/分区，修改SerDe，增加表和SerDe的属性或者重命名表。与之类似，修改分区的语句可以改变指定分区的属性。重命名表重命名表的语句如下：ALTERTABLEtable_nameRENAMETOnew_table_name修改表属性修改表属性的语句如下：ALTERTABLEtable_nameSETTBLPROPERTIES(property_
skyWalker_ONLY·2020-06-26 12:44

Hive学习之创建、删除、Truncate表

创建表的语句有两种，分别为：CREATE[EXTERNAL]TABLE[IFNOTEXISTS][db_name.]table_name[(col_namedata_type[COMMENTcol_comment],...)][COMMENTtable_comment][PARTITIONEDBY(col_namedata_type[COMMENTcol_comment],...)][CLUSTE
skyWalker_ONLY·2020-06-26 12:44

Hive学习之Load和Insert语句

Load语句使用Load语句可以方便的将本地文件系统或者HDFS中的文件加载到Hive表中，语句格式如下：LOADDATA[LOCAL]INPATH'filepath'[OVERWRITE]INTOTABLEtablename[PARTITION(partcol1=val1,partcol2=val2...)]在该语句中，如果包含LOCAL关键字，则复制本地文件系统中的文件到目标表中，如果不包含L
skyWalker_ONLY·2020-06-26 12:44

Hive学习之Hive Web接口

Hive的web接口是CLI的备选方案，使用web接口是开始使用Hive的一种很好的方式。Hive的web接口（HWI）是一个简单的图形用户接口（GUI）。HWI在Hive-0.2分支版本中第一次出现，，如果使用的是0.2或者之后的版本，不需要做任何修改就可以直接使用HWI，HWI的默认配置在HiveConf.java文件中：//HWIHIVEHWILISTENHOST("hive.hwi.lis
skyWalker_ONLY·2020-06-26 12:13

Hive学习之路 （二十二）Hive 常用的内置函数(补充)

hive查看函数：showfunctions;descfunctions函数名1.parse_urlparse_url(url,partToExtract[,key])-extractsapartfromaURL解析URL字符串，partToExtract的选项包含[HOST,PATH,QUERY,REF,PROTOCOL,FILE,AUTHORITY,USERINFO]。举例：parse_url
sheep8521·2020-06-26 08:44

Hive学习笔记(3)--Hive的自定义函数(UDF)

前提如果hive的内置函数不够用，我们也可以自己定义函数来使用,这样的函数称之为hive的用户自定义函数，简称UDF。实现步骤：1.新建java工程，导入hive相关包，导入hive相关的lib。2.创建类继承UDF3.自己编写一个evaluate方法，返回值和参数任意。4.为了能让mapreduce处理，String要用Text处理。5.将写好的类打成jar包，上传到linux中6.在hive命
李宏健ss·2020-06-26 01:31

Hive学习(三)操作Hive的方式及优化

Hive一、操作Hive的两种方式1、通过Beenline2、通过JDBC二、Hive的优化1、Hive优化的思想：2、优化的方式(1)开启本地模式(2)开启并行计算(3)严格模式(4)Hive排序(5)HiveJoin(6)Map-Side聚合(7)控制Hive中Map以及Reduce的数量(8)Hive-JVM重用一、操作Hive的两种方式1、通过Beenline操作Hive可以直接通过hiv
B&&D·2020-06-26 00:15

Hive学习(一)Hive的三种搭建方式

Hive三种搭建方式一、本地模式(derby)二、基于Mysql的本地模式三、基于Mysql的远程模式1、解压apache-hive-1.2.1-bin.tar.gztar-zxvfapache-hive-1.2.1-bin.tar.gz2、配置环境变量exportHIVE_HOME=/opt/apache-hive-1.2.1exportPATH=$HIVE_HOME/bin:$PATH一、本地
B&&D·2020-06-26 00:15

Hive学习之路(三):hiveserver2的启动与使用

操作内容简介一、hiveserver2简介二、使用hiveserver2服务1.启动hiveserver2服务2.启动beeline连接server3.使用JDBC协议连接server1.构建Java工程，添加Maven支持2.创建并编写HiveServerTest类三、总结一、hiveserver2简介Hive在生产上是不需要部署集群的，操作Hive只需要通过它提供的客户端即可，Hive提供了大
萧邦主·2020-06-25 22:29

Hive学习之路(四):Hive内置函数介绍与实现WordCount

内容简介一、Hive内置函数介绍二、Hive常用内置函数介绍1.数值计算函数2.字符串操作函数3.日期函数4.聚合函数5.表生成函数三、使用Hive函数完成WordCount1.创建表并将数据导入2.编写SQL句并执行四、总结一、Hive内置函数介绍Hive为编程人员提供了大量的内置函数，为编程提供了极大的便利，进入hiveshell下输入命令：showfunctions可查看所有Hive所有的内
萧邦主·2020-06-25 22:29

Hive学习 （三）Hive的连接三种连接方式

目录一、CLI连接二、HiveServer2/beeline1、修改hadoop集群的hdfs-site.xml配置文件2、修改hadoop集群的core-site.xml配置文件三、WebUI正文：一、CLI连接进入到bin目录下，直接输入命令：[potter@potter2~]$hiveSLF4J:ClasspathcontainsmultipleSLF4Jbindings.SLF4J:Fou
匿名啊啊啊·2020-06-25 21:37

Hive学习（七）查询

LIKE和RLIKELIKE：%，_RLIKE：支持Java的正则表达式；例，查找部门号中含有2的部门：select*fromdept_partwheredeptnoRLIKE'[2]';大多数情况下，Hive会对JOIN连接对象启动一个MapReduce任务如：FROMempeJOINdeptdONd.deptno=e.deptnoJOINlocationlONd.loc=l.loc首先启动一个
新新许愿树·2020-06-25 20:35

大数据入门-Hive学习从这里开始

Hive是基于HadoopHDFS分布式文件系统的分布式数据仓库架构。它为数据仓库的管理提供了许多功能：数据ETL（抽取、转换和加载）工具，数据存储管理和大型数据集的查询和分析能力。同时Hive还定义了类SQL的语言（HiveQL）。允许用户进行和SQL相似的操作，它可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能。还允许开发人员方便的使用Mapper和Reducer操作，可以
大数据群722680258·2020-06-25 16:53

Hive学习（一）

【metastore】——存储在Mysql中–DBS：存储hive的所有数据库的元数据–TBLS：存储hive的所有数据表的元数据【数据类型】NumericTypesTINYINT(1-bytesignedinteger,from-128to127)SMALLINT(2-bytesignedinteger,from-32,768to32,767)INT/INTEGER(4-bytesignedin
DataSheep·2020-06-25 10:46

Hive学习笔记（4）存储格式

Hive从两个维度对表的存储进行管理：“行格式”（rowformat）和“文件格式”（fileformat）。行格式指行和一行中的字段如何存储。行格式的定义由SerDe定义，SerDe是“序列化和反序列化工具”（Serializer-Deserializer）的合成词。查询时，DerDe进行反序列化将文件中字节形式的数据行反序列化为Hive内部操作数据行时锁使用的对象形式。插入时，SerDe会把H
井地儿·2020-06-24 10:44

Hadoop生态组件-HIVE学习

本文将Hadoop生态圈中的一个重要组件Hive。内容包括安装，运行测试，使用MySQL存储Hive的matedata，还包括其他使用Hive的知识，比如数据分区等。本文是本人学习Hive过程中的记录，对于一些“理所当然”的简单的东西就只是一笔带过或者没有记录在这里。阅读本文需要对Hadoop有一定的了解，特别是对HDFS，所以，对HDFS的安装和使用部分写得比较简略。一开始的时候，对于Hive的
蜗牛爱上星星·2020-06-24 04:06

Hive学习指南和Python机器学习--初涉猎

0、将以下写入到/etc/profile最后exportJAVA_HOME=/usr/java/latest/jdk1.8.0_161exportJRE_HOME=${JAVA_HOME}/jreexportCLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/libexportPATH=${JAVA_HOME}/bin:$PATHexportHADOOP_HOME=/
太阳之火·2020-06-24 00:06

hive学习笔记-函数篇(-)持续更新中

hive查看函数：showfunctions;descfunctions函数名parse_urlparse_url(url,partToExtract[,key])-extractsapartfromaURL解析URL字符串，partToExtract的选项包含[HOST,PATH,QUERY,REF,PROTOCOL,FILE,AUTHORITY,USERINFO]。举例：*parse_url(
jsphyun·2020-06-23 23:10

hive学习笔记

1.HIVE结构Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为QL，它允许熟悉SQL的用户查询数据。同时，这个语言也允许熟悉MapReduce开发者的开发自定义的mapper和reducer来处理内建的mapper和redu
iteye_3941·2020-06-23 19:13

hive学习（3）--- 较大数据下的hql执行速度

生成一个20000000条数据的wetherdata4.txt文件，追加到weather表中，形成20600000条数据下的查询性能情况分析：第一条hql语句：selectcy.number,wh.*,pm.pmlevelfromcityinfocyjoinweatherwhon(cy.name=wh.city)joinpminfopmon(pm.pmvalue=wh.pmvalue)wherew
glgl2424·2020-06-23 10:40

hive学习总结(7)—hive性能调优

limit限制调整--因为使用limit语句时候，是先执行整个查询语句，然后再返回部分结果的sethive.limit.optimize.enable=true;sethive.limit.row.max.size=10000;sethive.limit.optimize.limit.file=10;2.JOIN优化。。。3.本地模式--hive尝试使用本地模式执行查询，要不然hive会使用Map
nucheima·2020-06-23 01:05

大数据技术之_08_Hive学习_01_Hive入门+Hive安装、配置和使用+Hive数据类型

第1章Hive入门1.1什么是Hive1.2Hive的优缺点1.2.1优点1.2.2缺点1.3Hive架构原理1.4Hive和数据库比较1.4.1查询语言1.4.2数据存储位置1.4.3数据更新1.4.4索引1.4.5执行1.4.6执行延迟1.4.7可扩展性1.4.8数据规模第2章Hive安装、配置和使用2.1Hive安装地址2.2Hive安装部署2.3将本地文件导入Hive案例2.4MySql安
aodawu2891·2020-06-22 14:33

大数据技术之_08_Hive学习_04_压缩和存储（Hive高级）+ 企业级调优（Hive优化）

第8章压缩和存储（Hive高级）8.1Hadoop源码编译支持Snappy压缩8.1.1资源准备8.1.2jar包安装8.1.3编译源码8.2Hadoop压缩配置8.2.1MR支持的压缩编码8.2.2压缩参数配置8.3开启Map输出阶段压缩8.4开启Reduce输出阶段压缩8.5文件存储格式8.5.1列式存储和行式存储8.5.2TextFile格式8.5.3Orc格式8.5.4Parquet格式8
aodawu2891·2020-06-22 14:33

大数据技术之_08_Hive学习_05_Hive实战之谷粒影音（ETL+TopN）+常见错误及解决方案...

第10章Hive实战之谷粒影音10.1需求描述10.2项目10.2.1数据结构10.2.2ETL原始数据10.3准备工作10.3.1创建表10.3.2导入ETL后的数据到原始表10.3.3向ORC表插入数据10.4业务分析10.4.1统计视频观看数Top1010.4.2统计视频类别热度Top1010.4.3统计出视频观看数最高的20个视频的所属视频类别以及对应视频类别的个数10.4.4统计视频观看
aodawu2891·2020-06-22 14:33

Hive数据倾斜及解决方法

Hive学习之路（十九）Hive的数据倾斜2个人光环大数据学习Hive面试常问：hq语句优化sortbyorderbydistributeby分区表分桶表的区别内部表外部表的区别数据倾斜：数据分布不均匀
张之海·2020-06-22 09:20

HIVE学习总结

一、Hive的基本概念1.1hive是什么？（1）Hive是建立在hadoop数据仓库基础之上的一个基础架构；（2）相当于hadoop之上的一个客户端，可以用来存储、查询和分析存储在hadoop中的数据；（3）是一种SQL解析引擎，能够将SQL转换成Map/Reduce中的Job在hadoop上执行。1.2hive的数据存储特点（1）数据存储是基于hadoop的HDFS；（2）没有专门的数据存储格
*JUN*�·2020-06-21 19:21

Hive学习总结之五：HBase和Hive的集成

Hive和Hbase有各自不同的特征：hive是高延迟、结构化和面向分析的，hbase是低延迟、非结构化和面向编程的。Hive数据仓库在hadoop上是高延迟的。Hive集成Hbase就是为了使用hbase的一些特性。如下是hive和hbase的集成架构：图1hive和hbase架构图Hive集成HBase可以有效利用HBase数据库的存储特性，如行更新和列索引等。在集成的过程中注意维持HBase
顺顺顺子·2020-06-21 14:26

hive学习笔记之八——关于concat的between取值范围问题

ForVideoRecommendationinDeeplearningQQGroup277356808ForVisualindeeplearningQQGroup629530787I'mherewaitingforyouwannahaveadatewithsomeoneinBeijingpleasejoinintheQQGroup737813700在拉取日志数据时发现阶段性拉取的数据比后来拉取的
VideoRec·2020-06-21 14:04

hive 学习

hive学习多表查询SELECTa.user_uid_type,a.user_uid,c.user_id,c.user_typeFROMmytable1aJOINmytable2bON(a.user_uid_type
weixin_30300225·2020-06-21 09:11

Hive学习笔记 --- Hive的Beeline使用

有时候对于HiveCLI与BeelineCLI区别可以这样理解。HiveCLI->oldBeeLine->New使用的方式如下：%bin/beelineHiveversion0.11.0-SNAPSHOTbyApachebeeline>!connectjdbc:hive2://localhost:10000/default!connectjdbc:hive2://localhost:10000/d
杨鑫newlfe·2020-06-21 08:39

Hive学习笔记（6）DDL

官方参考文档LanguageManualDDL创建/删除/更改/使用数据库在hivesql中database关键词和schema关键词可以互换，意思是一样的创建数据库CREATE(DATABASE|SCHEMA)[IFNOTEXISTS]database_name[COMMENTdatabase_comment][LOCATIONhdfs_path][WITHDBPROPERTIES(proper
井地儿·2020-06-21 08:41

Hive学习(二)知识点整理

Hive一、什么是Hive？二、Hive可以做什么？三、Hive的表种类四、Hive创建表的三种方式五、Hive插入数据的方式六、Hive视图七、Hive索引八、Hive环境搭建和部署一、什么是Hive？Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。Hive的优点：其优点是学习成
B&&D·2020-06-21 06:59

Hive学习（一）环境搭建

1、Hive安装搭建hive的开发环境安装HIVE之前，一定要保证hadoop集群启动正常必须准备两个前提;1、hadoop集群2、一个关系型数据库推荐使用MySQL安装Mysql：https://blog.csdn.net/qq_41851454/article/details/79731930找Hive安装包的方式：进入官网：https://hive.apache.org/点击Download
匿名啊啊啊·2020-06-21 06:29

Hive学习（九）企业级调优

Fecth抓取Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT*FROMemployees;在这种情况下，Hive可以简单地读取employees对应的存储目录下的文件，然后输出查询结果到控制台。在hive-default.xml.template文件中hive.fetch.task.conversion默认是more，老版本hive默认是min
新新许愿树·2020-06-21 06:25

Hive学习（八）函数

内置函数showfunctionsdescfunctionupperdescfunctionextendedupper（详细）自定义函数UDF(user-defienedfuction)UDF一进一出UDAF聚集函数，多进一出UDTF一进多出自定义函数步骤：1.创建一个maven工程，并且导入jar（hive-exec）2.UDF函数：创建一个类，并且继承org.apache.hadoop.hiv
新新许愿树·2020-06-21 06:25

Hive学习之Hive数据类型

Hive到0.13.0版本为止已经支持越来越多的数据类型，像传统数据库中的VCHAR、CHAR、DATE以及所特有的复合类型MAP、STRUCT等。Hive中的数据类型可以分为数值类型、字符串类型、日期时间类型、复合类型以及其它类型，下面分别予以介绍。数值类型Hive中的数值类型与Java中的数值类型很相似，区别在于有些类型的名称不一样，可以概括为如下的表格：默认情况下，整数常量被当做INT处理，
qingdsj·2020-06-21 04:35

2020-06-16

hive学习笔记一、hive入门1.1什么是hive  Hive：由Facebook开源用于解决海量结构化日志的数据统计。  
bd75129df185·2020-06-16 18:19

hive+hbase学习手册

hive学习手册一、hive入门手册1.什么是数据仓库1.1数据仓库概念对历史数据变化的统计，从而支撑企业的决策。比如：某个商品最近一个月的销量，预判下个月应该销售多少，从而补充多少货源。
尬聊码农·2020-05-13 14:01

[译]Hive学习指南（四）

查询和插入数据Hive查询操作参见文档Select，插入操作参见文档InsertingdataintoHiveTablesfromqueries和Writingdataintothefilesystemfromqueries。简单查询下面示例为查询所有活跃用户：INSERTOVERWRITETABLEuser_activeSELECTuser.*FROMuserWHEREuser.active=1
steanxy·2020-04-11 14:25

Hive学习笔记九

目录数据仓库一、什么是数据仓库二、数据仓库能干什么？三、数据仓库的特点四、数据仓库发展历程五、数据库与数据仓库的区别六、数据仓库架构分层1、数据仓库架构2、为什么要对数据仓库分层？七、元数据介绍八、星型模型和雪花模型1、星型模型2、雪花模型3、星型模型和雪花模型对比数据仓库一、什么是数据仓库  数据仓库，英文名称为DataWarehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制
落花桂·2020-04-06 16:00

Hive学习笔记八

目录企业级调优一、Fetch抓取二、本地模式三、表的优化1、小表、大表Join2、大表Join大表3、MapJoin4、GroupBy5、Count(Distinct)去重统计6、笛卡尔积7、行列过滤8、动态分区调整9、分桶10、分区四、数据倾斜1、合理设置Map数2、小文件进行合并3、复杂文件增加Map数4、合理设置Reduce数五、并行执行六、严格模式七、JVM重用八、推测执行九、压缩十、执行
落花桂·2020-04-05 13:00

Hive学习笔记2

Hive的数据导入：可以使用Load命令导入，也可以使用Sqoop组件导入数据。Hive不支持insert插入单条语句Hive的数据查询Hive的Java客户端和自定义函数Hive执行load导入数据。loaddatalocalinpath‘/root/data/student01.txt’intotablet2;local表示数据从本地操作系统中导入。如果不写local表示从hdfs中导入。lo
wangmin·2020-04-05 01:57
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他