E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Hive学习
Hive学习
笔记七
目录函数一、系统自带函数二、自定义函数三、自定义UDF函数开发案例压缩和存储一、Hadoop源码编译支持Snappy压缩1、资源准备2、jar包安装3、编译源码二、Hadoop压缩配置1、MR支持的压缩编码2、压缩参数配置三、开启Map输出阶段压缩四、开启Reduce输出阶段压缩五、文件存储格式1、列式存储和行式存储2、TextFile格式3、Orc格式4、Parquet格式5、主流文件存储格式对
落花桂
·
2020-04-03 13:00
Hive学习
笔记六
目录查询一、基本查询1、全表和特定列查询2、列别名3、算术运算符4、常用函数5、Limit语句二、Where语句1、比较运算符(Between/In/IsNull)2、Like和RLike3、逻辑运算符(And/Or/Not)三、分组1、GroupBy语句2、Having语句四、Join语句1、等值Join2、表的别名3、内连接4、左外连接5、右外连接6、满外连接7、多表连接8、笛卡尔积9、连接谓
落花桂
·
2020-04-02 13:00
Hive学习
笔记五
目录DML数据操作一、数据导入1、向表中装载数据(Load)2、通过查询语句向表中插入数据(Insert)3、查询语句中创建表并加载数据(AsSelect)4、创建表时通过Location指定加载数据路径5、Import数据到指定Hive表中二、数据导出1、Insert导出2、Hadoop命令导出到本地3、HiveShell命令导出4、Export导出到HDFS上5、Sqoop导出三、清除表中数据
落花桂
·
2020-04-01 12:00
Hive学习
us.apache.org/dist/hive/hive-2.1.1/官方文档:https://cwiki.apache.org/confluence/display/Hive/GettingStarted修改以下属性:配置全局变量:运行:异常:RelativepathinabsoluteURI:${system:user.name%7DRelativepathinabsoluteURI:${sy
三万_chenbing
·
2020-03-30 13:47
Hive学习
笔记1
什么是Hive:Hive是基于Hadoop之上的数据仓库,数据存放在HDFS上,它同样可以通过ETL来进行数据的抽取、转换和加载。同时Hive可以自己开发Mapreduce程序来完成本身不能提供的数据处理操作。Hive本身就是一个SQL的解析引擎,他将SQL语句转成Mapreduce任务在hadoop之上执行。什么是数据仓库:数据仓库是一个面向主题的,集成的,不可更新的,随时间不变化的数据集合,它
三万_chenbing
·
2020-03-25 23:46
大数据
hive学习
路径
来自@pigpdong的Hadoop/
HIVE学习
路径图片供大家参考,实验楼近期也推出
实验楼
·
2020-03-24 02:43
Hive学习
(使用mysql存储元数据)
Hive2.3版本的安装参考文章:http://m.blog.csdn.net/lym152898/article/details/77334997注意事项:下载的mysql-connector-java-5.1.43.tar.gz,需要解压后再移动到$HIVE_HOME/lib中去。报错解决:hive>showtables;FAILED:HiveInternalError:java.net.Un
tonyemail_st
·
2020-03-23 00:50
[译]
Hive学习
指南(一)
Hive是什么Hive是基于ApacheHadoop的数据仓库。Hadoop提供了在商用硬件上存储和处理大量数据的能力,并且具有容错机制。Hive能够让大数据的汇总,即时查询和分析变得更加简单。Hive提供了SQL,用户可以很方便地进行即时查询,数据汇总和分析。同时,Hive的SQL给用户提供了很多空间去集成定制的分析功能,如UserDefinedFunctions(UDFs)。Hive不是什么H
steanxy
·
2020-03-19 18:52
Hive学习
-表的基本操作
HiveQL是类SQL查询语句,和数据库的查询语句类似,下面介绍一些基本的表操作:1.创建表创建表的HQL语句如下,逐条输入即可,以;结束。CREATETABLEstudents3(idint,namestring,agetinyint,phonechar(13),emailvarchar(30),coursessmallint,score1float,score2double,tuitionde
Ameliesun
·
2020-03-15 01:24
Hive学习
笔记四
目录数据定义一、创建数据库二、修改数据库三、查询数据库1、显示数据库2、查看数据库详情3、切换当前数据库四、删除数据库五、创建表1、建表语法2、字段解释说明:六、管理表1、理论1、案例实操七、外部表1、理论2、管理表和外部表的使用场景:3、案例实操八、分区表1、分区表基本操作2、分区表注意事项九、修改表1、重命名表2、增加、修改和删除表分区3、增加/修改/替换列信息十、删除表数据定义一、创建数据库
落花桂
·
2020-03-06 20:00
手把手教你搭建hadoop+hive测试环境(新手向)
面向新手的hadoop+
hive学习
环境搭建,加对我走过的坑总结,避免大家踩坑。
网易云社区
·
2020-03-05 10:39
Hive学习
笔记三
目录Hive数据类型一、基本数据类型二、集合数据类型三、类型装化Hive数据类型一、基本数据类型Hive数据类型Java数据类型长度例子TINYINTbyte1byte有符号整数20SMALINTshort2byte有符号整数20INTint4byte有符号整数20BIGINTlong8byte有符号整数20BOOLEANboolean布尔类型,true或者falseTRUEFALSEFLOATf
落花桂
·
2020-03-03 19:00
hive基础学习
Hive学习
Author:ShanJia-junDate:2016-09-18hive把数据组织为表,通过这种方式为存储在HDFS上的数据赋予结构元数据存储在metastore数据库中。
守护者20091776
·
2020-02-29 17:41
Hive学习
(CDH版Hadoop、Hive安装)
1、CDH简介大家认知度比较高的Hadoop项目一般指的是Apache的Hadoop,但是该项目版本比较复杂,兼容性也很差,一般没法直接用于生产。所以针对这个情况,衍生了几个比较著名的第三方版本(CDH、HDP、MapR),核心内容还是基于原生的hadoop代码。但是相对于原生版,第三方的版本的版本管理清晰,兼容性好,有大量的生产项目实践经验,更有简单易用的部署方案,最后的监控管理也非常人性化,所
刘子栋
·
2020-02-27 04:13
Hive学习
-Hive基本操作(建库、建表、分区表、写数据)
hive简单认识Hive是建立在HDFS之上的数据仓库,所以Hive的数据全部存储在HDFS上。Hive的数据分为两部分,一部分是存在HDFS上的具体数据,一部分是描述这些具体数据的元数据信息,一般Hive的元数据存在MySQL上。Hive是类SQL语法的数据查询、计算、分析工具,执行引擎默认的是MapReduce,可以设置为Spark、Tez。Hive分内部表和外部表,外部表在建表的同时指定一个
刘子栋
·
2020-02-27 02:47
无标题文章
Hive学习
笔记学习笔记Hive简介Hive是建立在Hadoop上的数据仓库基础构架,可以用来进行数据提取转化加载。
pennNnng
·
2020-02-23 00:27
hive实践采坑日志|持续更新版本
2018-01-22—(
hive学习
的采坑日志)技术学习的过程中,真的是要不断的练习,再练习,然后懵逼的发现报错了,然后毫无头绪的找问题,折腾了半天,终于发现被一个空格、逗号、大小写,或者是一些微小的细节卡住了一天
张公子在这等你
·
2020-02-17 01:19
[译]
Hive学习
指南(二)
HiveSQL的能力Hive'sSQL提供了基本SQL操作。这些操作作用于表和分区,具有以下能力:可使用WHERE过滤表中的行可使用SELECT选择表中指定的列可进行表连接可使用groupby进行聚合可下载表内容到本地目录(如nfs)可将查询结果存储到hadoopdfs目录中可管理表和分区(create,drop和alter)可对自定义的map/reduce作业插入自定义的脚本HiveSQL的使用
steanxy
·
2020-02-16 21:28
hive学习
1HiveMetastore1.1相关概念HiveMetastore有三种配置方式,分别是:EmbeddedMetastoreDatabase(Derby)内嵌模式LocalMetastoreServer本地元存储RemoteMetastoreServer远程元存储1.1Metadata、Metastore作用metadata即元数据。元数据包含用Hive创建的database、tabel等的元信
hexg1016
·
2020-02-14 03:56
[译]
Hive学习
指南(三)
加载数据有多种方式将数据加载到Hive表中。用户可以创建外部表,指向HDFS中的指定路径。在这种特殊用法中,用户可以使用HDFSput或者copy命令将文件复制到指定路径,然后使用所有相关行格式信息创建指向这个路径的Hive表。一旦完成,用户可以转换数据并将数据插入到其它任何Hive表中。例如,如果文件/tmp/pv_2008-06-08.txt包含了2008-06-08以逗号分隔的页面浏览数据,
steanxy
·
2020-02-12 15:31
我的
Hive学习
之旅
rownumber作用:返回这个Partition下的当前Row号,根据排序字段生成,无重复。语法:row_number()over(partitionby字段aorderby计算项bdesc)rankselectseasonid,episodeid,row_number()over(partitionbyseasonidorderbyepisodeidasc)asrankfromtutor.dw
zydsb
·
2020-02-11 14:58
Hive学习
笔记:基础语法
Hive基础语法1、创建表–用户表CREATE[EXTERNAL外部表]TABLE[IFNOTEXISTS是否存在]HUserInfo(useridintcomment‘用户Id’,usernamestringcomment‘用户名称’,userpwdstringcomment‘用户密码’,createtimestringcomment‘创建时间’)comment‘用户信息表’rowformatd
辉格食品
·
2020-02-02 17:28
[老实李]
HIVE学习
笔记
一、HIVE简介Hive是一种建立在Hadoop文件系统上的数据仓库架构,并对存储在HDFS中的数据进行分析和管理;它可以将结构化的数据文件映射为一张数据库表,并提供完整的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行,通过自己的SQL去查询分析需要的内容,这套SQL简称HiveSQL(HQL),使不熟悉MapReduce的用户也能很方便地利用SQL语言对数据进行查询、汇总、
老实李
·
2020-02-02 12:20
Hive学习
笔记1
第一部分什么是Hive:Hive是基于Hadoop之上的数据仓库,数据存放在HDFS上,它同样可以通过ETL来进行数据的抽取、转换和加载。同时Hive可以自己开发Mapreduce程序来完成本身不能提供的数据处理操作。Hive本身就是一个SQL的解析引擎,他将SQL语句转成Mapreduce任务在hadoop之上执行。什么是数据仓库:数据仓库是一个面向主题的,集成的,不可更新的,随时间不变化的数据
wangmin
·
2020-02-02 06:18
分布式数据仓库
hive学习
笔记
———沉寂了一个寒假,没有更新一篇文章,仿佛一切都是陌生的。所见的的人,所看的景。hive的服务组成:Hive是建立在Hadoop平台上的,本身没有特定的数据存储模式,也不会为数据建立索引。数据以任意的形式存储在Hdfs上,或者以特定分类的形式存储在分布式数据库HBase(Nosql的一种)。在创建Hive表时候指明数据的列分隔符和行分隔符即可解析存储在HDFS和HBase上的数据。hive建立在
起个什么呢称呢
·
2020-02-02 05:21
Hive学习
笔记
hive简介解释一:Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上,总归为大数据,并使得查询和分析方便。并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行解释二:Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在Hadoop中的大
卡卡xx
·
2020-02-01 02:24
Hive学习
笔记二
目录Hive常见属性配置将本地库文件导入Hive案例Hive常用交互命令Hive其他命令操作参数配置方式Hive常见属性配置1、Hive数据仓库位置配置1)Default数据仓库的最原始位置是在hdfs上的:/user/hive/warehouse路径下2)在仓库目录下,没有对默认的数据库default创建文件夹。如果某张表属于default数据库,直接在数据仓库目录下创建一个文件夹。3)修改de
落花桂
·
2020-01-25 19:00
Hive学习
笔记一
目录一、Hive基本概念二、Hive安装一、Hive基本概念1.1什么是HiveHive:由Facebook开源用于解决海量结构化日志的数据统计。Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。本质是:将HQL/SQL转化成MapReduce程序。1)Hive处理的数据存储在HDFS。2)Hive分析数据底层的实现是MapReduce。3)
落花桂
·
2020-01-24 15:00
Hive学习
(一)group by 报错
先创建表格CREATETABLEdm_order_2018(idstringCOMMENT'订单id',order_moneydoubleCOMMENT'订单金额',member_idintCOMMENT'会员id',create_timetimestampCOMMENT'创建时间',statusintCOMMENT'订单状态')ROWformatdelimitedfieldsterminated
ChangeY1n
·
2020-01-01 07:02
hive学习
-1
参考链接:学习Hadoop第30课学习Hadoop第31课查看数据库:showdatabases;建立数据库:createdatabaseXXXX;查看表:showtables;查看建表语句:createtablestudent(idint,namestring);showcreatetablestudent;(student是表名字)简单建表并查看建表语句location显示了表的位置:‘hdf
hitchc
·
2019-12-18 10:48
hive建表语句
一、hive建表参考:
Hive学习
3:Hive三种建表语句详解1.1、直接建表法:在建表时,要通过语法,将HDFS上的文件映射成表结构。所以在建表时与sql上有些许不同。不过,建立
小碧小琳
·
2019-12-16 17:14
18Hive中DDL与分区(
hive学习
1)
DDL:数据库定义语言DML:数据库操作语言DCL:数据库控制语言Hive的数据类型:primitive_type|array_type//数组hive可以存数组|map_type//kv|struct_type//结构体。类似于类可以存储不同数据类型的数据只考虑属性,不考虑方法:primitive_type|TINYINT|SMALLINT|INT|BIGINT|BOOLEAN|FLOAT|DO
文茶君
·
2019-12-16 13:40
19HIVE中的DML,和serde(
hive学习
2)
DML:数据库操作语言1.只删除psn表中数据,delete和truncate一个通过事务和没通过事务的区别,delete·不行·,truncate才可以LOADDATA[LOCAL]INPATH'filepath'[OVERWRITE]INTOTABLEtablename[PARTITION(partcol1=val1,partcol2=val2...)]FROMfrom_statementIN
文茶君
·
2019-12-16 13:36
[译]
Hive学习
指南(五)
动态分区插入前面的示例中,用户必须知道对哪个分区插入数据,并且一条insert语句只能插入一个分区。如果想要加载到多个分区,需要使用多条insert语句,如下:FROMpage_view_stgpvsINSERTOVERWRITETABLEpage_viewPARTITION(dt='2008-06-08',country='US')SELECTpvs.viewTime,pvs.userid,pv
steanxy
·
2019-12-02 05:15
Hive学习
(二)窗口函数
1、首先使用之前的数据,查找订单信息要求按用户id分组,消费金额进行降序排序。select*FROM(selectid,order_money,member_id,create_time,row_number()over(partitionbymember_idORDERBYorder_moneydesc)asrow_numfromdm_order_2018)t;结果:image.png2、窗口命
ChangeY1n
·
2019-11-29 08:20
hive学习
(三):练习题——collect_set及array_contain(学生选课情况)
前言:以sql为基础,利用题目进行hive的语句练习,逐步体会sql与hive的不同之处。题目用到hive的集合函数,使用了collect_set、array_contain函数,额外讲解concat_ws的使用,文末有具体解释。本次练习题来源:https://www.cnblogs.com/qingyunzong/p/8747656.html题目:(1)数据说明存在一份数据idcourse1,a
Gaafung峰
·
2019-11-14 12:16
hive学习
(一):基本使用
前言:针对有sql基础,刚熟悉linux界面,在此进行hive的入门学习分享,文章结合网络资料并加以细化步骤。本文步骤参照:https://www.cnblogs.com/qingyunzong/p/8708057.html有关语句的讲解命令参考:https://www.cnblogs.com/sqdmydxf/p/7771538.html基本使用:现有student.txt的表,表结构如下:id
Gaafung峰
·
2019-11-12 22:45
Hive学习
笔记(一)——概述
1.Hive是个什么玩意?Hive:由Facebook开源用于解决海量结构化日志的数据统计。Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据(有规律的数据)文件映射为一张表,并提供类SQL查询功能。一句话暴力总结:通过写SQL语句的方式,代替原来的写MapReduce程序。下边几点还需要留意一下:Hive处理的数据存储在HDFS;Hive分析数据底层的实现是MapReduce;执行
三秋叶
·
2019-11-06 19:00
Hive学习
笔记(二)—— 安装配置
Hive安装配置及基本操作1.Hive安装及配置(1).上传文件到Hadoop102节点,解压到/opt/moudle(2).修改/opt/module/hive/conf目录下的hive-env.sh.template名称为hive-env.sh[simon@hadoop102conf]$cphive-env.sh.templatehive-env.sh(3).配置hive-env.sh文件(a
三秋叶
·
2019-11-02 23:00
Hive学习
笔记(三)—— 数据类型
Hive的基本使用(一)——数据类型1.Hive的基本数据类型Hive数据类型Java数据类型长度例子TINYINTbyte1byte有符号整数20SMALINTshort2byte有符号整数20INTint4byte有符号整数20BIGINTlong8byte有符号整数20BOOLEANboolean布尔类型,true或者falseTRUEFALSEFLOATfloat单精度浮点数3.14159
三秋叶
·
2019-11-01 21:00
hive学习
hive创建表hive(default)>createtableifnotexistsods.stu1(>idint,>namestring,>sexstring,>ageint,>departmentstring)>partitionedby(ptstring)storedasorcfile;创建一个分区表,分区的为pt,存储格式为orc显示创建表的信息本文是对Hive组件的学习的一个初步总结,
zw147258369
·
2019-11-01 15:44
hive
Hive学习
笔记 —— Hive概述
1.数据仓库简介1.1数据仓库可以利用数据仓库来保存我们的数据,但是数据仓库有别于我们常见的一般数据库。数据仓库是一个面向主题的、集成的、不可更新的、随时间不变化的数据集成,它用于支持企业或组织的决策分析处理。面向对象的:仓库中的数据是按照一定的主题进行组织的。主题即用户使用数据仓库进行决策时所关心的重点方面。如商品的推荐系统,它也是基于数据仓库所做出来的系统,其中,我们关心的主题也就是我们商品的
慢行慢行
·
2019-10-28 21:30
Hive
大数据
Hadoop
Hive
Hive 超详细基础知识指南,手把手带你进入Hive殿堂
Hive学习
指南你好,这是一个初学者对于
Hive学习
的一个知识体系框架,写这篇博客的目的是想对自己的一个知识体系进行一个全方位的概括,同时也希望自己的心得体会能够帮助到大家。
Jobs_Lei
·
2019-10-21 15:12
Hive
Hive
初学者
基础内容
HIVE
HIVE学习
目标:了解hive是什么理解hive架构hive搭建熟练hivesql的使用理解hive分区外部表和内部表区别DMLbeeline和JDBChive的函数HIVE数据仓库保存历史数据数据库:
aniyah
·
2019-10-09 16:09
HIVE
hive学习
资料
Hive1.引言什么是Hive1.Hive是apache组织提供的一个基于Hadoop的数据仓库产品数据库DataBaseOLTP数据量级小数据价值高数据仓库DataWarehouseOLAP数据量级大数据价值低2.Hive基于Hadoop底层数据存储HDFS运算方式MR原有MapReduce处理相关操作时,存在的问题|mapreduce处理相关操作时,繁琐mapReduce的作用:没有统计,没有
programmerdingl
·
2019-10-05 11:10
hive
Hive学习
Hive学习
摘要本文是一片Hive综述文章,包括Hive的安装、基本概念、架构、运行原理、查询语句、UDF、调优等未完成1基本概念2架构3运行原理4HiveQL5UDF6调优请参见Hive-调优好文推荐参考文档
迷路剑客
·
2019-09-17 16:54
hive
Hive学习
目录
大数据之
Hive学习
目录第1章Hive入门1.1什么是Hive1.2Hive的优缺点1.2.1优点1.2.2缺点1.3*Hive架构原理1.4Hive和数据库比较第2章Hive安装2.1Hive安装地址
DiYong
·
2019-09-04 16:00
Hive学习
总结
1,hive是数据仓库,数据库和数据仓库的区别?数据库:传统的关系型数据库的应用,主要是基本的、日常的事务处理,更关注业务交易处理(OLTP)数据仓库:数据仓库支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询效果,更关注数据分析层面(OLAP)2,hive搭建,hive搭建是按照元数据的存储和管理进行搭建的,hive将元数据保存到mysql。3,hive相关的DDL操作3.1创建数据库:c
Code_My_Dream
·
2019-08-02 17:10
Hadoop学习
【
Hive学习
笔记】Hive入门篇
数据仓库1.数据仓库面向主题2.数据仓库是集成的3.数据仓库主要为分析挖掘,只查询,不增改OLTP:银行转账,同时完成OLAP:历史数据,商品推荐系统数据仓库中的数据模型:1.星型模型2.雪花模型:由星型模型发展而来。(个人理解,叶节点更多了,等于主题更多了,而星型模型只有一个主题)HIVEHive是建立在hadophdfs上的数据仓库基础架构Hive可以用来进行数据提取、转化、加载(ETL)Hi
不可能打工
·
2019-07-23 23:18
hive学习
(二)之Hive的hql操作
前言:常见hive参数设置://Hive显示列名/表头sethive.cli.print.header=true;//hive设置本地资源执行sethive.exec.mode.local.auto=true;1、hive的DDL——datadefinelanguage数据定义语言1.1库的定义语言1)创建数据库createdatabaseifnotexists数据库名;2)切换数据库use数据库
moshang_3377
·
2019-07-17 09:36
hive
上一页
2
3
4
5
6
7
8
9
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他