Hive学习

Hive学习笔记：数据库、表、视图和索引

环境：CentOS7hive-1.1.0-cdh5.14.0hadoop-2.6.0-cdh5.14.0数据库DatabaseHive中数据库的概念类似于表的所在目录或者命名空间，在这一点上跟mysql有点像，database即schema，而不像Oracle，database跟schema是两个不同的粒度。因此，在hive中，schemas/schema关键字一般都可以代替databases/d
SetsunaMeow·2020-08-11 22:51

hive知识点总结

Hive学习也有一段时间了，今天来对Hive进行一个总结，谈谈自己的理解，作者还是个小白，有不对的地方请大家指出相互学习，共同进步。今天来谈一谈什么是Hive，产生背景，优势等一系列问题。
xuxu96·2020-08-11 05:17

Hive学习（一）大数据基础知识介绍

目录HadoopHDFS（HadoopDistributeFileSystem）MapReduceYarnSpark该系列文档是由学习尚硅谷大数据课程之Hive整理而来。若有不足之处，烦请批评指正！HadoopApache基金会所开发的分布式系统基础框架用于解决海量数据的存储和分析问题Hadoop生态圈：Hive、HBase、HDFS、Zookeeper...优势：高可靠性：底层维护多个数据副本高
新新许愿树·2020-08-11 05:55

一起学习Hive基础(多知识点)

操作系统：CentOS-7.8单机Hadoop版本：2.8.5Hive版本：2.3.6本文是Hive学习的基础篇，包含Hive的部分基础理论知识如：hive介绍，Hive应用场景，Hive的文件存储方式
爱做梦的锤子·2020-08-11 05:29

Hive学习笔记 —— Hive的体系结构

1.Hive的体系结构Hadoop用HDFS进行存储，利用MapReduce进行计算元数据存储（MetaStore）通常是存储在关心数据库，如mysql、derby中在Hive执行HQL语句，其HQL语句会被解析成一个MapReduce作业，并提交到Hadoop集群上进行运行，得到的结果返回给客户端程序，这个过程主要是由JobTracker进行任务调度。2.Hive的体系结构之元数据Hive的元数
慢行慢行·2020-08-11 02:53

20200603大数据hive学习笔记

Hive1.1基本概念英文名称为DataWarehouse，可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持(DecisionSupport)。数据仓库是存数据的，企业的各种数据往里面存，主要目的是为了分析有效数据，后续会基于它产出供分析挖掘的数据，或者数据应用需要的数据，如企业的分析性报告和各类报表等。可以理解为:面向分析的存储系统。1.2.主要特征数据仓库
see you in September·2020-08-11 00:07

小白的大数据入门路——Hive学习笔记

文章目录一、Hive基本概念1.1、什么是Hive1.2、Hive的优缺点1.3、Hive架构原理1.4、Hive对比数据库二、Hive安装2.1、安装包准备2.2、相关配置和启动2.3、本地文件导入Hive2.3.1、Linux本地文件导入2.3.2、HDFS文件导入2.4、安装MySQL2.5、Hive的JDBC访问（了解）2.6、Hive常用交互命令2.7、Hive常见属性配置2.7.1、常
5akura·2020-08-10 04:07

Hive学习之路 （四）Hive的连接3种连接方式

一、CLI连接进入到bin目录下，直接输入命令：[hadoop@hadoop3~]$hiveSLF4J:ClasspathcontainsmultipleSLF4Jbindings.SLF4J:Foundbindingin[jar:file:/home/hadoop/apps/apache-hive-2.3.3-bin/lib/log4j-slf4j-impl-2.6.2.jar!/org/slf
weixin_33896726·2020-08-04 20:53

Hive学习记录02—安装运行

Hive学习记录02—安装运行Hive安装下载地址Hive官方网站Hive官方文档地址Hive下载地址安装部署Hive安装解压文件apache-hive-1.2.1-bin.tar.gz到指定目录tar-zvxfapache-hive
a5566baga·2020-08-04 19:03

Hive学习 第四课 创建表并load 数据到表

本章将介绍如何创建一个表以及如何将数据插入。创造表的约定在Hive中非常类似于使用SQL创建表。CREATETABLE语句CreateTable是用于在Hive中创建表的语句。语法和示例如下：语法CREATE[TEMPORARY][EXTERNAL]TABLE[IFNOTEXISTS][db_name.]table_name[(col_namedata_type[COMMENTcol_commen
tangdong3415·2020-08-04 18:00

Hive学习之Hive数据库DDL

Hive提供了与SQL相似的数据定义语言(DDL)，对于熟悉SQL的人来说，学习Hive的DDL是非常容易得，即使从未接触过SQL的人，学习也不是一件很难的事情。虽然本人对SQL有一定的了解，但绝不敢自称熟悉SQL，所以准备对HiveQL进行深入的学习，按照SQL通常的学习曲线，先学习DDL，再学习DML（数据操作语言）。由于需要演示一些语句的示例，不得不超前使用一些其它语句，比如show、des
skyWalker_ONLY·2020-08-02 13:11

Hive做一个PV，UV统计的案例记录

hive学习记录使用hive统计一个网站的pv，和uv，只有源文件，从导入文件到最后导出统计结果，统计一个网站某天某时的pvuv访问值。步骤在hive中新建数据源表。导入源文件到hive表中。
madman1990·2020-07-30 20:59

Hive学习之HiveServer2服务端配置与启动，允许远程连接

Hive有三种使用方式——CLI命令行，HWI（hiewebinterface）浏览器以及Thrift客户端连接方式。1、hive命令行模式直接输入/hive/bin/hive的执行程序，或者输入hive–servicecli用于linux平台命令行查询，查询语句基本跟MySQL查询语句类似2、hiveweb界面的启动方式hive–servicehwi用于通过浏览器来访问hive如果lib目录下
李晓LOVE向阳·2020-07-30 17:26

Hive学习笔记3--------Hive与数据库的异同（转自淘宝数据平台团队）

摘要：由于Hive采用了SQL的查询语言HQL，因此很容易将Hive理解为数据库。其实从结构上来看，Hive和数据库除了拥有类似的查询语言，再无类似之处。本文将从多个方面来阐述Hive和数据库的差异。数据库可以用在Online的应用中，但是Hive是为数据仓库而设计的，清楚这一点，有助于从应用角度理解Hive的特性。[table]|查询语言|HQL|SQL||数据存储位置|HDFS|RawDevi
ssj_lanruosi·2020-07-30 00:08

Hive学习二

六、hive的函数查看有多少函数showfunctions;查看函数substr的详细信息descfunctionsubstr；查看函数substr的扩展信息，会有使用例子descfunctionextendedsubstr；查询地址：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF#LanguageManual
大石兄·2020-07-29 15:15

Hive学习-高级版五（压缩和存储）

hive的压缩本质上指的是MapReduce的压缩，因为hive其实就是MapReduce的高级语言版(SQL)，hiveSQL底层的运行也都是解析成MapReduce程序去运行的。这里的压缩涉及到两个方面，一个是临时的缓存数据，一个是永久的落地数据。缓存数据其实就是map方法的输出，永久的落地数据当然就是reduce的输出了（网上还有把map读取的数据算一个阶段，觉得不需要特别设置就不说了）。压
刘子栋·2020-07-29 06:22

Hive学习笔记（5）- Hive 中数据库的基本操作

1创建表1.1建表方式1createtableIFNOTEXISTSdefault.web_log(ipstringCOMMENT'remoteipaddress',userstring,req_urlstringCOMMENT'userrequesturl')COMMENT'WebAccessLogs'ROWFORMATDELIMITEDFIELDSTERMINATEDBY''STOREDAST
一角残叶·2020-07-28 13:33

Hive的若干操作

hive参考网址官方文档参考网址1，远程连接HIVE安装hiveserver2启动配置Hive学习之HiveServer2服务端配置与启动hiveserver2后台启动启动hiveserver2和metastorehive
野马16·2020-07-27 23:24

【Hive学习笔记】Hive与传统关系型数据库的区别

1、查询语言  Hive用的是HQL。  关系型数据库用的是SQL。2、数据存储位置  Hive把数据存储在HDFS中。  关系型数据库将数据存在块设备或本地文件系统中。3、数据格式  Hive没有定义专门的数据格式，可由用户可以自定义，在自定义的时候需要指定三个属性：列分隔符，行分隔符，以及读取文件数据的方法。  关系型数据库在建立时会指定或默认有存储引擎，存储引擎定义了自己的数据格式，所以数据
紫雪凝香·2020-07-27 17:56

hive学习第四章：DDL数据操作

目录一、数据导入向表中装在数据（Load）通过查询语句向表中插入数据（Insert）查询语句中创建表并加载数据（AsSelect）创建表时通过Location指定加载数据路径import数据类型指定hive表中二、数据导出insert导出hadoop命令导出到本地hiveshell命令导出export导出到hdfs上三、清除表中的数据（truncate）正文一、数据导入向表中装在数据（Load）语
琉璃百般枯·2020-07-16 07:21

hive学习第五章：查询

目录一、基本查询全表和特定列查询列别名算数运算符常用函数limit语句二、where语句比较运算符（between/in/isnull）LIKE和RLIKE逻辑运算符（and/or/not）三、分组groupby语句having语句四、jion语句等值join表的别名内连接左外连接右外连接满外连接多表连接笛卡尔积连接谓词中不支持or五、排序全局排序（OrderBy）按照别名排序多个列排序每个Map
琉璃百般枯·2020-07-16 07:21

hive学习第三章：DDL数据定义

创建数据库创建一个数据库，数据库在hdfs上的默认路径是/user/hive/warehouse/*.db避免要创建的数据库已经存在错误，增加ifnotexist判断：createdatabaseifnotexistsdb_hive创建一个数据库，指定数据库在hdfs上存放的位置：createdatabasedb_hive2location'/db_hive2.db'说明：在hdfs下创建一个文件
琉璃百般枯·2020-07-16 07:20

hive学习第二章：数据类型

目录一、基本数据类型二、集合数据类型例子，基于下面json格式的数据导入三、类型转化隐式类型转换使用CAST操作显示进行数据类型转换正文一、基本数据类型hive数据类型java数据类型长度例子INTint4byte有符号整数20BIGINTlong8byte有符号整数20DOUBLEdouble双精度浮点数3.14159STRINGstring字符系列。可以指定字符集。可以使用单引号或者双引号'n
琉璃百般枯·2020-07-16 07:20

hive学习总结(8)—hive注意点

--自动补全功能：tab键--可以把“设置系统属性变量，增加hadoop分布式内存，自定义hive扩展的jar包”放在“$HOME/.hiverc”文件中--在hive的CLI中执行bashshell命令,只要在命令前加上!，并且以分号(;)结尾就可以!/bin/echo“whatupdog”;--在hive中使用hadoop的dfs命令dfs-ls/;--查看表的存储路径hive-S-e"set
nucheima·2020-07-15 21:59

hive学习笔记3：group by子句

1.按照性别来计算不同的用户数SELECTpv_users.gender,count(DISTINCTpv_users.userid)FROMpv_usersGROUPBYpv_users.gender;2.使用GROUPBY时，可以同时使用多个聚合函数，但是聚合函数里面使用DISTINCT时必须包含相同的列SELECTpv_users.gender,count(DISTINCTpv_users.
zhousishuo·2020-07-15 12:26

Hive学习之路 （十二）Hive SQL练习之影评案例

案例说明现有如此三份数据：1、users.dat数据格式为：2::M::56::16::70072，共有6040条数据对应字段为：UserIDBigInt,GenderString,AgeInt,OccupationString,ZipcodeString对应字段中文解释：用户id，性别，年龄，职业，邮政编码2、movies.dat数据格式为：2::Jumanji(1995)::Adventure
weixin_34400525·2020-07-15 05:48

Hive学习笔记 --- 动态分区与静态分区

一、简述动态分区与静态分区DynamicPartition动态分区：每次运行时是通过数据来自动判断生成，自动生成写入的分区内；StaticPartition静态分区：每次运行时是通过用户手动指定分区，然后数据写入指定的分区下面哪；二、动态分区与静态分区使用的差异CREATETABLEtable_dynamic_partition   (      user_idint,      user_nam
杨鑫newlfe·2020-07-15 01:14

Hive学习（上）

文章目录1Hive概念1.1Hive架构1.2Hive与数据库的比较1.2.1查询语言1.2.2数据存储位置1.2.3数据更新1.2.4索引1.2.5执行1.2.6可扩展性2.Hive数据类型2.1基本数据类型2.2集合数据类型2.3类型转化3.DDL数据定义3.1创建数据库3.2查询数据库3.2.1显示数据库3.2.2查看数据库详情3.3修改数据库3.4删除数据库3.4.1删除空数据库3.5创建
leaeason·2020-07-14 13:48

Hive学习知识汇总

文章目录1.Hive1.1Hive简介1.2Hive架构2.Hive的搭建2.1单用户模式的搭建2.2Mysql的安装2.3多用户模式的安装（Remote分开）3.Hive-SQL的学习3.1建表（createtable）3.2Hive内部表与外部表3.3Hive的分区3.4Hive表复制与数据的加载3.5Serde（Serializer&Deserializer）3.6Hive的Beeline启
心的步伐·2020-07-14 08:47

Hive学习之路 （十）Hive的高级操作

一、负责数据类型1、array现有数据如下：1huangboguangzhou,xianggang,shenzhena1:30,a2:20,a3:100beijing,112233,13522334455,5002xuzhengxianggangb2:50,b3:40tianjin,223344,13644556677,6003wangbaoqiangbeijing,zhejinagc1:200c
weixin_33877092·2020-07-14 02:50

Apache Hadoop部署（四）：Hive/Hbase/Storm/Spark/Flink配置

Hive学习门槛较低，因为它提供了类似于关系数据库SQL语言的查询语言HiveQ
有腹肌的小蝌蚪_·2020-07-10 13:22

手把手教你搭建hadoop+hive测试环境(新手向)

面向新手的hadoop+hive学习环境搭建，加对我走过的坑总结，避免大家踩坑。
wangyiyungw·2020-07-10 05:53

hive学习总结(1)—Hive几种数据导入方式

1.从本地文件系统中导入数据到hive表（1）数据准备（/home/sopdm/test.dat）：1,wyp,25,131888888882,test,30,138999999993,zs,34,89931412（2）首先创建表usesopdm;droptableifexistssopdm.wyp;createtableifnotexistssopdm.wyp(idint,namestring,
hahakama·2020-07-09 16:57

hive学习总结(2)—Hive几种导出数据方式

1.拷贝文件如果数据文件恰好是用户需要的格式，那么只需要拷贝文件或文件夹就可以。hadoopfs–cpsource_pathtarget_path2.导出到本地文件系统--不能使用insertintolocaldirectory来导出数据，会报错--只能使用insertoverwritelocaldirectory来导出数据--hive0.11版本之前，只能使用默认分隔符^A(ascii码是\00
hahakama·2020-07-09 16:57

Hive学习之函数DDL和Show、Describe语句

创建/删除函数创建临时函数下面的语句创建由class_name实现的临时函数，该函数被创建后只能够在当前会话中使用，会话结束后函数失效。实现函数的类可以是Hive类路径中的任意类，可以使用AddJar语句向Hive类路径添加类。CREATETEMPORARYFUNCTIONfunction_nameASclass_name删除临时函数使用下面的语句可以删除当前会话中的临时函数：DROPTEMPOR
skyWalker_ONLY·2020-07-08 06:42

Hive学习一

vi命令：ctrl+：切换到命令模式，输入%s/a/b/g，会将a替换成b。vi编辑后文件，如果错误地使用ctrl+zz关闭编辑，下一次打开时会老是报错。这是因为这样并没有退出编辑文件，可以通过杀死进程来解决注意直接杀死进程是不行的，因为会有一个临时文件psaux|grepvi（或者ps-ef|grepvi），kill-96087，但是不行。正确方法，删除.xx.txt.swp临时文件ll显示文件
大石兄·2020-07-05 13:24

Hive学习—行列转换

智者的梦再美，也不如愚人实干的脚印。供学习HSQL的童鞋们参考！在工作学习中，往往需要对查询的表结构进行简单的行转列或列转行的优化列转行表数据如图,表名customer_details要求：查询每个国家，女性，男性的人数，如图我们很容易通过以下语句查出结果，但是格式和目标还需要转换下selectcountry,gender,count(*)aspeoplefromcustomer_detailsg
yd、夜·2020-07-01 17:51

Hive学习—静态动态分区

一个人胸中没有学问，就像手中没有钱，供学习HSQL的童鞋们参考！Hive分区（Partitions）：用指定分区的列的值在hdfs中创建文件夹，并以此将表数据划分到不同的文件夹，即在表目录下再创建细分文件夹作用：提高查询性能（查询时自动过滤不在条件的分区）分类：动态分区和静态分区静态分区步骤：1.建表时即指定分区(可以指定多个，即多分区)分区字段不能与表中其他字段重复否则会报错↓↓↓createt
yd、夜·2020-07-01 17:51

Hive学习—表相关操作

风起，唯有努力生存，供学习HSQL的童鞋们参考！一、基础建表hive中有两种表形式：1.内部表2.外部表区别：内部表的数据完全由Hive管理，在hive中用命令删除表（元数据，表结构）也会删除表数据，而外部表的数据不完全由Hive管理，删除表不会删除表的数据（表数据是由hdfs路径中的存储数据的文件映射过来的）内部表创建内部表的创建方法基本等同mysqlcreatetableuserinfos(u
yd、夜·2020-07-01 17:19

hive学习之经典sql50题 hive版(一)

尽管hql与sql差不多,但还是想把学生教师成绩sql版的改个hive版的,一方面提升自己hql能力,一方面希望帮到广大准备入手hive的同学有什么不足的地方,欢迎评论建表:createtablestudent(sidstring,snamestring,sageint,ssexstring)rowformatdelimitedfieldsterminatedby'\t';createtablec
hadoop程序猿·2020-06-30 15:52

hive学习小记1

1、变量和属性hive中有四个命名空间来存储变量和属性。hivevar->用户自定义变量hiveconf->hive相关配置属性system->java程序中的配置属性env->shell环境中的变量设置变量hive>sethivevar:test=aaa;读取变量hive>sethivevar:foo=bar;hivecar:test=bar或者hive>setfoo;test=bar变量引用h
corefuture·2020-06-29 22:55

Hive学习笔记（一）

经过几次争取，和公司数据部门要到了数据仓库的权限。给的账号名和服务器地址。用ssh连接至服务器（windows用secureCRT，linux/Mac用shell）[email protected]更改密码：passwd然后输入hive便可以启动hive进行查询了。开始为了弄清楚表的结构，可以用show和desc命令，查看各个数据库、表和字段名。查看数据库：showdatabases;使用数
wuxiangchun·2020-06-29 21:20

hive学习资料

风影楼:Hive零基础从入门到实战入门篇（一）环境搭建https://blog.csdn.net/qq_23897391/article/details/89041229Hive零基础入门Hive零基础从入门到实战入门篇（二）Linux系统简单操作（上）https://blog.csdn.net/qq_23897391/article/details/89052080Hive零基础入门Hive零基
空城雀·2020-06-29 09:11

hive学习二

今天编译好源码，因此来更新文章。看了一下，里面的内容还真是不少，所以我打算把所有的重点都放在cli、ql和serde上，其他的时间再了解。先说说我想看什么？主要是想了解一下和hivesql是如何转换成mapreduce任务的，所以开搞。这个图主要描述了hive对于各种参数如-e、-f等参数的解析和对hivesql语句的完整性的处理等。从Driver.runInternal开始才是正是对sql语句拆
想什么就写什么·2020-06-28 21:47

hive的基本语法汇总（hql）

2019/2/20星期三hive的基本语法汇总（hql）——————————————————————————————————————————————Hive学习3：Hive三种建表语句详解https:/
weixin_34252686·2020-06-28 15:08

hive学习总结(2)—Hive几种导出数据方式

为什么80%的码农都做不了架构师？>>>1.拷贝文件如果数据文件恰好是用户需要的格式，那么只需要拷贝文件或文件夹就可以。hadoopfs–cpsource_pathtarget_path2.导出到本地文件系统--不能使用insertintolocaldirectory来导出数据，会报错--只能使用insertoverwritelocaldirectory来导出数据--hive0.11版本之前，只能
weixin_33978016·2020-06-28 09:09

Hive学习之路 （一）Hive初识

Hive简介什么是Hive1、Hive由Facebook实现并开源2、是基于Hadoop的一个数据仓库工具3、可以将结构化的数据映射为一张数据库表4、并提供HQL(HiveSQL)查询功能5、底层数据是存储在HDFS上6、Hive的本质是将SQL语句转换为MapReduce任务运行7、使不熟悉MapReduce的用户很方便地利用HQL处理和计算HDFS上的结构化的数据，适用于离线的批量数据计算。数
weixin_33704234·2020-06-28 03:03

Hive学习（七） 数据类型

基本类型类型名称大小最小值最大值示例TINYINT1byte-128127100YSMALLINT2byte-3276832767100SINT4byte-2,147,483,6482,147,483,647100BIGINT8byte-9,223,372,036,854,770,0009,223,372,036,854,770,000100LFLOAT4byte4字节单精度3.1415926DO
weixin_30502157·2020-06-27 20:52

Hive学习

Hive简介hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。使用Hive的原因操作接口采用类SQL语法，提供快速开发的能力避免了去写M
bigbigship·2020-06-27 07:08

Hive学习笔记 --- hive中导入数据文件的四种方式

此处共有四种导入的形式：1.通过外部表导入用户在hive上建有external表，建表的同时指定hdfs路径，在数据拷贝到指定hdfs路径的同时，也同时完成数据插入external表。例如：编辑文件test.txt$cattest.txt1hello2world3test4case字段之间以'\t'分割启动hive：$hive建external表：hive>CREATEEXTERNALTABLEM
杨鑫newlfe·2020-06-27 05:03
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他