Hive学习

hive学习（一）之Hive简介和数据组织形式

一、hive是什么基于hadoop，数据存储在hdfs上并且对客户端提供hql支持，将hql语句转换为mapreduce任务的数仓工具二、hive的特点1、Hive是由Facebook实现并开源的2、Hive是基于Hadoop的一个数据仓库工具2.1基于hadoop主要是以下两个方面hive中的表中的数据存储在hdfs上，存储完全依赖于hdfs；hive最终计算使用的默认mapreduce，资源调
moshang_3377·2019-07-16 08:22

Hive SQL练习题

hive学习之经典sql50题hive版建表:createtablestudent(s_idstring,s_namestring,s_birthstring,s_sexstring)rowformatdelimitedfieldsterminatedby
IT界的壹个小学生·2019-06-29 16:19

Hive学习之抽样（Sampling）

当数据量特别大时，对全体数据进行处理存在困难时，抽样就显得尤其重要了。抽样可以从被抽取的数据中估计和推断出整体的特性，是科学实验、质量检验、社会调查普遍采用的一种经济有效的工作和研究方法。Hive支持桶表抽样和块抽样，下面分别学习。所谓桶表指的是在创建表时使用CLUSTEREDBY子句创建了桶的表。桶表抽样的语法如下：table_sample:TABLESAMPLE(BUCKETxOUTOFy[O
MahatmaChen·2019-05-23 16:53

Hive学习笔记（1）初识Hive

Hive是一个数据仓库基础工具，在Hadoop中用来处理结构化的数据。它架构在Hadoop之上，hive底层数据存储是hdfs文件，文件中是结构化的数据，hive提供了sql化的方案，将sql语句转化为MapReduce任务运行在hadoop之上，从而降低了大数据开发者对MapReduce的技术门槛。什么是Hive？Hive由Facebook开发，后经Apache基金会孵化并开源。Hive是基于H
井地儿·2019-05-09 18:23

Hive学习-内部表和外部表的转换

首先介绍一下外部表和内部表吧:1．内部表：也称为管理表，表目录会创建在HDFS的仓库目录（/user/hive/warehouse）的相应的库的目录下2．外部表：外部表会根据创建表时location关键字指定的路径创建表目录。（如果没有指定location，则表的创建的位置和内部表相同,如果指定就在指定的位置创建目录）内部表和外部表的区别（1）在hive中创建表会做两件事情：第一，在HDFS上创建
ZhuangYQ丶·2019-04-17 19:24

Hive学习-表的基本操作

一、表的属性的修改修改表名:renametoaltertablelog_1renametolog;显示表的建表信息：desclog_1;或者showcreatetablelog_1;修改字段名：changecolumn(需要加上数据类型)altertablelogchangecolumnipmyip##报错altertablelogchangecolumnipmyipstring;修改字段名alt
ZhuangYQ丶·2019-04-17 19:04

Hive学习(二)

【SerDe】–用于做序列化和反序列化–构建在数据存储和执行引擎之间，对两者实现解耦【Beeline】–要与HiveServer2配合使用–服务端启动hiveserver2–客户端通过beeline两种方式连接到hive–beeline-ujdbc：hive2://localhost：10000/default-nroot–beelinebeeline>!connectjdbc:hive2://:
水平很低·2019-04-13 16:45

Hive零基础从入门到实战 入门篇（一）环境搭建

目录前言1.Hive是什么2.Hive学习环境搭建前言作为一个数据分析师，操作Hive提取数据已经成为了一个必备技能，但对数据分析师来说，查询才是做的最多的操作，毕竟使用工具是为了完成分析。
风影楼前·2019-04-05 21:23

Hive学习笔记（2）数据类型

Hive的数据类型Hive支持基本数据类型和复杂数据类型。基本数据类型包括数值型，布尔型，字符串型和时间戳类型。复杂数据类型包括数组，映射和结构。基本数据类型类型描述示例TINYINT1字节（8位）有符号整数，从-128到127（-27到27-1）1SMALLINT2字节（16位）有符号整数，从-32768到32767（-215到215-1）1INT4字节（32位）有符号整数，从-231到231-
井地儿·2019-04-02 11:27

Hive学习（一）group by 报错

先创建表格CREATETABLEdm_order_2018( idstringCOMMENT'订单id', order_moneydoubleCOMMENT'订单金额', member_idintCOMMENT'会员id', create_timetimestampCOMMENT'创建时间', statusintCOMMENT'订单状态'）ROWformatdelimitedfieldstermi
YCJ1996·2019-03-23 10:23

sqoop将mysql数据导入hdfs和hive学习笔记

#安装好以后将mysql驱动mysql-connector-java-5.1.21-bin.jar放到sqoop安装目录的lib下面一、将mysql数据导入hdfs，命令如下：[root@masterbin]#/apps/sqoop-1.4.7/bin/sqoopimport\--connectjdbc:mysql://localhost:3306/sqoop\--usernameroot\--p
nuc2015·2019-03-07 10:42

hive学习总结

hive学习总结1.组成2.运行流程hivesql转换为MapReduce过程3.hive操作数据3.1DML数据操作3.1.1数据导入表3.1.2数据导出表3.2DDL数据操作3.2.1数据库操作3.2.2
叁木-Neil·2019-02-28 19:06

大数据技术之_08_Hive学习_02_DDL数据定义(创建/查询/修改/删除数据库+创建表+分区表+修改表+删除表)+DML数据操作(数据导入+数据导出+清除表中数据)...

原文链接：http://www.cnblogs.com/chenmingjun/p/10433614.html第4章DDL数据定义4.1创建数据库4.2查询数据库4.2.1显示数据库4.2.2查看数据库详情4.3.3切换当前数据库4.3修改数据库4.4删除数据库4.5创建表4.5.1管理表（内部表）4.5.2外部表4.5.3管理表与外部表的互相转换4.6分区表4.6.1分区表基本操作4.6.2分区
aodawu2891·2019-02-25 21:00

hive的基本语法汇总（hql）

2019/2/20星期三hive的基本语法汇总（hql）——————————————————————————————————————————————Hive学习3：Hive三种建表语句详解https:/
马吉辉·2019-02-20 17:50

Hive学习笔记，hive自定义函数的使用

本文参考自互联网，并进行结合后整理如下：Hive自定义函数，用于处理一些比较复杂的数据处理，比如有如下数据：27.19.74.143-[29/April/2016:17:38:20+0800]-"GET/static/image/common/faq.gifHTTP/1.1"-200-1127110.52.250.126-[29/April/2016:17:38:20+0800]-"GET/dat
芮呆萌061511332·2019-02-16 17:37

hive学习笔记--脚本化运行hive查询任务

使用shell脚本，运行hive命令：vit_order_etl.sh（shell脚本）#!/bin/bashhive-e"select*fromdb_order.t_order"hive-e"select*fromdefault.t_user"hql="createtabledefault.t_bashasselect*fromdb_order.t_order"hive-e"$hql"对于，hq
芮呆萌061511332·2019-02-16 11:44

hive学习笔记，hive内置函数的使用

Hive常用内置函数：1、类型转换函数，2、数学运算函数，3、字符串操作函数，4、时间操作函数5、表生成函数，6,、集合操作函数数，7、条件控制函数，8、json解析函数，9、分析函数（分组排序）其中：1、类型转换函数包含：字符串转日期，字符串转int类型等操作cast("2017-08-03"asdate);cast("5"asint)；2、数学运算函数包含：四舍五入，向上取整，绝对值，求一组中
芮呆萌061511332·2019-02-16 09:54

Hive学习笔记

一、安装/连接Hive安装Hive安装都会，所以过程省略…配置修改如下：driver：驱动url：数据库连接username：用户名密码password：用户名密码${system}。。。：一共有三个，都需要修改doAS：权限认证，改为false，不然无法操作。javax.jdo.option.ConnectionURLjdbc:mysql://192.168.200.111:3306/hive?
lzhpo·2019-01-20 18:57

hive学习

主要学习参考：http://lxw1234.com/archives/category/hive，很不错学习日志1https://www.cnblogs.com/qingyunzong/p/8707885.html#_label0_01、什么hive？1、Hive由Facebook实现并开源2、是基于Hadoop的一个数据仓库工具3、可以将结构化的数据映射为一张数据库表4、并提供HQL(HiveS
二两芝麻·2019-01-15 16:25

Hive学习笔记

Hive：数据仓库工具，可以将hadoop下的原始结构化数据变成Hive表，支持一种几乎和SQL完全相同的语言HiveQL，但不支持更新、索引、事务等，Hive可以将HiveQL映射成MapReduce作业Hive起源自Facebook由JeffHammerbacher领导的团队，是构建在hadoop上的数据仓库框架，2008年Facebook将Hive项目贡献给Apache基金会Hive组件与体
kaku812814843·2019-01-05 17:48

Hive学习：Hive连接JOIN用例详解

1准备数据：1.1t_101张三02李四03王五04马六05小七06二狗1.2t_20111033304440666077708881.3t_301男02男03女04男05女06女07男08X2创建表：t_1,t_2,t_3createtableifnotexistst_1(idstring,namestring)rowformatdelimitedfieldsterminatedby'\t';c
凌晨两三点·2019-01-04 22:00

Hive学习笔记

本文是对Hive组件的学习的一个初步总结，包括如下章节的内容：Hive是什么Hive安装快速上手Hive元数据数据存储运行模式参考资料：1、本文介绍的内容依赖hadoop环境，关于hadoop运行环境的搭建可参见《Hadoop运行环境搭建》。2、学习Hive前，最好对关系数据库以及sql语句有所熟悉。一、Hive是什么Hive是基于Hadoop的一个数据仓库，它将结构化的数据文件（一般保存在hdf
我是老薛·2018-11-30 19:32

Hive学习笔记

1.Hive简介Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL的查询功能,其本质是将SQL转换成MapReduce的任务进行运算,底层由HDFS来提供数据的存储.2.特点可扩展:Hive可自由的扩展集群的规模,一般情况下不需要重启服务延展性:Hive支持用户根据需求来自定义函数容错性:节点出现问题时SQL仍可完成执行(依赖于Hadoop的特性
花驴·2018-11-06 18:49

hive学习6：hive级联求和

说明：级联求和，不仅hive会使用，其实mysql或者Oracle也会用到的，我这边先用mysql实现下，具体需求如下：usernamemonthtimesA2018-025A2018-0310A2018-0410B2018-025B2018-0310B2018-0310B2018-0410B2018-025B2018-0110B2018-0110B2018-0110B2018-0110A2018
云游遍天下·2018-10-23 22:53

hive学习5：自定义函数之json对象转换hive数据存储

0元数据，上传到服务器上：{"movie":"2717","rate":"3","timeStamp":"978298196","uid":"2"}{"movie":"2571","rate":"4","timeStamp":"978299773","uid":"2"}{"movie":"1917","rate":"3","timeStamp":"978300174","uid":"2"}{"mo
云游遍天下·2018-10-22 22:41

hive学习4：hive自定义函数

以创建转换字符串大小写为例：1、搭建java项目，把hive安装包下libjar包添加进去。2、创建转换字符串大小类，必须继承UDF类packagecom.zsy.hive.udf;importorg.apache.commons.lang.StringUtils;importorg.apache.hadoop.hive.ql.exec.UDF;/***转换小写或者大写**@authorzhaos
云游遍天下·2018-10-21 20:43

hive学习3：hive常用HQL语句

showdatabases;showtables;desctest;#删除表droptablet_buck;#请表数据truncatetablet_buck;-------------分桶表示例：#创建分桶表droptablestu_buck;createtablestu_buck(Snoint,Snamestring,Sexstring,Sageint,Sdeptstring)clustered
云游遍天下·2018-10-20 15:01

Hive sql语句必练50题-入门到精通(1)

hive学习之经典sql50题hive版建表:createtablestudent(s_idstring,s_namestring,s_birthstring,s_sexstring)rowformatdelimitedfieldsterminatedby
Thomson617·2018-10-20 12:19

hive学习1：hive1.2.1版本安装

Hive只在一个节点上安装即可1.上传tar包2.解压tar-zxvfhive-1.2.1.tar.gz-C/usr/localmvhive-1.2.1hive3.安装mysql数据库（切换到root用户）（装在哪里没有限制，只有能联通hadoop集群的节点）mysql安装仅供参考，不同版本mysql有各自的安装流程rpm-qa|grepmysqlrpm-emysql-libs-5.1.66-2.
云游遍天下·2018-10-14 15:08

大数据学习系列——HIVE学习分区

分区查询Hive查询执行分区语法SELECTday_table.*FROMday_tableWHEREday_table.dt>='2008-08-08';分区表的意义在于优化查询。查询时尽量利用分区字段。如果不使用分区字段，就会全部扫描。Hive查询表的分区信息语法：SHOWPARTITIONSday_hour_table;大数据学习群119599574静态分区Hive在创建表时添加partit
大数据开发交流·2018-10-07 11:08

hive学习--查询语法

基本查询select*from表名;selectcount(1)from表名;--计数单行函数selectmax(ip)from表名;----------使用max函数聚合函数selectuid（字段名）from表名limit10（数量）;----------------------查询表中uid字段的头10条记录条件查询select字段名from表名where条件字段>（大于）'2017-08-
cs_mycsdn·2018-09-28 16:46

hive学习--建分区表

创建内部表创建表语句：createtable[ifnotexists]linuxidc_hive_log(numstring,snstring,userkeystring);执行后：会在库目录下生成表目录，默认分隔符为^A。createtable[ifnotexists]linuxidc_hive_log(numstring,snstring,userkeystring)rowformatdeli
cs_mycsdn·2018-09-28 13:52

hive学习--基本使用和创建内外部表

数据库查看数据库：hive>showdatabases;hive>showdatabaseslike'h.*';---展示以h开头的所有数据库，注意：like后字符串匹配使用正则创建数据库：hive>createdatabase[ifnotexitsts]数据库名[location'HDFS的目录下'];-------不使用设置的warehouse目录查看数据库属性命令：hive>descdata
cs_mycsdn·2018-09-27 17:38

Hive总结篇及Hive的优化

概述Hive学习也有一段时间了，今天来对Hive进行一个总结，谈谈自己的理解，作者还是个小白，有不对的地方请大家指出相互学习，共同进步。今天来谈一谈什么是Hive，产生背景，优势等一系列问题。
爆发的~小宇宙·2018-09-11 10:40

Hive学习之路 （一）Hive初识

Hive简介什么是Hive1、Hive由Facebook实现并开源2、是基于Hadoop的一个数据仓库工具3、可以将结构化的数据映射为一张数据库表4、并提供HQL(HiveSQL)查询功能5、底层数据是存储在HDFS上6、Hive的本质是将SQL语句转换为MapReduce任务运行7、使不熟悉MapReduce的用户很方便地利用HQL处理和计算HDFS上的结构化的数据，适用于离线的批量数据计算。数
doulinxi115413·2018-09-10 20:33

Hive学习

一、什么是hive？Hive是基于Hadoop的一个数据仓库工具(离线)，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。特点：可扩展Hive可以自由的扩展集群的规模，一般情况下不需要重启服务。延展性Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数。容错良好的容错性，节点出现问题SQL仍可完成执行。二、安装hive的安装1：上传解压hive2：安装mysql，添
曼路·2018-09-03 18:14

Hive学习笔记（一）

1.1数据类型hive的数据类型同大多数关系型数据库一样，支持大多数的数据类型，也同样有自己独有的一些数据类型。具体如下：1.1.1基本数据类型数据类型长度TINYINT1字节SMALLINT2字节INT4字节BIGINT8字节FLOAT4字节DOUBLE8字节BOOLEANTRUE/FALSESTRING字符序列1.1.2复杂数据类型数据类型说明STRUCT结构体，存储方式：struct(fir
数据人生·2018-08-14 15:27

HBase+Hive学习笔记：HBase与Hive协同工作

HBase与Hive协同工作因为这一部分的内容是HBase与Hive协同工作，所以归在了HBase+Hive这个分类XD，协同的实现是利用两者本身对外的API接口互相进行通信，依靠hive-hbase-handler.jar工具类测试环境hive-1.1.0-cdh5.14.0hbase-1.2.0-cdh5.14.0hadoop-2.6.0-cdh5.14.0zookeeper-3.4.5-cd
SetsunaMeow·2018-08-12 23:59

HIVE -- 2 感悟

Hive学习使用一周感悟最近一段时间主要在学习HiveSQL语句并完成了一个小任务，熟悉了HiveSQL的基本语法和应用，对进一步学习使用HiveSQL来分析处理数据打下了一个基础。
寒月谷·2018-08-02 16:01

hive学习推荐书籍+官方网址

参考书籍：《Hive编程指南》Hive--官方参考文档：1.用户手册https://cwiki.apache.org/confluence/display/Hive/Home#Home-UserDocumentation2.管理员手册https://cwiki.apache.org/confluence/display/Hive/Home#Home-AdministrationDocumentat
SunWuKong_Hadoop·2018-08-01 10:43

Hive学习笔记：Hive JDBC+Java API

环境：CentOS7hive-1.1.0-cdh5.14.0hadoop-2.6.0-cdh5.14.0HiveJDBC配置与实现修改$HIVE_HOIME/conf下的hive-site.xml，添加以下内容    hive.server2.thrift.port    10000    hive.server2.thrift.bind.host    0.0.0.0设置Hiveserver2T
SetsunaMeow·2018-08-01 00:32

Hive学习之路 （二十一）Hive 优化策略

目录一、Hadoop框架计算特性二、优化常用手段三、排序选择四、怎样做笛卡尔积五、怎样写in/exists语句六、设置合理的maptask数量七、小文件合并八、设置合理的reduceTask的数量九、合并MapReduce操作十、合理利用分桶：Bucketing和Sampling十一、合理利用分区：Partition十二、Join优化十三、GroupBy优化1、Map端部分聚合2、使用GroupB
mnasd·2018-07-30 16:49

Hive学习之路 （二十）Hive 执行过程实例分析

目录一、Hive执行过程概述1、概述2、Hive操作符列表3、Hive编译器的工作职责4、优化器类型二、join1、对于join操作2、实现过程3、具体实现过程三、GroupBy1、对于groupby操作2、实现过程四、Distinct1、对于distinct的操作2、实现过程3、详细过程解释正文回到顶部一、Hive执行过程概述1、概述（1）Hive将HQL转换成一组操作符（Operator），比
mnasd·2018-07-29 20:12

Hive学习之路 （十九）Hive的数据倾斜

目录1、什么是数据倾斜？2、Hadoop框架的特性3、主要表现4、容易数据倾斜情况5、产生数据倾斜的原因6、业务场景（1）空值产生的数据倾斜（2）不同数据类型关联产生数据倾斜（3）大小表关联查询产生数据倾斜正文回到顶部1、什么是数据倾斜？由于数据分布不均匀，造成数据大量的集中到一点，造成数据热点回到顶部2、Hadoop框架的特性A、不怕数据大，怕数据倾斜B、Jobs数比较多的作业运行效率相对比较低
mnasd·2018-07-29 16:31

Hive学习之路 （十七）Hive分析窗口函数(五) GROUPING SETS、GROUPING__ID、CUBE和ROLLUP

目录概述数据准备数据格式创建表玩一玩GROUPINGSETS和GROUPING__ID说明查询语句查询结果结果说明再比如玩一玩CUBE说明查询语句查询结果玩一玩ROLLUP说明查询语句正文回到顶部概述GROUPINGSETS,GROUPING__ID,CUBE,ROLLUP这几个分析函数通常用于OLAP中，不能累加，而且需要根据不同维度上钻和下钻的指标统计，比如，分小时、天、月的UV数。回到顶部数
mnasd·2018-07-29 15:27

Hive学习之路 （十六）Hive分析窗口函数(四) LAG、LEAD、FIRST_VALUE和LAST_VALUE

目录数据准备数据格式创建表玩一玩LAG说明查询语句查询结果结果说明玩一玩LEAD说明查询语句查询结果结果说明玩一玩FIRST_VALUE说明查询语句查询结果玩一玩LAST_VALUE说明查询语句查询结果如果不指定ORDERBY，则默认按照记录在文件中的偏移量进行排序，会出现错误的结果如果想要取分组内排序后最后一个值，则需要变通一下正文回到顶部数据准备数据格式cookie4.txtcookie1,2
mnasd·2018-07-29 15:33

Hive学习之路 （十五）Hive分析窗口函数(三) CUME_DIST和PERCENT_RANK

目录数据准备数据格式创建表玩一玩CUME_DIST说明查询语句查询结果结果说明玩一玩PERCENT_RANK说明查询语句查询结果结果说明正文这两个序列分析函数不是很常用，这里也练习一下。回到顶部数据准备数据格式cookie3.txtd1,user1,1000d1,user2,2000d1,user3,3000d2,user4,4000d2,user5,5000创建表usecookie;dropta
mnasd·2018-07-29 15:41

Hive学习之路 （十三）Hive分析窗口函数(一) SUM,AVG,MIN,MAX

目录数据准备数据格式创建数据库及表玩一玩SUM查询语句查询结果说明玩一玩AVG查询语句查询结果玩一玩MIN查询语句查询结果玩一玩MAX查询语句查询结果正文回到顶部数据准备数据格式cookie1,2015-04-10,1cookie1,2015-04-11,5cookie1,2015-04-12,7cookie1,2015-04-13,3cookie1,2015-04-14,2cookie1,201
mnasd·2018-07-29 15:23

Hive学习之路 （十二）Hive SQL练习之影评案例

目录案例说明数据下载解析1、正确建表，导入数据（三张表，三份数据），并验证是否正确2、求被评分次数最多的10部电影，并给出评分次数（电影名，评分次数）3、分别求男性，女性当中评分最高的10部电影（性别，电影名，影评分）4、求movieid=2116这部电影各年龄段（因为年龄就只有7个，就按这个7个分就好了）的平均影评（年龄段，影评分）5、求最喜欢看电影（影评次数最多）的那位女性评最高分的10部电影
mnasd·2018-07-29 15:04

Hive学习笔记：Hive数据类型

环境：CentOS7hive-1.1.0-cdh5.14.0hadoop-2.6.0-cdh5.14.0简单类型数字类型TINYINT（1字节，有符号整数，从-128至127）SMALLINT（2字节，有符号整数，从-32,768至32,767）INT/INTEGER（4字节，有符号整数，从-2,147,483,648到2,147,483,647）BIGINT（8字节，符号整数，从-9,223,3
SetsunaMeow·2018-07-29 11:44
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他