Hive学习

Hive学习（12）Hive常用日期函数

1、to_date：日期时间转日期函数selectto_date('2015-04-0213:34:12');输出：2015-04-022、from_unixtime：转化unix时间戳到当前时区的时间格式selectfrom_unixtime(1323308943,’yyyyMMdd’);输出：201112083、unix_timestamp：获取当前unix时间戳selectunix_time
一个天蝎座 白勺 程序猿·2023-08-30 08:11

Hive学习——解析JSON字符串

目录1.JSON数据2.创建内部表3.上传本地文件到hive表的路径下4.查看文件是否成功上传5.查看表数据6.对复杂数据类型取值1.JSON数据vim/opt/module/data/t1.txt{"name":"dasongsong","friends":["bingbing","lili"],"students":{"xiaohaihai":18,"xiaoyangyang":16},"ad
雷神乐乐·2023-08-29 02:36

Hive学习之路 （五）hive使用beeline配置远程连接

hive以hadoop集群为基础，提供hdfs的SQL支持；hive一般可以以mysql为元数据存储，默认Derby；hadoop，hive安装自行百度吧；介绍hive的远程访问：未配置之前使用beeline的话，每次都要为连接输入用户名密码，较为麻烦；实现目标：在非集群节点上敲beeline命令，直接进入到hive的命令行1，在hive服务的安装节点的hive-site.xml配置文件中添加以下
hello_world!·2023-08-26 16:06

大数据之Hive总结篇及Hive优化

Hive学习也有一段时间了，今天来对Hive进行一个总结，谈谈自己的理解，作者还是个小白，有不对的地方请大家指出相互学习，共同进步。今天来谈一谈什么是Hive，产生背景，优势等一系列问题。
juan777·2023-08-24 04:14

HIVE学习

1.什么是HIVE1.HIVE是什么?Hive是由Facebook开源，基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。大白话:HIVE就是一个类似于Navicat的可视化客户端,2.HIVE本质Hive是一个Hadoop客户端，用于将HQL（HiveSQL）转化成MapReduce程序。（1）Hive中每张表的数据存储在HDFS（2）Hive分析数
叫我莫言鸭·2023-08-06 07:40

大数据学习路线

文章目录一，Hadoop二，MapReduce三，HDFS四，Hive一，Hadoop二，MapReduce三，HDFS四，HiveHive学习
Jucway·2023-07-25 09:47

Hive学习笔记

1、Hive概念Hive是一个构建在Hadoop上数仓框架，可以将HDFS上格式化文件映射成一张张表，本质就是将SQL转换成MapReduce任务进行运算。它本身不存任何数据，真实数据都是存在HDFS上，元数据一般存在关系型数据库（比如mysql)。支持MapReduce计算引擎、Spark和Tez这两种分布式计算引擎组成：客服端：ClientCLI元数据：类似字典的目录，主要用来存数据库、表、表
NQ31·2023-07-24 12:24

23.Hive动态分区及参数及分桶（hive学习5）

Hive参数hive当中的参数，变量，都是以命名空间开头通过${}方式进行引用，其中system,env下的变量必须以前缀开头hive参数设置方式1、修改配置文件${HIVE_HOME}/conf/hive-site.xml2、启动hivecli时，通过--hiveconfkey=value的方式进行设置例：hive--hiveconfhive.cli.print.header=true3、进入c
文茶君·2023-07-23 05:24

Hive学习笔记

Hive的数据类型image.pngimage.pngimage.pngimage.pngimage.pngarray_type数组类型map_typemap键值对类型struct_type类似于C语言的结构体和java中的类创建表内部表createtablepsn(idint,nameString,likesarray,addressmap)ROWFORMATDELIMITEDFIELDSTER
d37b9e569e06·2023-07-22 12:49

Hive学习:Hive如何进行update?

HiveDML一、插入(insert)二、更新(update)三、删除(delete)一、插入(insert)和关系型数据库语法类似INSERTINTOtable_name[PARTITION(partition_col=value,...)]VALUES(value1,value2,...);INSERTINTOtable_name[PARTITION(partition_col=value,.
我爱夜来香A·2023-07-16 16:20

Hive学习

一、概述由Facebook开源用于解决海量结构化日志的数据统计工具Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive查询操作过程严格遵守HadoopMapReduce的作业执行模型，Hive将用户的HiveQL语句通过解释器转换为提交到Hadoop集群上，Had
明月清风，良宵美酒·2023-06-17 11:36

【Hive】（十四）Hive 项目实战之电子商务消费行为分析

项目实战通过UDF自定义MD5加密函数对表内容进行检查，为数据清洗做准备开启动态分区，通过窗口函数对数据进行清洗数据分析Customer分析Transaction分析Store分析Review分析一、前言Hive
云 祁·2023-06-14 10:41

Hive学习笔记3

Hive学习笔记3压缩和存储Hadoop压缩配置MR支持的压缩编码压缩参数配置开启Map输出阶段压缩（MR引擎）开启Reduce输出阶段压缩文件存储格式列式存储和行式存储TextFile格式Orc格式Parquet
sheygshsi·2023-06-14 04:45

Hive学习---7、企业级调优

1、企业级调优1.1计算资源配置到此学习的计算环境为HIveonMR。计算资源的调整主要包括Yarn和MR。1.1.1Yarn资源配置1、Yarn配置说明需要调整的Yarn的参数均与CPU、内存等资源有关，核心配置参数如下：（1）yarn.nodemanager.resource.memory-mb该参数的含义是，一个NodeManager节点分配给Container使用的内存。该参数的配置，取决
星光下的赶路人star·2023-06-10 10:33

Hive学习---5、分区表和分桶表

1、分区表和分桶表1.1分区表Hive中的分区就是把一张大表的数据按照业务需求分散的存储到多个目录，每个目录就称为该表的一个分区。在查询时通过where子句中的表达式选择查询所需要的分区，这样的查询效率会提高很多。1.1.1分区表基本语法1、创建分区表createtabledept_partition(deptnoint,--部门编号dnamestring,--部门名称locstring--部门位
星光下的赶路人star·2023-06-10 10:03

Hive学习---6、文件格式和压缩

1、文件格式和压缩1.1Hadoop压缩概述由于Hive是相当于与Hadoop的客户端，所以hadoop会啥压缩，Hive基本就会啥压缩。压缩格式算法文件扩展名是否可切分DEFLATEDEFLATE.deflate否GzipDEFLATE.gz否bzip2bzip2.bz2是LZOLZO.lzo是SnappySnappy.snappy否为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器，
星光下的赶路人star·2023-06-07 18:05

Hive学习---2、DDL（Data Definition Language）数据定义 （创建数据库、创建表、修改表）

1、DDL（DataDefinitionLanguage）数据定义1.1数据库（Database）1.1.1创建数据库1、语法CREATEDATABASE[IFNOTEXISTS]database_name[COMMENTdatabase_comment][LOCATIONhdfs_path][WITHDBPROPERTIES(property_name=property_value,...)];
星光下的赶路人star·2023-06-07 02:45

用AI学习HIVE

用AI提取HIVE学习的一个大纲要领.HIVE是一个基于Hadoop的数据仓库工具，它提供了类似于SQL的查询语言——HQL（HiveQueryLanguage），使得开发人员可以使用类SQL的语言来查询和分析大规模的数据集
All996·2023-06-06 22:35

Hive学习笔记（3）表

Hive的表在逻辑上由存储的数据和描述表中数据形式的相关元数据组成。数据通常存储在HDFS中，元数据通常保存在关系型数据库中。数据库Hive中也由database的概念，本质是在HDFS中的一个目录。创建数据库createdatabasedbname;切换数据库usedbname;删除数据库dropdatabasedbname;全限定指定表dbname.tablename默认库在不指定数据库时，h
井地儿·2023-04-20 13:06

hive学习笔记之二：复杂数据类型

欢迎访问我的GitHubhttps://github.com/zq2599/blog_demos内容：所有原创文章分类汇总及配套源码，涉及Java、Docker、Kubernetes、DevOPS等；《hive
程序员欣宸·2023-04-19 09:43

hive学习笔记

1.1什么是HiveHive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成为一张数据库表，并提供类SQL的查询功能。可以将sql语句转化为MapReduce任务进行运行。Hive提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为
MOOJ·2023-04-16 17:59

HIVE学习记录-基本概念

相关概念数据仓库概念DataWarehouse（DW）：用于储存分析的数据系统，面向数据分析（辅助决策）。数据仓库本身不生产数据，也不消费任何数据，只是用来储存，管理数据。数据仓库特征：面向主题：所有的操作都围绕分析主题进行。集成性：根据分析主题将分散在各处操作系统中的数据（这些数据是分散、独立、异构的）抽取（ETL），清理，转换，汇总。非易失性、非异变性：分析数据中的规律，而不对原始数据做出改变
Kilig*·2023-04-15 10:38

hive学习笔记（二）

hive基本操作进入hive的两种方式：1.命令行输入：hive即可thrit做的连接（Thrift是一种接口描述语言和二进制通讯协议，它被用来定义和创建跨语言的服务。它被当作一个远程过程调用（RPC）框架来使用，是由Facebook为“大规模跨语言服务开发”而开发的。）2.beelineJDBC做的连接01启动hiveserver2服务这个服务要后台启动02输入beeline03连接!conne
马上码·2023-04-13 05:27

HIVE学习记录-元数据

相关概念元数据（Metadata）描述数据的数据比如：HIVEMetadata：HIVE的元数据包括database、table、表的位置、类型、属性、字段等信息。Metadata储存在关系型数据库中，比如HIVE内置的Derby或者MySQL（第三方）中。HIVEMetastore：HIVE元数据服务，管理Metadata元数据，控制客户端对元数据的访问。部署模式根据Metastore是否需要单
Kilig*·2023-04-09 21:21

hive学习笔记(二)--基本操作

库操作#标准做法createdatabaseifnotexiststest;#直接创建createdatabasetest;#指定数据库位置createdatabaseifnotexiststestlocation'/user/zz/hive/workspace/test';#查询所有库showdatabases;#模糊查询库(查询test开头的库)showdatabaseslike"test*"
1994_老叶·2023-04-07 02:13

hive学习（四）：面试题——场景输出（row_number）

前言：以sql为基础，利用题目进行hive的语句练习，逐步体会sql与hive的不同之处。本次题目用到row_number()、collect_set()、concat_ws()。其中collect_set()、concat_ws讲解可参考https://www.jianshu.com/p/6ec508d1591a文末讲解row_number。题目：存在一份数据userid,changjing,i
Gaafung峰·2023-04-05 14:42

21Hive函数（hive学习4）

1.内置运算符1.1关系运算符运算符类型说明A=B所有原始类型如果A与B相等,返回TRUE,否则返回FALSEA==B无失败，因为无效的语法。SQL使用”=”，不使用”==”。AB所有原始类型如果A大于B返回TRUE,否则返回FALSE。如果A或B值为”NULL”，结果返回”NULL”。A>=B所有原始类型如果A大于等于B返回TRUE,否则返回FALSE。如果A或B值为”NULL”，结果返回”NU
文茶君·2023-04-03 13:56

hive学习（仅供参考）

hive搭建Hive什么是hiveHive的优势和特点hive搭建解压、改名修改环境变量添加hive-site.xml将maven架包拷贝到hive替换一下gua包使环境变量生效初始化安装成功Hive什么是hive将结构化的数据文件映射为数据库表提供类sql的查询语言HQL(HiveQueryLanguage)Hive让更多的人使用HadoopHive的优势和特点提供了一个简单的优化模型HQL类S
Triumph-CP·2023-03-31 07:31

hive学习1--数据仓库与hive简介

作为一枚数据相关人员，可能逃不过每日在数据仓库里执行不下n遍的selectxxxfromxxx的命运，然后一边摸鱼一边等待着结果，这时间或长或短，日日如此。直到有天鱼都摸完了，sql结果还没出，事后检查才发现写法有问题，反思应该把摸鱼时间用在学习上。。。hive里这种情况更明显一些。了解hive的执行原理，对多大数据量一般执行多长时间更有把握的话，能避免很多经常反复重跑sql、反复等待情况，大大提
sikadeerlu·2023-03-10 09:50

【Hive学习三】Hive SQL的优化

只是从HQL层面介绍一下，日常开发HQL中需要注意的一些优化点，不涉及Hadoop层面的参数、配置等优化。1.使用分区剪裁、列剪裁在SELECT中，只拿需要的列，如果有，尽量使用分区过滤，少用SELECT*。在分区剪裁中，当使用外关联时，如果将副表的过滤条件写在Where后面，那么就会先全表关联，之后再过滤，比如：SELECTa.idFROMtable_aaleftouterjointable_b
不二梁·2023-01-30 06:22

鲲鹏BigData Pro解决方案中Hive组件的部署

1介绍本博文基于《鲲鹏Bigdatapro之Hive集群部署》的实验手册进行，目的是方便Hive学习者重用（从本文复制）相关的指令、配置和代码。同时，会对相关的Bash命令解释，达到增进理解的目的。
阿智智·2023-01-08 10:38

数据分析-Hive学习 Day3

一、基础语法1.selectfromwhere#选择城市在北京，性别为女的10个用户名SELECTuser_nameFROMuser_infoWHEREcity='beijing'andsex='female'limit10分区表必须对分区字段进行限制--选出在2019年4月9日，购买商品品类为food的用户名、购买数量，支付金额SELECTuser_name,piece,pay_amountFR
小浩码出未来！·2023-01-07 19:43

数据分析-Hive学习 Day4

目标：1、掌握hive基础语法、常用函数及其组合使用2、掌握一些基本业务指标的分析思路与实现技巧一、基础语法1、SELECT...A...FORM...B...WHERE...C...1）某次经营活动中，商家发起了“异性拼团购”，试着针对某个地区的用户进行推广，找出匹配用户。"选出城市在北京，性别位女的10个用户名"selectuser_namefromuser_infowherecity='be
小浩码出未来！·2023-01-07 19:43

数据分析-Hive学习 Day6

一、什么是数据仓库？数据仓库（DataWarehouse）简称DW或DWH，是数据库的一种概念上的升级，可以说是为满足新需求设计上的一种新数据库，而这个数据库是需容纳更多的数据，更加庞大的数据集，从逻辑上讲数据仓库和数据库没有什么区别的。二、数据仓库的特点1.面向主题主题是与传统数据库的面向应用相对应的，是一个抽象概念，是在较高层次上将企业信息系统中的数据综合、归类并进行分析利用的抽象。每一个主题
小浩码出未来！·2023-01-07 19:43

数据分析 -Hive学习 Day5

HIVE核心技能之窗口函数大家好呀，这节课我们学习Hive核心技能中最难的部分——窗口函数。窗口函数我们之前在学MySQL的时候有学过一些，但是只学了三个排序的窗口函数。这节课我们会学习更多的窗口函数，包括累计计算、分区排序、切片排序以及偏移分析。在正式学习之前，我们需要先明确一下窗口函数和GROUPBY分组的区别。二者在功能上有相似之处，但是它们存在本质区别。1.分组会改变表的结构，而窗口函数不
小浩码出未来！·2023-01-06 12:14

【Hive学习一】Hive概述，Hive是什么

1.Hive是什么Hive是基于Hadoop的数据仓库解决方案。由于Hadoop本身在数据存储和计算方面有很好的可扩展性和高容错性，因此使用Hive构建的数据仓库也秉承了这些特性。这是来自官方的解释。简单来说，Hive就是在Hadoop上架了一层SQL接口，可以将SQL翻译成MapReduce去Hadoop上执行，这样就使得数据开发和分析人员很方便的使用SQL来完成海量数据的统计和分析，而不必使用
WakeUpCcc·2022-12-29 13:30

数据仓库Hive学习笔记整理

数仓1.数仓概念数据仓库（DataWarehouse，简称数仓、DW），是一个用于存储、分析、报告的数据系统。数据仓库的目的是构建面向分析的集成化数据环境，分析结果为企业提供决策支持（Decisionsupport）。数据的搬运工。2.数仓专注分析数据仓库本身并不“生产”任何数据，其数据来源于不同外部系统；同时数据仓库自身也不需要“消费”任何的数据，其结果开放给各个外部应用使用。3.数据仓库为何而
我的一首歌·2022-12-20 08:42

Hive学习：数据仓库的建立

【实验名称】：数据仓库的建立【实验目的】：熟悉Linux系统、MySQL、Hadoop、HBase、Hive、Sqoop、R、Eclipse等系统和软件的安装和使用；了解大数据处理的基本流程；熟悉数据预处理方法；熟悉在不同类型数据库之间进行数据相互导入导出。【实验原理】：数据仓库（DataWarehouse）是一个面向主题的（SubjectOriented）、集成的（Integrated）、相对稳
让头发掉下来·2022-12-20 08:36

SparkSQL抽取Mysql全量数据到Hive动态分区表中

部分概念内容：hive学习(七)------创建动态分区_BigDate_小学生的博客-CSDN博客进阶篇：spark增量抽取MySQL中的数据存入hive动态分区表（2）_月亮给我抄代码的博客-CSDN
月亮给我抄代码·2022-11-30 08:54

大数据高级开发工程师——Hive学习笔记（2）

文章目录Hive提高篇Hive的使用Hive的分桶表1.分桶表的原理2.分桶表的作用3.案例演示Hive数据导入1.直接向表中插入数据（强烈不推荐使用）2.通过load加载数据（必须掌握）3.通过查询加载数据（必须掌握）4.查询语句中创建表并加载数据（asselect）5.创建表时指定location6.export导出与import导入hive表数据（内部表操作）Hive数据导出1.insert
斗志昂-杨·2022-11-26 09:33

Hive——Hive常用内置函数总结

✅作者简介：最近接触到大数据方向的程序员，刚入行的小白一枚作者博客主页：皮皮皮皮皮皮皮卡乒的博客当前专栏：Hive学习进阶之旅研究方向：大数据方向，数据汇聚，数据治理上一篇博文：Hive——详细总结Hive
皮皮皮皮皮皮皮卡乒·2022-11-26 09:32

Hive——详细总结Hive中各大查询语法

✅作者简介：最近接触到大数据方向的程序员，刚入行的小白一枚作者博客主页：皮皮皮皮皮皮皮卡乒的博客当前专栏：Hive学习进阶之旅研究方向：大数据方向，数据汇聚，数据治理上一篇博文：数据导入和数据导出文章目录
皮皮皮皮皮皮皮卡乒·2022-11-18 09:16

Hive之自定义函数（UDF、UDAF、UDTF）

内容仅截取函数部分，其他Hive学习笔记见个人博客https://wangbowen.cn/2020/08/27/Hive%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0/十三、
IT小王404·2022-10-26 07:05

大数据高级开发工程师——Hive学习笔记（1）

文章目录Hive基础篇环境准备MySQL安装部署Hive的安装部署1.先决条件2.下载安装包3.解压4.修改配置文件5.修改日志配置文件6.拷贝mysql驱动包7.配置Hive的环境变量8.初始化元数据库9.验证安装10.通过beeline连接代理服务器hiveserver2操作hive数据仓库概念数据仓库的基本概念数据仓库的主要特征数据仓库与数据库区别数据仓库分层架构Hive入门Hive简介Hi
斗志昂-杨先生·2022-09-28 09:31

Hive学习04-查询 分组 join 排序

文章目录基本查询where语句比较运算符Like和RLike逻辑运算符分组GroupBy语句Having语句join基本查询全表和特定列查询、列别名、算术运算符、常用函数、limit等上篇文章已经提过。这篇文章直接从where开始讲where语句createtabletest2(stu_idint,class_namestring,scoreint)rowformatdelimitedfields
房东地猫·2022-04-27 07:38

Hive学习（五）-Hive全操作

1、建库createdatabasemydb;createdatabaseifnoexistsmydb;createdatabaseifnoexistsmydblocation"/aa/bb";2、查询数据库查询库列表：showdatabases;查询库详细信息：descdatabase[extended]mydb;查询建库的详细信息：showcreatedatabasemydb;3、删除数据库d
匿名啊啊啊·2022-04-24 14:07

大数据组件之Hive（Hive学习一篇就够了）

文章目录一、Hive安装1、解压环境2、环境变量配置3、配置文件信息1.打开编辑文件2.输入以下内容4、拷贝mysql驱动5、更新guava包和hadoop一致6、mysql授权7、初始化8、hive启动模式9、Hadoop的core-site.xml配置二、Hive1、Hive的文件结构2、MySQL上Hive的元数据3、hadoop文件授权4、Hive的驱动器：Driver5、抽象语法树（AS
绝域时空·2022-03-20 07:53

Hive基础学习和高级查询（视图、select、join）

本篇文章接续前一篇文章，如对本篇内容有不理解的地方可以参考上一篇博文：Hive学习。
小五家的二哈·2022-02-28 10:21

Hive学习（二）基础知识

目录1、Hive基本概念1.1、Hive简介1.1.1、什么是Hive1.1.2、为什么使用Hive1.1.3、Hive特点1.2、Hive和RDBMS的对比1.3、Hive架构1.4、Hive的数据存储1、Hive基本概念1.1、Hive简介1.1.1、什么是HiveHive由Facebook实现并开源，是基于Hadoop的一个数据仓库工具，可以将结构化的数据映射为一张数据库表，并提供HQL(H
匿名啊啊啊·2022-02-28 10:50

Hive学习笔记（三）-关键字-内置函数

平时用到了以下几个不常用但是却相当强大的hive内置函数，记录在这做个笔记吧，防止忘了。持续更新sort_array(Array)将数组元素按照升序排序并返回explode()行转列返回值格式用法arrayexplode(arrayb)对于b中的每个元素，将生成一行且包含该元素多行记录explode(array)每行对应数组中的一个元素多行记录explode(map)每行对应每个map键值对，其中
我养过一只龟·2022-02-21 07:18
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他