hivesql

HiveSQL 窗口函数

HiveSQL窗口函数窗口函数的主要作用是对数据进行分组排序、求和、求平均值、计数等。
王林-wlin·2023-11-25 02:19

HiveSQL解析原理：包括SQL转化为MapReduce过程及MapReduce如何实现基本SQL操作

Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的HiveETL计算流程，负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。在几次升级Hive的过程中，我们遇到了一些大大小小的问题。通过向社区的咨询和自己的努力，在解决这些问题的同时我们对Hive将SQL编译为MapReduce的过程有了比较深入
数仓大山哥·2023-11-24 02:00

【大数据Hive】hive 优化策略之job任务优化

2.2.2带条件的查询计划分析三、MapReduce属性优化3.1本地模式3.1.1本地模式参数设置3.1.2本地模式操作演示3.2JVM重用3.2.1什么是JVM重用3.3并行执行四、join优化4.1hivesql
逆风飞翔的小叔·2023-11-23 00:13

python3 windows使用pyhive连接Hive 报错解决

背景：工作需要，使用python操作hivesql查询数据使用。目标：使用pyhive连接上hive，并正常读取数据。
Z!ger ·2023-11-22 12:24

HiveSQL语句中SELECT,FROM,WHERE,GROUP BY,LIMIT,ORDER BY的执行顺序

1.from2.where3.groupby4.select5.orderby6.limit
迷惘的小行星·2023-11-21 06:35

[hive] posexplode函数

在HiveSQL中，posexplode是一个用于将数组（array）拆分为多行的函数。它返回数组中的每个元素以及其在数组中的位置（索引）作为两列输出。
言之。·2023-11-21 03:23

hive使用中遇到的一些小问题及总结

博客都是用的多，登录的少了，端午放假闲来无事就登一登，顺便总结下自己在写hivesql时遇到的些小问题。
辅猪之王·2023-11-20 23:49

hive sql 行列转换 开窗函数 炸裂函数

hivesql行列转换开窗函数炸裂函数准备原始数据集学生表student.csv讲师表teacher.csv课程表course.csv分数表score.csv员工表emp.csv雇员表employee.csv
李昊哲小课·2023-11-20 21:46

2023.11.16 hivesql高阶函数之json

目录1.数据准备2.操作--方式1:逐个(字段)处理,get_json_objectUDF函数最大弊端是一次只能解析提取一个字段--方式2:逐条处理.json_tuple这是一个UDTF函数可以一次解析提取多个字段--方式3:在建表时候,直接处理json,rowformatSerDe'能处理Json的SerDe类'1.数据准备--演示json解析--需求:把json解析后的数据保存成一个新表--创
白白的wj·2023-11-20 19:27

2023.11.17 -hivesql调优,数据压缩,数据存储

目录1.hive命令和参数配置2.hive数据压缩3.hive数据存储0.原文件大小18.1MB1.textfile行存储格式,压缩后size:18MB2.行存储格式:squencefile,压缩后大小8.89MB3.列存储格式orc-ZILIB,压缩后大小2.78MB4.列存储格式orc-snappy,压缩后大小3.75MB5.列存储格式之parquets,压缩后大小13.09MB4.在linu
白白的wj·2023-11-20 16:33

SQL技巧初级系列③——数据拼接（集合运算union和列连接join)

having,orderby)SQL技巧中级系列①——字符串函数的使用SQL技巧中级系列②——日期函数的使用SQL技巧高级系列①——窗口分析函数的使用SQL技巧高级系列②——聚合函数和CASEWHEN的使用HiveSql
数据小斑马·2023-11-20 14:22

07-Hive优化---高级部分3

一、Hive优化大数据的学习：1、学习工具及其原理（50%~70%）2、学习重要的（java、scala、python、sql[mysql\hivesql\sparksql\flinksql]）(30%
YuPangZa·2023-11-20 12:24

hive sql多表练习

hivesql多表练习准备原始数据集学生表student.csv讲师表teacher.csv课程表course.csv分数表score.csv学生表student.csv001,彭于晏,1995-05-
李昊哲小课·2023-11-20 08:02

大数据常见面试题及答案

、rdd的5大特性：2、Hive分桶和分区的区别：3、Hive表动态分区和静态分区4、一个Hive表，数据量很大，分布在集群的100个节点，现在需要定期取top100，如何设计/实现：5、窗口函数6、hivesql
遐想者csdn·2023-11-20 01:18

2023.11.16 hivesql高阶函数之开窗函数

目录1.开窗函数的定义2.数据准备3.开窗函数之排序需求:用三种排序方法查询学生的语文成绩排名,并降序显示4.开窗函数分组需求:按照科目来分类,使用三种排序方式来排序学生的成绩5.聚合函数与分组配合使用6.聚合函数同时和分组以及排序关键字配合使用--需求1：求出每个用户的总pv数,展示所有信息默认第一行到最后一行--需求2：求出每个用户截止到当天，累积的总pv数默认第一行到当前行做题思路,开窗函数
白白的wj·2023-11-19 15:49

Hive常见的面试题（十二道）

Hive1.HiveSQL的执行流程⾸先客户端通过shell或者Beeline等⽅式向Hive提交SQL语句,之后sql在driver中经过解析器（SQLParser）：将SQL字符串转换成抽象语法树AST
地球魔·2023-11-19 15:16

2023-Hive调优最全指南

本文基本涵盖以下内容：一、基于Hadoop的数据仓库Hive基础知识二、HiveSQL语法三、Hive性能优化四、Hive性能优化之数据倾斜专题五、HiveSQL优化十二板斧六、Hive面试题(一)七、
000X000·2023-11-19 13:43

HiveSql语法与调优

目录一.数据类型对比1.基本数据类型2.集合数据类型二.DDL数据定义1.数据库1.1.创建数据库1.2.显示数据库1.3.查看数据库详情1.4.切换数据库1.5.修改数据库1.6.删除数据库2.表2.1.创建表模板2.2.创建内部表与外部表2.3.创建表指定数据格式2.4.拷贝表结构2.5.创建分区表2.6.分桶与分桶排序2.7.设置表文件存储格式与压缩2.8.获取表信息2.9.修改表2.10.
派大星`·2023-11-19 13:09

【hive基础】hive常见操作速查

文章目录一.hive变量操作1.查看当前hive配置信息2.设置变量3.修改变量4.进入hive终端重新加载配置二.执行hivesql三.启动hive一.hive变量操作1.查看当前hive配置信息#查看当前所有配置信息
roman_日积跬步-终至千里·2023-11-19 00:43

MySQL、HiveSQL、SparkSQL的区别

1、用途角度1）MySQL是一种关系型数据库，主要用于存储和管理结构化数据2）HiveSQL是用于Hadoop平台上的一种SQL-like语言，主要用于对大数据进行查询和分析3）SparkSQL是一种基于
BaoZi969·2023-11-16 03:13

2023.11.14 hivesql的容器,数组与映射

目录https://blog.csdn.net/m0_49956154/article/details/134365327?spm=1001.2014.3001.5501https://blog.csdn.net/m0_49956154/article/details/134365327?spm=1001.2014.3001.55018.hive的复杂类型9.array类型:又叫数组类型,存储同类
白白的wj·2023-11-16 02:20

2023.11.16 hivesql 函数之类型转换,脱敏,与加密函数

1.类型转换函数cast:主要用于类型转换,如果转换失败则返回nullselectcast(3.14asint);--3selectcast(3.14asstring);--'3.14'selectcast('3.14'asfloat);--3.14selectcast('3.14'asint);--3selectcast('binzi'asint);--null很多时候,底层也默认做了自动转换s
白白的wj·2023-11-16 02:49

2023.11.15-hivesql之炸裂函数explode练习

把一个容器的多个数据炸裂出单独展示:explode(容器)需求:将NBA总冠军球队数据使用explode进行拆分，并且根据夺冠年份进行倒序排序。1.建表--step1:建表createtablethe_nba_championship(team_namestring,champion_yeararray)rowformatdelimitedfieldsterminatedby','collecti
白白的wj·2023-11-16 02:46

Hive中使用JOIN时自动过滤掉为NULL的数据

最近工作写hivesql的时候发现了一个问题leftjoin和where一块用时，会出现null值数据丢失的问题研究了一下，发现where写的位置不同会有不同的结果首先准备两张表tableA和tableB
KoHsin_·2023-11-15 10:50

hivesql连续日期统计最大逾期/未逾期案例

1、虚表(测试表和数据)createtest_tableasselecta.cust_no,a.r_date,a.yqtsfrom(select'123'ascust_no,'20231101'asr_date,0asyqtsunionallselect'123'ascust_no,'20231102'asr_date,1asyqtsunionallselect'123'ascust_no,'20
大龙成·2023-11-15 09:48

3.HiveSQL

3.HiveSQL3.1官网介绍http://hive.apache.org/3.2数据库实例操作https://cwiki.apache.org/confluence/display/Hive/LanguageManual
想成为数据分析师的开发工程师·2023-11-15 03:09

【大数据之Hive】

本质：用于将HQL（HiveSQL）转化成MapReduce程序；；Hive中每张表的数据存储在HDFS；Hive分析数据底层的实现是MapReduce；执行程序运行在Yarn上架构原理1）用户接口：Client
JMFFFFF·2023-11-13 12:37

Haddoop大数据教程笔记_09_HIVEsql复杂用法举例

目录HIVEsql复杂用法举例1.保存select查询结果的几种方式：2.行转列,根据主键对某列进行合并3.列转行,将某列数据拆分成多行4.hive实现wordcount5.级联查询实现累积报表(笨办法
Snowing_inhope·2023-11-13 12:02

4.HiveSQL（2）

3.9表分区3.9.1表分区概述Hive分区partition（订单介绍）必须在表定义时指定对应的partition字段，分区的本质相当于在表的目录下在分目录进行数据的存储。分区好处：查询时可以通过过滤不需要的分区下的数据，减少查询时的磁盘IO操作。单分区建表语句：createtableday_table(idint,contentstring)partitionedby(dtstring);单分
想成为数据分析师的开发工程师·2023-11-12 16:20

HiveSQL 常用函数

1.常用日期、数值、集合、字符等处理函数常用日期函数--------------------------------------------------------------------------------将日期格式转换为时间戳：unix_timestampselectunix_timestamp(install_time)fromtable_name--------------------
文文鑫·2023-11-11 06:15

Hive-入门学习之 hive 简介和安装 (1)

Facebook开源用于解决海量结构化日志的数据统计(海量的结构化数据的运算分析).是基于hadoop的一个数据仓库工具(服务性的软件),可以将结构化的数据文件映射为一张表,并提供类似SQL查询.本质是将HiveSQL
算啦粉·2023-11-11 01:37

SQL、MySQL、Hive&Presto的使用区别ing

SQL、MySQL与HiveSQL的使用区别1查询结果前10条数据2返回是周几的函数3查看表结构数量4获取当前时间5从数据库定位到某张表6分号字符；7IS[NOT]NULL8Hive不支持将数据插入现有的表或分区中
追求色彩的程序员·2023-11-10 12:00

常用hivesql记录

前言hivesql中很多常用的功能，过段时间没有使用就容易忘记，需要去网上搜索，这里总结一下，省的以后还去去搜，供自己以后参考。
qq_42693848·2023-11-10 07:14

在window10上安装apache-hive-3.1.3

hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行，hive是一种底层封装了Hadoop的数据仓库处理工具，使用类SQL的hiveSQL
爱上雪茄·2023-11-09 09:22

hiveSql完成类递归计算

和同事一起探讨了个问题挺有意思，记录一下！问题每个月有数据如下：需要计算截止到每个月，前月距离当月月数乘前月阅读数累计之和。类似递归操作：本月到第一个月的累计和，前一个月到第一个月的累计和…一直到第二个月到第一个月的和再加上第一个月最终所有累积和的合计。听起来比较绕，举个栗子：图中每个月的阅读量是a,b,c,d,e。计算结果result如图公式。截止到2014-01月：只有a，距离本月为1个月，即
@nanami·2023-11-05 23:05

hiveSql完成递归计算2.0

hiveSql完成递归计算基础数据分析数据初步思路最终解决方案代码优缺点总结最近遇到一个业务数据的坑，涉及到递归的计算思想，但是需要用hivesql完成计算。经过同事的提点完成了，这里记录一下过程。
@nanami·2023-11-05 23:34

我与Hive的不解之谜系列（三）：Hive的分区表和分桶表及SQL知识

的快速复习复习回顾数据导入loadinsertimport数据导出exportinserthive中的分区表分区的介绍创建分区表分区的查询创建分区hive中的分桶表分桶的概念分桶的意义创建分桶表步骤SQL的快速复习hivesql
菜鸟周星星·2023-11-05 16:09

hivesql,sql 函数总结：

1、NVL函数与Coalesce差异--selectnvl(null,8);--结果是8--selectnvl('',7);--结果是""--selectcoalesce(null,null,9);--结果是9--selectcoalesce("",null,9);--结果是""1.2、NVL函数与Coalesce差异-知乎Oracle中函数以前介绍的字符串处理，日期函数，数学函数,以及转换函数等
Jack_2085·2023-11-05 05:59

Hivesql解析多层Json数据

首先介绍下背景：在之前的一次需求中，需要将mongo表数据导入Hive表使用，导入Hive表时，mongo表数据被存成了一行行的Json格式的字符串，后续使用需要解析出Json中的各个字段。先贴一条要解析的数据（格式化后的），数据我做了一些处理，去除了大部分类似的字段，只保留了比较有代表的几类。这是一条有着多重结构的Json，我要解析字段并将其打平成多条数据。{"id":"1001","sKUs"
hanbh01·2023-11-04 16:07

09- 15 hivesql 基础

hivesql基础：hive简介：hive是基于hadoop的数据仓库mapreduce简介:基础语法：查询语句：selectafrombwherec；Groupby分组Orderby排序执行顺序：From
withxinxin·2023-11-04 15:13

hiveSQL语法及练习题整理(mysql)

目录hiveSQL练习题整理：第一题第二题第三题第四题第五题第六题第七题第八题第九题第十题第十一题第十二题hivesql常用函数：hiveSQL常用操作语句（mysql）hiveSQL练习题整理：第一题我们有如下的用户访问数据
fyl005·2023-11-04 15:05

Hive SQL中的concat、concat_ws、concat_group&列转行,行转列

SEPARATOR,collect_set(column))等价于GROUP_CONCAT()3、Hive之列转行,行转列列转行行转列1、concat函数,concat_ws函数，concat_group函数hivesql
栗子呀！·2023-11-04 10:42

HiveSQL中last_value函数的应用

一、背景在以下数据中如何实现对每一个列按照更新时间取最新的非null值？1aanull2023012023011bbnullnull2023021nullcnullnull2023031dnullnullnull202304如何实现1dcnull202301202301二、last_value函数的使用selectlast_value(age)over(partitionbyaorderbyb,c
文文鑫·2023-11-04 10:04

[shell,hive] 在shell脚本中将hiveSQL分离出去

将HiveSQL语句写在单独的.hql文件中，然后在shell脚本中调用这些文件来执行Hive查询。这样可以将SQL语句与shell脚本分离，使代码更加清晰和易于维护。
言之。·2023-11-03 12:02

HiveSQL高级进阶10大技巧

直接上干货，HiveSQL高级进阶技巧，重要性不言而喻。掌握这10个技巧，你的SQL水平将有一个质的提升，达到一个较高的层次！
尚硅谷铁粉·2023-11-03 07:51

Hivesql-高级进阶技巧

温故而知新，直接上干货，HiveSQL高级进阶技巧，重要性不言而喻。掌握这10个技巧，你的SQL水平将有一个质的提升！
☞空白页·2023-11-03 07:49

HiveSQL高级进阶技巧，掌握这10个技巧，你的SQL水平将有一个质的提升！

1.删除insertoverwritetmpselect*fromtmpwhereid!='666';2.更新insertoverwritetmpselectid,label,if(id='1'andlabel='grade','25',value)asvaluefromtmpwhereid!='666';3.列转行--Step03：最后将info的内容切分selectid,split(info,
莫叫石榴姐·2023-11-03 07:40

学习 SQL 语言大纲

针对不同的数据库，如hivesql、mysql、sqlserver、oracle等，sql语法会有所不同，但是总体上大同小异，只是细微处的差别。
Saropetry·2023-11-03 07:07

HiveSQL高级进阶技巧

目录1.删除2.更新：3.行转列：4.列转行：5.分析函数：6.多维分析7.数据倾斜groupby：join：掌握下面的技巧，你的SQL水平将有一个质的提升！1.删除正常hive删除操作基本都是覆盖原数据；insertoverwritetmpselect*fromtmpwhereid!='666';2.更新：更新也是覆盖操作；insertoverwritetmpselectid,label,if(
浊酒南街·2023-11-03 07:06

2.Hive使用

1.1HiveSQL1.1.1Hive的数据类型primitive_typearray_type//数组格式|map_type//map格式|struct_type//结构体格式primitive_type
南宫萧言·2023-11-03 02:18
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他