HiveSQL 第4页

Hive面试题持续更新【2023-07-07】

文章目录一、Hive的体系架构二、HiveSQL的执行方式主要有哪几种？三、Hive导入数据的方式有哪些？四、Hive中的表有哪几种？分别有哪些应用场景？五、Hive自带的单行函数有哪些？

程序终结者·2023-11-01 21:35

Hive面试题

Hadoop分布式文件系统中的数据：可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能；可以将SQL语句转换为MapReduce任务运行，通过自己的SQL查询分析需要的内容，这套SQL简称HiveSQL

布小昕·2023-11-01 20:58

【hive 面试题】聚合操作时null和‘‘对结果的影响

1、HiveSQL中聚合操作时null和''对结果的影响代码示例：withtempas(selectnullasaunionallselect'111'asaunionallselect'222'asaunionallselect

广阔天地大有可为·2023-11-01 20:58

hiveSql正则方式提取字段中的内容

文章目录hiveSql正则方式提取字段中的内容1.示例hiveSql正则方式提取字段中的内容通过regexp_extract(stringsubject,stringpattern,intindex)UDF

SunnyZ-L·2023-11-01 09:26

Hive使用Calcite CBO优化流程及SQL优化实战

文章目录HiveSQL执行流程Hivedebug简单介绍HiveSQL执行流程Hive使用Calcite优化HiveCalcite优化流程HiveCalcite使用细则Hive向Calcite提供元数据上一篇主要对

zzzzMing·2023-10-27 16:11

shell中hiveSQL的split

这是一个shell脚本a.shsource~/.bashrcdate=$1sql="select...split(category,'\\\|')[0]asname...使用split按照|切分时,前面要加3个\例如只要aaa|bbb前面的部分aaa

言之。·2023-10-27 10:40

[hive] 窗口函数 ROW_NUMBER()

文章目录`ROW_NUMBER()`示例窗口函数ROW_NUMBER()在HiveSQL中，ROW_NUMBER()是一个用于生成行号的窗口函数。它可以为查询结果集中的每一行分配一个唯一的行号。

言之。·2023-10-27 10:59

MaxCompute 自定义 Java UDF

公司大数据开发使用的是阿里云的MaxCompute，MaxCompute自身提供了很多HiveSQL函数，能够满足大部分需求，但是总有一些HiveSQL函数无法满足的需求，比如base64编解码等等，目前

Q以梦为马·2023-10-26 01:47

hivesql之lateral view explode遇到记录为空情况

在正常解析一个有值的字符串时，用lateralviewexplode是完全ok的，但是，当遇到该字符串为空时，如果在使用该函数，就会导致该条记录消失。这时候需要加个outerlateralviewouterexplode转载自https://blog.csdn.net/jarry_cm/article/details/90402833之前小白有写过一篇文章是高效的解析字符串，里面讲到过一个方法：l

C_time·2023-10-25 03:19

hive知识点总结

Hive一、Hive简介什么是HiveHive由FaceBook实现并开源基于Hadoop的数据仓库工具可以将结构化的数据映射为一张数据库表并提供HQL（HiveSql）查询功能底层数据是存储在HDFS

看着天上飞的猪·2023-10-25 01:53

Spark的DataFramex写入Oracle中数据类型转换

1.标准hivesql可参考文章2.SparkDSL风格sql$"field_name".cast(DecimalType(16,4))as"field_name"3.数值类型的值超过Oracle字段精度未在写入数据库之前定义精度

pageniao·2023-10-24 15:15

hivesql关键字在shell脚本中转义

由于start字段在hive中为关键字需要使用飘号转义`start`但是在执行shell脚本时飘号``也有其特使含义所以需要进行二次转义 \`start\`

asd623444055·2023-10-23 17:33

Hive SQL 函数高阶应用场景

HIVE作为数据仓库处理常用工具，如同RDBMS关系型数据库中标准SQL语法一样，HiveSQL也内置了不少系统函数，满足于用户在不同场景下的数据分析需求，以提高开发SQL数据分析的效率。

Moutai码农·2023-10-23 13:22

转：大数据真实案例：Spark在美团的实践

美团最初的数据处理以HiveSQL为主，底层计算引擎为MapRed

爱萨萨·2023-10-23 05:57

hive插入多条数据sql_30分钟入门 Hive SQL（HQL 入门篇）

HiveSQL几乎是每一位互联网分析师的必备技能，相信每一位面试过大厂的童鞋都有被面试官问到Hive优化问题的经历。

高中物理宋老师·2023-10-20 01:53

HiveSql使用max函数失效的问题，返回结果999

表中一共两个字段，tag_name和tag_value，查询出指定tag_name下，tag_value值最大的记录通过以下sql语句，查询出结果为999，不正常selecttag_name,max(a.tag_value)from(selecttag_name,tag_value_numfromhdp_teu_dpd_feature_db.da_wanxiang_druid_number_inp

攻城狮Kevin·2023-10-18 23:27

基于Hadoop的数据仓库Hive的介绍、安装与基本应用

Hive的介绍、安装与基本应用一、概述二、Hive系统架构三、Hive工作原理四、HiveHA基本原理五、Impala六、Hive安装七、Hive编程实战附一：管理表(内部表)附二：外部表附三：分区表附四：HiveSQL

珞清殇·2023-10-18 20:53

Hive-SQL学习笔记

Datamanipulationlanguage）DQL（dataquerylanguage）Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据表，并提供类似于SQL(HiveSQL

Sais_Z·2023-10-16 06:00

大数据HiveSQL学习笔记二

大数据HiveSQL学习笔记二一、数据库操作1、创建数据库CREATE(DATABASE/SCHEMA)[IFNOTEXISTS]database_name[COMMENTdatabase_comment

lucky_myj·2023-10-16 06:58

大数据HiveSQL学习笔记三-查询基础语法以及常用函数

大数据HiveSQL学习笔记三-查询基础语法以及常用函数一、基础语法1、SELECT…列名…FROM…表名…WHERE…筛选条件…如：需要根据城市，性别找出匹配的10个用户user_info：用户表user_name

lucky_myj·2023-10-16 06:58

HiveSql里group by和order by连用的注意事项

hive的语句执行顺序是groupby...select...orderbyorderby是对前面查询到的结果进行排序，两者连用的语法顺序即select...groupby...orderby注意事项有两点：1.orderby的字段必须是在groupby中，或者是聚合函数1.selectfile1,file2fromtableNamegroupbyfile1,file2orderbyfile1;2

攻城狮Kevin·2023-10-15 23:59

linux下hive指令快使用无介绍版（一）

linux下hive指令快使用无介绍版（一）问题背景hive指令心得Lyric：面朝北问题背景平常项目基本都是直接在代码里面执行hiveSql，在linux下操作hive的指令总是忘记，基于此基础，写一个快速使用版的注意事项

时间是一种解药·2023-10-15 17:19

大数据 Hive 类Sql语法，Hql Join语法详解

一、HIVESQL语法SELECT [ALL | DISTINCT] select_expr, select_expr, ...

呆若喵喵·2023-10-15 12:30

hive 知识总结

它是Facebook2008年8月开源的一个数据仓库框架，提供了类似于SQL语法的HQL（hiveSQL）语句作为数据访问接口。

添柴少年yyds·2023-10-11 21:17

列转行，行转列（hivesql）

一、笛卡尔积笛卡尔积即交叉连接,返回结果的行数等于两个表行数的乘积。笛卡尔积会出现的可能情况：1.省略连接条件2.连接条件无效3.所有表中的所有数据互相连接二、列转行concat_ws()：concat_ws(separator,字符串A/字段名A,字符串B/字段名B…)是concat的特殊形式，第一个参数是其他参数的分隔符，分隔符会放到连接的字符串之间,分隔符可以是一个字符串，也可以是其他参数.

小白冲啊·2023-10-11 01:35

Hive SQL的窗口函数及特殊函数回顾

HiveSQL中有很多窗口函数值得我们在平时的数据开发处理中好好使用。通常包含排序类、聚合类、累计计算，等。在数据开发的此篇就简单罗列一些窗口函数的SQL例子，做一个复习回顾。

AaronWong12·2023-10-09 16:44

spark-sql调优技巧

sparkSQL概述sparkSQL的前世今生==Shark是专门针对于spark的构建大规模数据仓库系统的一个框架==Shark与Hive兼容、同时也依赖于Spark版本Hivesql底层把sql解析成了

柱子z·2023-10-03 03:21

Hive 分区字段限制

hivesql分区字段不可以有中文，否则会报错如下：FailedwithexceptionMetaException(message:javax.jdo.JDOException:Exceptionthrownwhenexecutingquery

phycsgy·2023-09-29 12:42

求各区域热门商品Top3 - HiveSQL

背景：这是尚硅谷SparkSQL练习题，本文用HiveSQL进行了实现。

小刘新鲜事儿·2023-09-28 09:18

Spark SQL 教程

我们已经学习了Hive，它是将HiveSQL转换成MapReduce然后提交到集群上执行，大大简化了编写Ma

printf200·2023-09-28 02:44

一百八十八、Hive——HiveSQL查询表中的日期是星期几（亲测，附截图）

一、目的指标需要查询以工作日和周末维度的数据统计，因此需要根据数据的日期判断这一天属于星期几，周一到周五为工作日，周六到周日为周末二、SQL查询（一）SQL语句selectday,casewhenpmod(datediff(create_time,'2023-05-02')+1,7)=1then'周一'whenpmod(datediff(create_time,'2023-05-02')+1,7)

天地风雷水火山泽·2023-09-27 23:40

一场pandas与SQL的巅峰大战(二)

工作中除了MySQL，也经常会使用HiveSQL，相比之下，后者有更为强大和丰富的函数。

hitchc·2023-09-27 12:31

【大数据课程】高途课程实践-Day02：利用Hive SQL编写离线数仓实现可视化展示...

〇、概述1、实现内容使用HiveSQL编程，构造分层离线数仓并可以通过QuickBi进行展示2、过程(1)数据接⼊到ODS层(2)进⾏ODS到DWD层数据开发(3)进⾏ODS到DIM层数据开发a.创建【

哥们要飞·2023-09-25 20:34

datax同步数据翻倍，.hive-staging 导致的问题分析

二、环境Hive版本2.1.1三、分析3.1.hive-staging_hive产生的原因通过SparkSQL、HiveSQL、Hue等提交SELECT或者INSERTOVERWRIT

程序员小陶·2023-09-23 00:28

一百八十一、Hive——海豚调度HiveSQL任务时当Hive的计算引擎是mr或spark时脚本的区别（踩坑，附截图）

一、目的当Hive的计算引擎是spark或mr时，发现海豚调度HQL任务的脚本并不同，mr更简洁二、Hive的计算引擎是Spark时（一）海豚调度脚本#!/bin/bashsource/etc/profilenowdate=`date--date='0daysago'"+%Y%m%d"`yesdate=`date-dyesterday+%Y-%m-%d`hive-e"usehurys_dc_dwd

天地风雷水火山泽·2023-09-22 04:43

json函数 presto_Hive sql和Presto sql的一些对比

最近由于工作上和生活上的一些事儿好久没来博客园了，但是写博客的习惯还是得坚持，新的一年需要更加努力，困知勉行，终身学习,每天都保持空杯心态.废话不说，写一些最近使用到的PrestoSQL和HiveSQL

唐顾权·2023-09-20 08:22

Hive 进阶篇

1.2CTAS语句2.join连接2.0表的创建2.1内连接2.2左右连接2.3全外连接2.4左半开连接2.5交叉连接2.6Hivejoin使用注意事项3.Hive函数以及Linux终端执行3.1终端执行Hivesql

DUT_子陌·2023-09-20 08:51

MySQL、HQL、impala、presto 的语法常见区别（持续更新中）

MySQL、HiveSQL、presto语法常见区别立一个FLAG：等到我有空了再写案例。

LdyLLLLLLLD·2023-09-20 08:17

HIVE控制导出数据的大小和数量

由于他们平台设计的问题，导致只能嵌入sql，所以这面我需要通过hivesql的一些设置来实现这

润土1030·2023-09-19 20:56

开源项目观察8月报

docs.gethue.com/releases/release-notes-4.11.0/支持iceberg数据源通过缓存Livysession中的信息来加速SparkSQL，并适配SparkUDF支持HPL/SQL:hivesql

xiaoliizi·2023-09-19 07:59

详细解释HiveSQL执行计划

一、前言HiveSQL的执行计划描述SQL实际执行的整体轮廓，通过执行计划能了解SQL程序在转换成相应计算引擎的执行逻辑，掌握了执行逻辑也就能更好地把握程序出现的瓶颈点，从而能够实现更有针对性的优化。

000X000·2023-09-16 21:46

一百七十四、Hive——Hive动态分区表加载数据时需不需要指定分区名？

因此，研究一下它们的区别以及使用场景，从而决定在项目的海豚调度HiveSQL的脚本里需不需要指定动态分区的分区名？

天地风雷水火山泽·2023-09-13 06:31

Hive调优（SQL）

作为大数据领域常用的数据仓库组件，在设计和开发阶段需要注意效率；影响Hive效率的不仅仅是数据量过大；数据倾斜、数据冗余、job或I/O过多、MapReduce分配不合理等因素都对Hive的效率有影响；对Hive的调优既包含对HiveSQL

飞越石之海·2023-09-13 04:39

Shib+Presto 即席查询

SQL查询脚本编写技巧，掌握不同业务的数据存储在不同的数据集市里；不管他们的计算任务是提交给数据库还是Hadoop，计算时间都可能会很长，不可能在线等待；所以，使用者提交了一个计算任务（PIG/SQL/HiveSQL

litongtong1028·2023-09-11 10:54

hivesql执行过程

语法解析SemanticAnalyzerSemanticAnalyzer是Hive中的语义分析器，负责检查HiveSQL程序的语义是否正确。

demo123567·2023-09-10 13:50

解决Hive动态分区小文件过多问题

一、问题描述为了支撑相应的业务需求，本次生产环境通过HiveSQL来完成动态插入分区表数据的脚本开发。但是，动态分区的插入往往会伴随产生大量的小文件的发生。

技匠三石弟弟·2023-09-10 06:48

hivesql异常插入不进去数据

neartoken'cardNumber'..errorencountered23/08/3015:16:58ERRORql.Driver:FAILED:SemanticExceptioon1:27'[eventcode,customerId,eventTime,accountNumber,scenarioCode,cardNumber]’ininsertschemaspecificationar

arbalest1080·2023-09-06 08:10

Spark SQL概述，DataFrames,创建DataFrames的案例，DataFrame常用操作（DSL风格语法），sql风格语法

1.2．为什么要学习SparkSQL我们已经学习了Hive，它是将HiveSQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduce的程序的复杂性，由于MapRed

涂作权的博客·2023-09-01 06:03

关于hive sql进行调优的理解

hive其实是基于hadoop的数据库管理工具，底层是基于MapReduce实现的，用户写的hivesql最终转换成MapReduce的任务运行在hadoop上，不过MapReduce会因为磁盘IO的问题会运行较慢

世润·2023-08-27 07:59

HiveSQL刷题

41、同时在线人数问题现有各直播间的用户访问记录表（live_events）如下，表中每行数据表达的信息为，一个用户何时进入了一个直播间，又在何时离开了该直播间。user_id(用户id)live_id(直播间id)in_datetime(进入直播间的时间)out_datetime(离开直播间的时间)10012021-12-119:30:002021-12-119:53:0010022021-12

青云游子·2023-08-27 07:29

推荐频道

HiveSQL