hivesql

HiveSQL在使用聚合类函数的时候性能分析和优化详解

带聚合函数的SQL逻辑，我们可以根据其执行过程的不同，将其分成三大类来进行分析：仅在Reduce阶段聚合的SQL执行逻辑在Map和Reduce阶段都有聚合操作的SQL执行逻辑高级分组聚合的执行SQL逻辑
鲁边·2023-06-21 11:00

Hive SQL：DDL建库 建表

HiveSQL:DDL建库/建表HiveSQL数据库建库数据库在Hive中，默认的数据库叫做default，存储数据位置位于HDFS：/user/hive/warehouse用户自己创建的数据库存储位：
Rkun18·2023-06-19 06:01

数据仓库技术与Hive入门

文章目录数据仓库基本概念场景案例主要特征主流开发语言-SQL数仓开发语言概述SQL语言介绍结构化数据SQL语法分类ApacheHive入门ApacheHive安装部署元数据HiveSQL语言数据仓库基本概念数据仓库
北山啦·2023-06-18 08:28

Hive-hivesql粗略操作

hivesql1建表createtableifnotexistsstu2(idint,namestring)rowformatdelimitedfieldsterminatedby'\t'storedastextfilelocation
:Concerto·2023-06-17 11:33

Apache Zeppelin系列教程第九篇——Zeppelin NoteBook数据缓存

ZeppelinJDBCIntercepter对于Hive数据进行查询过程中，如果遇到非常复杂的sql，查询效率是非常慢比如：selectdt,count(*)fromtablegroupbydt做过数据开发的同学都知道，在hivesql
诸葛子房_·2023-06-15 12:59

hive sql 向上取整、向下取整、保留小数位的函数

hivesql向上取整、向下取整、保留小数位的函数向上取整函数：ceiling()示例：selectceiling(10.1)结果：11向下取整函数：floor()示例：selectfloor(10.9
今天菜里有肉·2023-06-14 20:40

hive sql 给查询结果添加序号

hivesql给查询结果添加整体序号、查询结果分组添加组内序号1、需要的函数及关键字：ROW_NUMBER()函数OVER()函数PARTITIONBYORDERBY1.1ROW_NUMBER()函数将针对
今天菜里有肉·2023-06-14 20:40

阿里云hivesql特殊类型数据处理

特殊类型数据处理**一、**string类型列字段炸列，如下图，protest字段列为string类型，数据内容中的产品由特定符号分隔，为方便数据使用需要将protest列炸开。语句：lateralviewexplode(split(protest,‘,’))1、利用split将对protest进行分割，返回数组类型，例：selectsplit(“a,b,c”,“,”);–返回[a,b,c]。（h
今天菜里有肉·2023-06-14 20:40

hive sql 替换指定的字符串

hivesql替换指定的字符串示例：aa/bb/c#目的：将字符串’aa/bb/c#‘中的符号’#‘替换为指定字符’f’；函数：regexp_replace(a,b,c)，参数a：目标字符串，参数b：需要被替换的字符
今天菜里有肉·2023-06-14 20:09

[Hadoop]数据仓库基础与Apache Hive入门

SQLApacheHive入门ApacheHive概述场景设计：如何模拟实现Hive功能ApacheHive架构、组件ApacheHive安装部署ApacheHive元数据Hive3安装ApacheHive客户端使用HiveSQL
热咖啡不太冷·2023-06-14 18:02

2.淘宝购买行为分析项目——Hive查询、Sqoop的介绍与使用、SQLyog的安装与使用、Superset的概述与安装使用

selectitem_id,count(user_id)sale_numfromto_user_loggroupbyitem_idorderbysale_numdesclimit10**查询当前的HiveSQL
想成为数据分析师的开发工程师·2023-06-14 10:14

HiveSQL基础练习题

HiveSQL基础练习题1.环境准备1.1建表语句1.2数据准备1.3插入数据2.查询2.1查询姓名中带“华”的学生名单2.2查询姓“王”老师的个数2.3检索课程编号为“04”且分数小于60的学生学号，
sheygshsi·2023-06-14 04:15

转行大数据该怎么学

为什么大数据行业，大部分岗位都是做离线数仓的工作，写HiveSQL的？我在大数据实习的第一份工作就是大数据分析，目前很多实习生来了也都是安排数据分析工作。因为这一块
qq^^614136809·2023-06-13 11:43

运行hive语句时有很多info怎么消掉

1.提出问题每次启动hive和执行hivesql命令时都打印了很多没用的INFO日志，看起来很繁琐，那么该怎么消除掉这些没用的日志消息问题展示：2.解决方法进入hive的安装目录下：/opt/module
Pseudo-love453·2023-06-10 09:56

Hive执行计划之什么是hiveSQL向量化模式及优化详解

Hive开启向量化模式也是hiveSQL优化方法中的一种，可以提升hive查询速率，也叫hive矢量化。
鲁边·2023-06-09 20:00

beyond the ‘VIRTUAL‘ memory limit

真服了，家人们谁懂啊，第一条hiveSQL就嘎了。
李林楠·2023-06-07 18:26

HiveSql调优系列之Hive严格模式，如何合理使用Hive严格模式

文章目录综述1.严格模式1.1参数设置1.2查看参数1.3严格模式限制内容及对应参数设置2.实际操作2.1分区表查询时必须指定分区2.2orderby必须指定limit2.3限制笛卡尔积3.搭配使用3.1参数3.2搭配使用案例综述在同样的集群运行环境中，hive调优有两种方式，即参数调优和sql调优。本篇讲涉及到的Hive严格模式。前两天在优化一个前人遗留下的sql，发现关于严格模式参数是这样使用
鲁边·2023-06-07 00:59

hive向上取整、向下取整、保留小数位的函数

hivesql向上取整、向下取整、保留小数位的函数1.向上取整函数ceiling()示例：selectceiling(10.1)结果：112.向下取整函数floor()示例：selectfloor(10.9
鲁边·2023-06-07 00:59

Hive执行计划之一文读懂Hive执行计划

目录文章目录概述1.hive执行计划的查看2.学会查看Hive执行计划的基本信息3.执行计划步骤操作过程4.explainextended概述Hive的执行计划描述了一个hiveSQL语句的具体执行步骤
鲁边·2023-06-06 23:31

HIVE基础

实际工作中写impalasql，而使用hive操作大数据其实就是写hivesql，hive是建立在hadoop基础上的数据仓库基础架构它提供一系列工具，进行ETL操作HiveSQL来操作hadoop数据
February13·2023-04-21 21:48

Hive SQL经典面试题：统计连续登陆的三天及以上的用户

HiveSQL经典面试题最近发现一道大数据面试经常会问的SQL题目：统计连续登录的三天及以上的用户（或者类似的：连续3个月充值会员用户、连续N天购买商品的用户等），下面就来记录一下解题思路。
此木Y·2023-04-21 17:09

nifi 读取mysql_nifi 从mysql数据中读取数存入hive中

contentstring)rowformatdelimitedfieldsterminatedby'\t';之前的想法是从mysql读取数据，将数据转为json，再用ConvertJSONToSQL转为hivesql
是TuTu兔·2023-04-20 19:09

详解HiveSQL执行计划

一、前言HiveSQL的执行计划描述SQL实际执行的整体轮廓，通过执行计划能了解SQL程序在转换成相应计算引擎的执行逻辑，掌握了执行逻辑也就能更好地把握程序出现的瓶颈点，从而能够实现更有针对性的优化。
000X000·2023-04-17 21:08

hive json字段解析

在写HiveSQL时，需要从一个json列中解析出多个key的信息，可以使用get_json_object或json_tuple。
MusicDancing·2023-04-17 20:53

数据分析_HiveSQL查询语句

Hive数据类型基本数据类型数据类型长度例子tinyint1byte有符号整数20smallint2byte有符号整数20int4byte有符号整数20bigint8byte有符号整数20boolean布尔类型，true或者falseTRUEfloat单精度浮点数3.14159double双精度浮点数3.14159string字符序列。可以指定字符集。可以使用单引号或者双引号‘nowistheti
haidaozheng·2023-04-17 07:35

tidb迁移hive的坑

hiveconcat函数有一个参数为null，返回结果为null;hivecoalesce函数，其中第一个参数为"，它的返回结果会为";hivesql语句中如果有notin（），括号里面的只能为定值，不能是
xiaoyaoyujh·2023-04-16 13:17

dolphinscheduler之hivecli 任务

hivecli任务Hivecli任务说明dolphinscheduler的hivecli任务是专门执行hivesql的任务类型。其中子类型分为FROM_SCRIPT和FROM_FILE。
神云瑟瑟·2023-04-16 03:51

大数据=SQL Boy,SQL Debug打破SQL Boy 的僵局

网上经常盛传大数据=sqlboy，后端开发=crudboy，算法工程师=调参boy在大数据领域也工作了好几年了，确实大数据开发，很多工作就是写sql，hivesql、sparksql、flinksql等等
诸葛子房_·2023-04-14 18:36

hive select * 语法中去掉部分列

应用场景hive表有很多列，大部分列需要，其中一列不需要，例如分区表的dt字段不要，例如1000列中去掉1列实现方法1.方法hivesql：实现功能select`(dt)?+.
*星星之火*·2023-04-14 03:22

滴滴三面面经JAVA面经

算法一个二叉树给一个target，找到所有sum==target的路径7.Linux命令,各种操作命令，没用过的话还真说不出来8.MapReduce原理9.Spark优化10.数据处理，数据优化，比如hivesql
程序员七十一·2023-04-13 22:34

Hive实战篇-动态分区导致小文件过多

一、问题描述为了支撑相应的业务需求，本次生产环境通过HiveSQL来完成动态插入分区表数据的脚本开发。但是，动态分区的插入往往会伴随产生大量的小文件的发生。
在路上的小苑·2023-04-13 18:45

HiveSQL一天一个小技巧：如何统计当前时间点状态情况【辅助变量+累计变换思路】

入住时间加辅助标记记为1，离店时间加辅助标记记为-1，并按照时间进行顺序排序，求当前累计值，具体SQL如下：参考文章：SQL同时在线问题分析（求最高在线人数以及最高峰时间段）【累加器思想，流式分析】--HiveSql
莫叫石榴姐·2023-04-12 19:57

Hive 自定义UDF函数讲解

需求3.2项目pom文件3.3Hive建表测试及数据3.4UDF函数编写3.5UDTF函数编写四：添加到hive一、UDF描述UDF全称为User-DefinedFunctions,即用户自定义函数，在HiveSQL
冷艳无情的小妈·2023-04-12 15:02

flink sql 知其所以然：flink sql 开发企业级利器之 Dlink

搞大数据开发的同学基本都知道在HUE上面写hivesql贼爽。那么有没有写flinksql的企业级的webIDE推荐的呢？经过博
javastart·2023-04-08 20:40

用AI找答案：hivesql中set可以设置哪些参数

hivesql中set可以设置哪些参数AI:在HiveQL中，SET命令可以用于设置以下参数：hive.execution.engine：指定Hive的执行引擎，包括MapReduce、Tez、Spark
Redamancy_06·2023-04-08 09:18

hiveSQL开窗函数详解

hive开窗函数文章目录hive开窗函数1.开窗函数概述1.1窗口函数分类1.2窗口函数和普通聚合函数的区别2.窗口函数的基本用法2.1基本用法2.2设置窗口的方法2.2.1window_name2.2.2partitionby2.2.3orderby子句2.2.4rows指定窗口大小窗口框架2.3开窗函数中加orderby和不加orderby的区别3.窗口函数用法举例3.1序号函数：row_nu
健鑫.·2023-04-08 08:26

HQL （hive sql）之函数总结

HQL（hivesql）之函数总结1.背景作为操作hive客户端的编程语言，hql有自己的数据类型，自然也有编译器，也有函数。
闻香识代码·2023-04-06 19:09

HQL(Hive SQL) 之查询语句专题汇总

HQL(HiveSQL)之查询语句专题汇总1.背景hive本身是一个将sql语句转换为mapreduce程序运行的转换器hive可以把结构化数据转换到一张表上，并提供查询和分析的功能针对这个过程，hive
闻香识代码·2023-04-06 19:39

大数据 Apache Hive SQL基础（HQL 入门篇）

HiveSQL几乎是每一位互联网分析师的必备技能，相信每一位面试过大厂的童鞋都有被面试官问到Hive优化问题的经历。
Wis57·2023-04-06 18:20

Spark sql 实战案例

1、sparksql操作hivesql添加依赖org.apache.sparkspark-hive_2.112.3.3代码开发importorg.apache.spark.sql.SparkSession
TUJC·2023-04-05 22:35

Mysql查询+hiveSQL查询+SparkSQL查询对比(个人总结)

而hiveSQL和sparkSQL的查询不存在这种问题，计算完成后的数据都是分布式存储的。
Be An Author·2023-04-05 01:29

hiveSQL常见函数及用法（持续收集）

1，时间函数2，聚合函数注意：聚合函数常与SELECT语句的GROUPBY子句一块儿使用。换句话说使用聚合函数时，一个列字段要不在groupby里，要没必要须在聚合函数里面，不能单独出现，不然报错。3，字符串函数4，连接函数5，其他函数6，窗口函数1，lead(col，n,m)over(partitionby…orderby…):其中col是要取的字段，n是取排序后的第几条记录；m是缺省值，如果后
无形风·2023-04-04 10:57

Hive SQL时间函数及用法

HiveSQL时间函数当前官方提供的日期函数共27个，内容如下：1.获取当前系统时间函数：current_timestamp返回值：timestamp返回查询计算开始时的当前时间戳(从Hive1.2.0
PONY LEE·2023-04-04 10:15

hivesql窗口函数

一、累计计算窗口函数sum(field)over(partitionbyfieldorderbyfieldasc/descrowsbetween…and…)avg(field)over(partitionbyfieldorderbyfieldasc/descrowsbetween…and…)max(field)over(partitionbyfieldorderbyfieldasc/descrow
大哇唧·2023-04-04 10:41

OLTP 和 OLAP 的区别 ；hive与其它框架的区别

导航hiveoutlineOLTP和OLAP的区别hive和mysql主要区别hive和hbase的区别hivesql和sparksql的区别hiveonspark和sparkonhive的区别hiveoutlinehiveoutlineOLTP
塞上江南o·2023-04-04 10:32

HiveSQL函数总结

数学函数保留几位小数(四舍五入)--MySQL可用selectround(1.23456,3)ASf;--取值为1.235向下取整--MySQL可用SELECTFLOOR(1.234)ASI;--取值为1求开方--MySQL可用SELECTSQRT(9)ASs;--取值3.0求模|求余数--MySQL不可用SELECTpmod(10,3)ASp;--取值为1求幂--MySQL可用selectpow
Kukafee·2023-04-04 10:34

Hive SQL函数

HiveSQL函数一、关系运算1.等值比较:=2.不等值比较:6.大于等于比较:>=7.空值判断:ISNULL8.非空判断:ISNOTNULL举例：统计表中字段label非空数量：selectcount
王林-wlin·2023-04-04 10:59

Hive SQL语句操作

HiveSQL语句操作一、任务描述二、任务目标三、任务环境四、任务分析1.大数据离线处理特点2.HDFS3.Yarn框架的组件功能4.Hive五、任务实施步骤1、新建hql文件步骤2、hive中执行此文件步骤
不懂开发的程序猿·2023-04-04 07:34

HiveSQL的执行流程

底层任务调度通过yarn进行资源分配，默认计算引擎为MapReduce，可移植为hiveontez或者hiveonspark，下面是一条hivesql的执行流程：（hive中的四大组件：解析器，编译器，
请学习好嘛·2023-04-04 07:30

hiveSQL:统计视频观看数Top50所关联视频的所属类别Rank

一.统计此题需要多表连接嵌套,需要使用到的内置处理函数有:1.orderbydesc:字段按照降序排列(不加desc默认升序)2.lateralview:(侧写表,关联)用法:LATERALVIEWudtf(expression)tableAliasAScolumnAlia3.explode:将hive一列中复杂的Array或者Map结构拆分成多行4.groupby:按字段分数查询5.count(
请学习好嘛·2023-04-04 07:00
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他