hivesql

HiveSQL编程模板及注意事项

目录0引言1模板代码2代码分析及注意事项0引言hive是数据仓库、数据分析人员必用的工具之一。实际工作中，使用hive很多时候都是在将SQL代码封装在shell脚本之下运行，这是一种常见的方式，方便调度工具调度shell脚本。1模板代码#!/bin/bashlastday=`date--date'-1days'+%Y-%m-%d`#获得昨天的日期if["$2"!=""];thenlastday=$
莫叫石榴姐·2023-07-18 08:42

一百三十、海豚调度器——用DolphinScheduler定时调度HiveSQL任务

一、目标用海豚调度器对Hive数仓各层数据库的SQL任务进行定时调度。比如，DWD层脱敏清洗表的动态插入数据、DWS层指标表的动态插入数据二、工具版本1、海豚调度器：apache-dolphinscheduler-2.0.5-bin.tar.gz2、Hive：apache-hive-3.1.2-bin.tar.gz三、实施步骤（一）在海豚调度器的数据源中心模块创建Hive各数据库的数据源第一步，点
天地风雷水火山泽·2023-07-18 07:31

数据血缘 参考资料文章汇总

字节跳动内部的数据血缘用例与设计全链路数据血缘在满帮的实践饿了么元数据管理实践之路携程数据血缘构建及应用https://www.jianshu.com/p/6a14c846e331HiveSQL血缘关系解析与应用虽然没有公布完整代码
mizuhokaga·2023-07-16 21:25

sqllineage解析sql列级血缘并提交到datahub

目录版本信息操作记录安装datahubv0.10.0datahub快速部署元数据摄取通过sqlline获取指定sql文件中HiveSQL的字段级血缘关系，并将结果提交到datahub版本信息python3.8.16datahubv0.10.0
LCriska·2023-07-16 14:00

关于sql查询的一些事

hiveSql.sh脚本hive-e"insertintotabletest.sudianselectsplit(a.key,'_')[0]asdeviceid,(casewhenwatchtime10800000then300000elsewatchtimeend
会飞的蜗牛66666·2023-07-14 04:05

HiveSQL 迁移 FlinkSQL 在快手的实践

摘要：本文整理自快手数据架构工程师张芒，阿里云工程师刘大龙，在FlinkForwardAsia2022生产实践专场的分享。本篇内容主要分为四个部分：Flink流批一体引擎FlinkBatch生产实践核心优化解读未来规划点击查看原文视频&演讲PPT一、Flink流批一体引擎1.1Lambda架构首先，介绍一下我们选择Flink作为流批一体引擎的思考。如上图所示，是现在生产应用最广的Lambda架构，
·2023-07-13 15:14

hiveSQL中like，not like，rlike， regexp的区别和使用详解（点赞收藏使用！）

目录1-like的使用详解1.1-语法规则1.2-操作类型1.3-使用描述1.4-案例演示1.5-注意事项2-rlike比较符使用详解2.1-语法规则2.2-操作类型2.3-使用描述4-NOTALIKEB与AnotlikeB4-关于like与rlike,notlike,likenot的使用对比总结5-regexp的用法和rlike一样1-like的使用详解1.1-语法规则格式是AlikeB,其中A
KG大数据·2023-06-23 11:13

SQL进阶--2__如何使用hiveSQL统计字符串中字符的个数

目录0-需求1-分析2-总结0-需求统计在字符串"HELLOHELLO"中出现了多少个LL1-分析分析思路(1)用regexp_replace()函数将要计算的字符替换为’'selectregexp_replace("HELLOHELLO","LL",'')0:jdbc:hive2://10.9.4.117:10000>selectregexp_replace("HELLOHELLO","LL",
KG大数据·2023-06-23 11:42

大数据就业路线

数仓：主要以SQL语言为主离线数仓（目前基本状态）和实时数仓（趋势）SQL语法包括mysql中的sql、hive中的hivesql（重点），spark中的sparksql，flink中的flinksql
烟雨孤舟·2023-06-23 06:25

HiveSQL在使用聚合类函数的时候性能分析和优化详解

带聚合函数的SQL逻辑，我们可以根据其执行过程的不同，将其分成三大类来进行分析：仅在Reduce阶段聚合的SQL执行逻辑在Map和Reduce阶段都有聚合操作的SQL执行逻辑高级分组聚合的执行SQL逻辑
鲁边·2023-06-21 11:00

Hive SQL：DDL建库 建表

HiveSQL:DDL建库/建表HiveSQL数据库建库数据库在Hive中，默认的数据库叫做default，存储数据位置位于HDFS：/user/hive/warehouse用户自己创建的数据库存储位：
Rkun18·2023-06-19 06:01

数据仓库技术与Hive入门

文章目录数据仓库基本概念场景案例主要特征主流开发语言-SQL数仓开发语言概述SQL语言介绍结构化数据SQL语法分类ApacheHive入门ApacheHive安装部署元数据HiveSQL语言数据仓库基本概念数据仓库
北山啦·2023-06-18 08:28

Hive-hivesql粗略操作

hivesql1建表createtableifnotexistsstu2(idint,namestring)rowformatdelimitedfieldsterminatedby'\t'storedastextfilelocation
:Concerto·2023-06-17 11:33

Apache Zeppelin系列教程第九篇——Zeppelin NoteBook数据缓存

ZeppelinJDBCIntercepter对于Hive数据进行查询过程中，如果遇到非常复杂的sql，查询效率是非常慢比如：selectdt,count(*)fromtablegroupbydt做过数据开发的同学都知道，在hivesql
诸葛子房_·2023-06-15 12:59

hive sql 向上取整、向下取整、保留小数位的函数

hivesql向上取整、向下取整、保留小数位的函数向上取整函数：ceiling()示例：selectceiling(10.1)结果：11向下取整函数：floor()示例：selectfloor(10.9
今天菜里有肉·2023-06-14 20:40

hive sql 给查询结果添加序号

hivesql给查询结果添加整体序号、查询结果分组添加组内序号1、需要的函数及关键字：ROW_NUMBER()函数OVER()函数PARTITIONBYORDERBY1.1ROW_NUMBER()函数将针对
今天菜里有肉·2023-06-14 20:40

阿里云hivesql特殊类型数据处理

特殊类型数据处理**一、**string类型列字段炸列，如下图，protest字段列为string类型，数据内容中的产品由特定符号分隔，为方便数据使用需要将protest列炸开。语句：lateralviewexplode(split(protest,‘,’))1、利用split将对protest进行分割，返回数组类型，例：selectsplit(“a,b,c”,“,”);–返回[a,b,c]。（h
今天菜里有肉·2023-06-14 20:40

hive sql 替换指定的字符串

hivesql替换指定的字符串示例：aa/bb/c#目的：将字符串’aa/bb/c#‘中的符号’#‘替换为指定字符’f’；函数：regexp_replace(a,b,c)，参数a：目标字符串，参数b：需要被替换的字符
今天菜里有肉·2023-06-14 20:09

[Hadoop]数据仓库基础与Apache Hive入门

SQLApacheHive入门ApacheHive概述场景设计：如何模拟实现Hive功能ApacheHive架构、组件ApacheHive安装部署ApacheHive元数据Hive3安装ApacheHive客户端使用HiveSQL
热咖啡不太冷·2023-06-14 18:02

2.淘宝购买行为分析项目——Hive查询、Sqoop的介绍与使用、SQLyog的安装与使用、Superset的概述与安装使用

selectitem_id,count(user_id)sale_numfromto_user_loggroupbyitem_idorderbysale_numdesclimit10**查询当前的HiveSQL
想成为数据分析师的开发工程师·2023-06-14 10:14

HiveSQL基础练习题

HiveSQL基础练习题1.环境准备1.1建表语句1.2数据准备1.3插入数据2.查询2.1查询姓名中带“华”的学生名单2.2查询姓“王”老师的个数2.3检索课程编号为“04”且分数小于60的学生学号，
sheygshsi·2023-06-14 04:15

转行大数据该怎么学

为什么大数据行业，大部分岗位都是做离线数仓的工作，写HiveSQL的？我在大数据实习的第一份工作就是大数据分析，目前很多实习生来了也都是安排数据分析工作。因为这一块
qq^^614136809·2023-06-13 11:43

运行hive语句时有很多info怎么消掉

1.提出问题每次启动hive和执行hivesql命令时都打印了很多没用的INFO日志，看起来很繁琐，那么该怎么消除掉这些没用的日志消息问题展示：2.解决方法进入hive的安装目录下：/opt/module
Pseudo-love453·2023-06-10 09:56

Hive执行计划之什么是hiveSQL向量化模式及优化详解

Hive开启向量化模式也是hiveSQL优化方法中的一种，可以提升hive查询速率，也叫hive矢量化。
鲁边·2023-06-09 20:00

beyond the ‘VIRTUAL‘ memory limit

真服了，家人们谁懂啊，第一条hiveSQL就嘎了。
李林楠·2023-06-07 18:26

HiveSql调优系列之Hive严格模式，如何合理使用Hive严格模式

文章目录综述1.严格模式1.1参数设置1.2查看参数1.3严格模式限制内容及对应参数设置2.实际操作2.1分区表查询时必须指定分区2.2orderby必须指定limit2.3限制笛卡尔积3.搭配使用3.1参数3.2搭配使用案例综述在同样的集群运行环境中，hive调优有两种方式，即参数调优和sql调优。本篇讲涉及到的Hive严格模式。前两天在优化一个前人遗留下的sql，发现关于严格模式参数是这样使用
鲁边·2023-06-07 00:59

hive向上取整、向下取整、保留小数位的函数

hivesql向上取整、向下取整、保留小数位的函数1.向上取整函数ceiling()示例：selectceiling(10.1)结果：112.向下取整函数floor()示例：selectfloor(10.9
鲁边·2023-06-07 00:59

Hive执行计划之一文读懂Hive执行计划

目录文章目录概述1.hive执行计划的查看2.学会查看Hive执行计划的基本信息3.执行计划步骤操作过程4.explainextended概述Hive的执行计划描述了一个hiveSQL语句的具体执行步骤
鲁边·2023-06-06 23:31

HIVE基础

实际工作中写impalasql，而使用hive操作大数据其实就是写hivesql，hive是建立在hadoop基础上的数据仓库基础架构它提供一系列工具，进行ETL操作HiveSQL来操作hadoop数据
February13·2023-04-21 21:48

Hive SQL经典面试题：统计连续登陆的三天及以上的用户

HiveSQL经典面试题最近发现一道大数据面试经常会问的SQL题目：统计连续登录的三天及以上的用户（或者类似的：连续3个月充值会员用户、连续N天购买商品的用户等），下面就来记录一下解题思路。
此木Y·2023-04-21 17:09

nifi 读取mysql_nifi 从mysql数据中读取数存入hive中

contentstring)rowformatdelimitedfieldsterminatedby'\t';之前的想法是从mysql读取数据，将数据转为json，再用ConvertJSONToSQL转为hivesql
是TuTu兔·2023-04-20 19:09

详解HiveSQL执行计划

一、前言HiveSQL的执行计划描述SQL实际执行的整体轮廓，通过执行计划能了解SQL程序在转换成相应计算引擎的执行逻辑，掌握了执行逻辑也就能更好地把握程序出现的瓶颈点，从而能够实现更有针对性的优化。
000X000·2023-04-17 21:08

hive json字段解析

在写HiveSQL时，需要从一个json列中解析出多个key的信息，可以使用get_json_object或json_tuple。
MusicDancing·2023-04-17 20:53

数据分析_HiveSQL查询语句

Hive数据类型基本数据类型数据类型长度例子tinyint1byte有符号整数20smallint2byte有符号整数20int4byte有符号整数20bigint8byte有符号整数20boolean布尔类型，true或者falseTRUEfloat单精度浮点数3.14159double双精度浮点数3.14159string字符序列。可以指定字符集。可以使用单引号或者双引号‘nowistheti
haidaozheng·2023-04-17 07:35

tidb迁移hive的坑

hiveconcat函数有一个参数为null，返回结果为null;hivecoalesce函数，其中第一个参数为"，它的返回结果会为";hivesql语句中如果有notin（），括号里面的只能为定值，不能是
xiaoyaoyujh·2023-04-16 13:17

dolphinscheduler之hivecli 任务

hivecli任务Hivecli任务说明dolphinscheduler的hivecli任务是专门执行hivesql的任务类型。其中子类型分为FROM_SCRIPT和FROM_FILE。
神云瑟瑟·2023-04-16 03:51

大数据=SQL Boy,SQL Debug打破SQL Boy 的僵局

网上经常盛传大数据=sqlboy，后端开发=crudboy，算法工程师=调参boy在大数据领域也工作了好几年了，确实大数据开发，很多工作就是写sql，hivesql、sparksql、flinksql等等
诸葛子房_·2023-04-14 18:36

hive select * 语法中去掉部分列

应用场景hive表有很多列，大部分列需要，其中一列不需要，例如分区表的dt字段不要，例如1000列中去掉1列实现方法1.方法hivesql：实现功能select`(dt)?+.
*星星之火*·2023-04-14 03:22

滴滴三面面经JAVA面经

算法一个二叉树给一个target，找到所有sum==target的路径7.Linux命令,各种操作命令，没用过的话还真说不出来8.MapReduce原理9.Spark优化10.数据处理，数据优化，比如hivesql
程序员七十一·2023-04-13 22:34

Hive实战篇-动态分区导致小文件过多

一、问题描述为了支撑相应的业务需求，本次生产环境通过HiveSQL来完成动态插入分区表数据的脚本开发。但是，动态分区的插入往往会伴随产生大量的小文件的发生。
在路上的小苑·2023-04-13 18:45

HiveSQL一天一个小技巧：如何统计当前时间点状态情况【辅助变量+累计变换思路】

入住时间加辅助标记记为1，离店时间加辅助标记记为-1，并按照时间进行顺序排序，求当前累计值，具体SQL如下：参考文章：SQL同时在线问题分析（求最高在线人数以及最高峰时间段）【累加器思想，流式分析】--HiveSql
莫叫石榴姐·2023-04-12 19:57

Hive 自定义UDF函数讲解

需求3.2项目pom文件3.3Hive建表测试及数据3.4UDF函数编写3.5UDTF函数编写四：添加到hive一、UDF描述UDF全称为User-DefinedFunctions,即用户自定义函数，在HiveSQL
冷艳无情的小妈·2023-04-12 15:02

flink sql 知其所以然：flink sql 开发企业级利器之 Dlink

搞大数据开发的同学基本都知道在HUE上面写hivesql贼爽。那么有没有写flinksql的企业级的webIDE推荐的呢？经过博
javastart·2023-04-08 20:40

用AI找答案：hivesql中set可以设置哪些参数

hivesql中set可以设置哪些参数AI:在HiveQL中，SET命令可以用于设置以下参数：hive.execution.engine：指定Hive的执行引擎，包括MapReduce、Tez、Spark
Redamancy_06·2023-04-08 09:18

hiveSQL开窗函数详解

hive开窗函数文章目录hive开窗函数1.开窗函数概述1.1窗口函数分类1.2窗口函数和普通聚合函数的区别2.窗口函数的基本用法2.1基本用法2.2设置窗口的方法2.2.1window_name2.2.2partitionby2.2.3orderby子句2.2.4rows指定窗口大小窗口框架2.3开窗函数中加orderby和不加orderby的区别3.窗口函数用法举例3.1序号函数：row_nu
健鑫.·2023-04-08 08:26

HQL （hive sql）之函数总结

HQL（hivesql）之函数总结1.背景作为操作hive客户端的编程语言，hql有自己的数据类型，自然也有编译器，也有函数。
闻香识代码·2023-04-06 19:09

HQL(Hive SQL) 之查询语句专题汇总

HQL(HiveSQL)之查询语句专题汇总1.背景hive本身是一个将sql语句转换为mapreduce程序运行的转换器hive可以把结构化数据转换到一张表上，并提供查询和分析的功能针对这个过程，hive
闻香识代码·2023-04-06 19:39

大数据 Apache Hive SQL基础（HQL 入门篇）

HiveSQL几乎是每一位互联网分析师的必备技能，相信每一位面试过大厂的童鞋都有被面试官问到Hive优化问题的经历。
Wis57·2023-04-06 18:20

Spark sql 实战案例

1、sparksql操作hivesql添加依赖org.apache.sparkspark-hive_2.112.3.3代码开发importorg.apache.spark.sql.SparkSession
TUJC·2023-04-05 22:35

Mysql查询+hiveSQL查询+SparkSQL查询对比(个人总结)

而hiveSQL和sparkSQL的查询不存在这种问题，计算完成后的数据都是分布式存储的。
Be An Author·2023-04-05 01:29
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他