E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
HiveSQL
hivesql
练习3
--源表name,subjectid,age,score张三,0001,22,45张三,0002,22,56李四,0002,18,88赵五,0002,24,66--目标表(科目0001没有成绩的学生name和age)name,age李四,18赵五,24createtablescore_t(namestring,subjectidstring,agestring,scorestring)ROWFOR
小涛手记
·
2024-08-31 17:54
hive
hive
sql
大数据
hivesql
练习
源表:province,province_id,city,city_id,area,area_id甘肃省,11,张掖市,21,甘州区,31甘肃省,11,张掖市,21,山丹县,32甘肃省,11,张掖市,21,高台县,33甘肃省,11,兰州市,22,七里河,34甘肃省,11,兰州市,22,新区,35北京,12,北京,12,海淀区,36北京,12,北京,12,昌平区,37目标表:+------+----
小涛手记
·
2024-08-31 17:54
hive
hive
sql
linux下hive指令快使用无介绍版(一)
问题背景平常项目基本都是直接在代码里面执行
hiveSql
,在linux下操作hive的指令总是忘记,基于此基础,写一个快速使用版的注意事项:默认已安装hive,并配置环境变量语句结尾的分号不能少,这是语法
时间是一种毒药
·
2024-08-24 17:00
HiveSQL
常见函数及使用方法(含代码示例)
HiveSQL
(
HiveSQL
)是ApacheHive所使用的SQL方言,专门用于在Hadoop上进行大规模数据处理。以下是一些常见的
HiveSQL
函数及其使用方法:1.聚合函数COUNT统计记录数。
会飞的岛格酱
·
2024-08-21 21:31
SQL代码练习
hive
sql
数据分析
hive sql实现查找商品表名称中包含敏感词的商品
背景用户上传的商品表一般会包含商品名称,由于这些商品名称是用户自己起的,里面可能包含了敏感词,需要通过sql找出来哪些商品的商品名称包含了敏感词汇
hivesql
实现查找商品表名称中包含敏感词的商品实现思路
lixia0417mul2
·
2024-03-24 03:50
大数据
hive
sql
hadoop
HiveSQL
某天每个直播间最大在线人数
一张表dwd_user_log有如下字段:1)直播间:live_id2)用户:userid3)时间戳:date_stamp4)登陆类型:entry_type(登入in和登出out)求某天每个直播间最大在线人数?selectlive_id,max(total_users)max_total_usersfrom(selectlive_id,userid,date_stamp,sum(ind)over(
sofo2017
·
2024-03-09 21:51
数据仓库技术体系
hive
Hive SQL 开发指南(三)优化及常见异常
在大数据领域,
HiveSQL
是一种常用的查询语言,用于在Hadoop上进行数据分析和处理。为了确保代码的可读性、维护性和性能,制定一套规范化的
HiveSQL
开发规范至关重要。
大数据_苡~
·
2024-03-09 14:13
003-数据开发
hive
Hive优化
数据倾斜
Hive常见异常
hive
join
Hive SQL——group by函数的注意点
HiveSQL
的groupby对比MySQL,有一个让我特别不能接受的原则:select后面所有的列中,没有使用聚合函数的列,必须出现在groupby子句中。
xia ge tou lia
·
2024-02-20 10:16
Hive
数据库
HiveSQL
——统计当前时间段的有客人在住的房间数量
注:参考文章:
HiveSQL
一天一个小技巧:如何统计当前时间点状态情况【辅助变量+累计变换思路】_sql查询统计某状态出现的次数及累计时间-CSDN博客文章浏览阅读2k次,点赞6次,收藏8次。
爱吃辣条byte
·
2024-02-20 09:42
hive
数据仓库
Hive调优——explain执行计划
一、explain查询计划概述explain将
HiveSQL
语句的实现步骤、依赖关系进行解析,帮助用户理解一条HQL语句在底层是如何实现数据的查询及处理,通过分析执行计划来达到Hive调优,数据倾斜排查等目的
爱吃辣条byte
·
2024-02-13 07:10
#
Hive
大数据
数据仓库
HiveSQL
——用户行为路径分析
注:参考文档:SQL之用户行为路径分析--HQL面试题46【拼多多面试题】_路径分析sql-CSDN博客文章浏览阅读2k次,点赞6次,收藏19次。目录0问题描述1数据分析2小结0问题描述已知用户行为表tracking_log,大概字段有:(user_id用户编号,op_id操作编号,op_time操作时间)要求:(1)统计每天符合以下条件的用户数:A操作之后是B操作,AB操作必须相邻。(2)统计用
爱吃辣条byte
·
2024-02-11 16:22
#
HIve
SQL
数据仓库
大数据
Hive与ClickHouse的区别
并对外提供统一的
HiveSQL
接口,将用户提交的SQL翻译为对应的Ma
晓之以理的喵~~
·
2024-02-11 08:18
Hadoop
大数据
hive
hive
clickhouse
hadoop
大数据测试-Hive DML语句与函数使用2
一、HiveSQLDML语法之加载数据
HiveSQL
-DML-Load加载数据回顾在Hive中建表成功之后,就会在HDFS上创建一个与之对应的文件夹,且文件夹名字就是表名;文件夹父路径是由参数hive.metastore.warehouse.dir
Yasar.l
·
2024-02-10 22:55
大数据测试
hive
大数据
hadoop
HiveSql
面试题10--sum(if)统计问题
目录0需求分析1需求实现2小结0需求分析t_order表结构字段名含义oid订单编号uid用户idotime订单时间(yyyy-MM-dd)oamount订单金额(元)所有在2018年1月下过单并且在2月没有下过单的用户,在3月份的下单情况:目标字段名含义uid用户idbig_order_count当月订单金额超过10元的订单个数first_order_amount当月首次下单金额last_ord
莫叫石榴姐
·
2024-02-10 21:45
sql
SQLBOY1000题
HiveSql面试题
hive
数据分析
HiveQL——不借助任何外表,产生连续数值
注:参考文章:
HiveSql
一天一个小技巧:如何不借助其他任何外表,产生连续数值_hive生成连续数字-CSDN博客文章浏览阅读1.3k次。
爱吃辣条byte
·
2024-02-10 21:44
#
HIve
SQL
大数据
数据仓库
HiveSQL
——连续增长问题
注:参考文章:SQL连续增长问题--HQL面试题35_sql判断一个列是否连续增长-CSDN博客文章浏览阅读2.6k次,点赞6次,收藏30次。目录0需求分析1数据准备3小结0需求分析假设我们有一张订单表shop_ordershop_id,order_id,order_time,order_amt我们需要计算过去至少3天销售金额连续增长的商户shop_id。数据如下:shop_idorder_amt
爱吃辣条byte
·
2024-02-10 21:44
#
HIve
SQL
大数据
数据仓库
HiveSQL
——不使用union all的情况下进行列转行
参考文章:
HiveSql
一天一个小技巧:如何不使用unionall进行列转行_不unionall-CSDN博客文章浏览阅读881次,点赞5次,收藏10次。
爱吃辣条byte
·
2024-02-10 21:14
#
HIve
SQL
大数据
数据仓库
HiveSQL
——sum(if()) 条件累加
注:参考文章:
HiveSql
面试题10--sum(if)统计问题_hivesumif-CSDN博客文章浏览阅读5.8k次,点赞6次,收藏19次。
爱吃辣条byte
·
2024-02-10 21:13
#
HIve
SQL
大数据
数据仓库
HiveSQL
——共同使用ip的用户检测问题【自关联问题】
注:参考文章:SQL之共同使用ip用户检测问题【自关联问题】-HQL面试题48【拼多多面试题】_
hivesql
自关联-CSDN博客文章浏览阅读810次。
爱吃辣条byte
·
2024-02-10 06:31
#
HIve
SQL
大数据
数据仓库
HiveSQL
——用户中两人一定认识的组合数
注:参考文章:SQL之用户中两人一定认识的组合数--HQL面试题36【快手数仓面试题】_sql面试题-快手-CSDN博客文章浏览阅读1.2k次,点赞3次,收藏12次。目录0需求分析1数据准备2数据分析3小结0需求分析设表名:table0现有城市网吧访问数据,字段:网吧id,访客id(身份证号),上线时间,下线时间规则1、如果有两个用户在一家网吧的前后上下线时间在10分钟以内,则两人可能认识规则2、
爱吃辣条byte
·
2024-02-10 01:52
#
HIve
SQL
大数据
数据仓库
SQL条件判断语句嵌套window子句的应用【易错点】--
HiveSql
面试题25
目录0需求分析1数据准备3数据分析4小结0需求分析需求:表如下user_idgood_namegoods_typerk1hadoop1011hive1221sqoop2631hbase1041spark1351flink2661kafka1471oozie108以上数据中,goods_type列,假设26代表是广告,现在有个需求,想获取每个用户每次搜索下非广告类型的商品位置自然排序,如果下效果:u
莫叫石榴姐
·
2024-02-09 06:00
SQLBOY1000题
sql
HiveSql面试题
sql
HiveSQL
——条件判断语句嵌套windows子句的应用
注:参考文章:SQL条件判断语句嵌套window子句的应用【易错点】--
HiveSql
面试题25_sql剁成嵌套判断-CSDN博客文章浏览阅读920次,点赞4次,收藏4次。
爱吃辣条byte
·
2024-02-09 06:58
#
HIve
SQL
大数据
数据仓库
HiveSQL
——借助聚合函数与case when行转列
一、条件函数if条件函数if函数是最常用到的条件函数,其写法是if(x=n,a,b),x=n代表判断条件,如果x=n时,那么结果返回a,否则返回b。selectif(age=20andage=25then'25岁及以上'else'其他'endasage_cutfromtable1;二、运用案例2.1行转列问题描述数据准备createtableifnotexiststest(col1stringco
爱吃辣条byte
·
2024-02-07 23:27
#
HIve
SQL
大数据
数据仓库
HiveSQL
——求解去除最大最小值后的平均薪水
0问题描述薪水表中是员工薪水的基本信息,包括雇员编号,部门编号和薪水第1行表示雇员编号为10001的员工在1号部门,薪水为60117元;第2行表示雇员编号为10002的员工在2号部门,薪水为92102元;...第10行表示雇员编号为10010的员工在1号部门,薪水为76884元问题:查询每个部门除去最高、最低薪水后的平均水平,并保留整数1数据准备createtableifnotexistssala
爱吃辣条byte
·
2024-02-07 23:26
#
HIve
SQL
大数据
数据仓库
HiveSQL
——设计一张最近180天的注册、活跃留存表
0问题描述现有一个用户活跃表user_active(user_id,active_date)、用户注册表user_regist(user_id,regist_date),表中分区字段都为dt(yyyy-MM-dd),用户字段均为user_id;设计一张1-180天的注册活跃留存表;表结构如下:1数据分析完整的代码如下:selectregist_date,diff,active_user_cnt,c
爱吃辣条byte
·
2024-02-07 08:54
#
HIve
SQL
大数据
数据仓库
海豚dolphinscheduler-shell 执行
hivesql
任务 Permission denied 异常
一、dolphinscheduler执行shell处理hsql任务时出现没有访问权限关键异常:/tmp/dolphinscheduler/hive.log(Permissiondenied)java.io.FileNotFoundException:/tmp/dolphinscheduler/hive.log(Permissiondenied)异常明细:[INFO]2023-04-2011:09:
潘永青
·
2024-02-05 10:58
log4j
apache
java
HiveSQL
题——collect_set()/collect_list()聚合函数
一、collect_set()/collect_list()介绍collect_set()函数与collect_list()函数属于高级聚合函数(行转列),将分组中的某列转换成一个数组返回,常与concat_ws()函数连用实现字段拼接效果。collect_list:收集并形成list集合,结果不去重collect_set:收集并形成set集合,结果去重二、collect_set()/collec
爱吃辣条byte
·
2024-02-04 10:38
HIve
SQL
大数据
数据仓库
hive
hiveSQL
计算有效工作日核心思路
hiveSQL
计算有效工作日核心思路SQL计算是否工作日SQL计算当天是否工作日,如果不是下个工作日是哪天SQL计算工作日之间的有效工作天数
weixin_44988612
·
2024-02-04 07:20
大数据
sql
hive
2019-10-08 大数据开发进阶之路
市场需要的水平熟练掌握Linux、SQL与
HiveSQL
掌握Hadoop生态主流技术,如HDFS/MapRedunce/Yarn/HBase/Flume等掌握Spark生态核心技术,如Spark架构/RDD
红瓦李
·
2024-02-03 20:39
hivesql
的基础知识点
目录一、各数据类型的基础知识点1.1数值类型整数小数floatdouble(常用)decimal(针对高精度)1.2日期类型datedatetimetimestamptimeyear1.3字符串类型charvarchar/varchar2blob/texttinyblob/tinytextmediumblob/mediumtextlongblob/longtextstring(常用)二、Hive中
爱吃辣条byte
·
2024-02-03 13:18
Hive
大数据
数据仓库
hive
2019-03-16 Spark基本架构及运行原理
SparkSQL:Spark处理结构化数据的库,就像
HiveSQL
,Mysql一样,企业中用来做报表统计。SparkStreaming:实时数据流处理组件,类似Storm。
做一只乐观的小猴子
·
2024-02-03 02:04
HiveSQL
题——炸裂函数(explode/posexplode)
目录一、炸裂函数的知识点1.1炸裂函数explodeposexplode1.2lateralview侧写视图二、实际案例2.1每个学生及其成绩0问题描述1数据准备2数据分析3小结2.2日期交叉问题0问题描述1数据准备2数据分析3小结2.3用户消费金额0问题描述1数据准备2数据分析3小结一、炸裂函数的知识点炸裂函数(一行变多行)本质属于UDTF函数(接收一行数据,输出一行或者多行数据)。1.1炸裂函
爱吃辣条byte
·
2024-02-01 07:48
Hive
数据仓库
大数据
hive
HiveSQL
题——互相关注(共同好友)
0问题描述社交软件上如何判断自己关注的博主是否也关注了自己呢?现在有一张表为fans(粉丝表),表中有两个字段from_user,to_user,如果两者一致代表from_user关注了to_user。1数据准备createtableifnotexiststable15(from_userstringcomment'关注用户',to_userstringcomment'被关注用户',`timest
爱吃辣条byte
·
2024-02-01 07:48
Hive
数据仓库
大数据
hive
HiveSQL
题——array_contains函数
目录一、原创文章被引用次数0问题描述1数据准备2数据分析编辑3小结二、学生退费人数0问题描述1数据准备2数据分析3小结一、原创文章被引用次数0问题描述求原创文章被引用的次数,注意本题不能用关联的形式求解。1数据准备id表示文章id,oid引用的文章,当oid为0时表示当前文章为原创文章。createtableifnotexiststable18(idintcomment'文章id',oidintc
爱吃辣条byte
·
2024-02-01 07:48
Hive
数据仓库
大数据
hive
HiveSQL
题——数据炸裂和数据合并
目录一、数据炸裂0问题描述1数据准备2数据分析3小结二、数据合并0问题描述1数据准备2数据分析3小结一、数据炸裂0问题描述如何将字符串1-5,16,11-13,9"扩展成"1,2,3,4,5,16,11,12,13,9"且顺序不变。1数据准备withdataas(select'1-5,16,11-13,9'asa)2数据分析步骤一:explode(split(a,','))炸裂+row_numbe
爱吃辣条byte
·
2024-02-01 07:45
Hive
大数据
数据仓库
hive
Hive简介
总结以后只要写
HiveSQL
语法就可以了,Hive会将其自动转成MR任务,交由Yarn
t_813
·
2024-01-31 22:03
hive
hadoop
数据仓库
【Hive-基础】
HiveSql
连接查询【inner join、left join、right join、full join、union all、union】
【Hive-基础】
HiveSql
连接查询【innerjoin、leftjoin、rightjoin、fulljoin、unionall、union】1)innerjoin2)leftjoin、rightjoin3
bmyyyyyy
·
2024-01-31 15:01
OLAP
hive
hadoop
数据仓库
#hive关联查询
HiveSQL
题——聚合函数(sum/count/max/min/avg)
目录一、窗口函数的知识点1.1窗户函数的定义1.2窗户函数的语法1.3窗口函数分类聚合函数排序函数前后函数头尾函数1.4聚合函数二、实际案例2.1每个用户累积访问次数0问题描述1数据准备2数据分析3小结2.2各直播间最大的同时在线人数0问题描述1数据准备2数据分析3小结2.3历史至今每个小时内同时在线人数0问题描述1数据准备2数据分析3小结2.4某个时间段、每个小时内同时在线人数0问题描述1数据准
爱吃辣条byte
·
2024-01-31 07:58
大数据
数据仓库
hive
二百二十一、
HiveSQL
报错:return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
一、目的在运行
HiveSQL
时,执行报错tatement:FAILED:ExecutionError,returncode2fromorg.apache.hadoop.hive.ql.exec.mr.MapRedTask
天地风雷水火山泽
·
2024-01-31 06:48
Hive
hive
【hive】相关性函数进行相关性分析
文章目录CORRCOVAR_POPCOVAR_SAMPSTDDEV_POPSTDDEV_SAMP在
HiveSQL
中,使用类似的相关性函数进行相关性分析。
言之。
·
2024-01-30 20:12
hive
flink sql 知其所以然(十六):flink sql 开发企业级利器之 Dlink
搞大数据开发的同学基本都知道在HUE上面写
hivesql
贼爽。那么有没有写flinksql的企业级的webIDE推荐的呢?
大数据羊说
·
2024-01-30 11:06
Apache
Flink
实时计算
Flink
SQL
flink
sql
hive
HiveSQL
题——窗口函数(lag/lead)
目录一、窗口函数的知识点1.1窗户函数的定义1.2窗户函数的语法1.3窗口函数分类1.4前后函数:lag/lead二、实际案例2.1股票的波峰波谷0问题描述1数据准备2数据分析3小结2.2前后列转换(面试题)0问题描述1数据准备2数据分析3小结一、窗口函数的知识点1.1窗户函数的定义窗口函数可以拆分为【窗口+函数】。窗口函数官网指路:LanguageManualWindowingAndAnalyt
爱吃辣条byte
·
2024-01-30 07:42
Hive
大数据
数据仓库
hive
HiveSQL
题——排序函数(row_number/rank/dense_rank)
一、窗口函数的知识点1.1窗户函数的定义窗口函数可以拆分为【窗口+函数】。窗口函数官网指路:LanguageManualWindowingAndAnalytics-ApacheHive-ApacheSoftwareFoundationhttps://cwiki.apache.org/confluence/display/Hive/LanguageManual%20WindowingAndAnaly
爱吃辣条byte
·
2024-01-30 07:40
Hive
大数据
数据仓库
hive
HiveSQL
题——用户连续登陆
目录一、连续登陆1.1连续登陆3天以上的用户0问题描述1数据准备2数据分析3小结1.2每个用户历史至今连续登录的最大天数0问题描述1数据准备2数据分析3小结1.3每个用户连续登录的最大天数(间断也算)0问题描述1数据准备2数据分析3小结一、连续登陆1.1连续登陆3天以上的用户0问题描述查询连续登陆3天以上的用户(字节面试题)1数据准备createtableifnotexiststable1(idi
爱吃辣条byte
·
2024-01-28 23:09
Hive
数据仓库
大数据
sql
1分钟了解基于Hadoop的数据仓库工具Hive(附超实用示例)
Hadoop分布式文件系统中的数据:可以将结构化的数据文件映射为一张数据库表,并提供完整的SQL查询功能;可以将SQL语句转换为MapReduce任务运行,通过自己的SQL查询分析需要的内容,这套SQL简称
HiveSQL
yuyuyuyo
·
2024-01-27 05:53
HiveSQL
:gouping sets
https://blog.csdn.net/MOUNINGA/article/details/99408470?utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7Edefault-6.baidujsUnder6&depth_1-utm_source=distribute.pc_r
木亦木木兮_0432
·
2024-01-26 17:14
大厂大数据面试题收录(1)
8.
Hivesql
到MapReduce转化的流程清楚吗?
后季暖
·
2024-01-23 11:49
java
开发语言
Apache Hive(二)
一、ApacheHive1、HiveSQLDML语法之加载数据2、HiveSQLDML语法之查询数据3、HiveSQLJoin关联查询4、
HiveSQL
中的函数使用数据仓库&ApacheHive请记住,
杀神lwz
·
2024-01-22 09:16
数据分析
大数据
apache
hive
hadoop
hive sql转换成MR任务过程
hivesql
转换成MR任务过程1)用户接口:ClientCLI(command-lineinterface)、JDBC/ODBC(jdbc访问hive)、WEBUI(浏览器访问hive)2)元数据:Metastore
上官沐雪
·
2024-01-22 08:08
hive
hive
MySQL去重3种方法,还有谁不会?
在MySQL中通常是使用distinct或groupby子句,但在支持窗口函数的sql(如
HiveSQL
、Oracle等等)中还可以使用row_number窗口函数进行去重。
程序员大咖
·
2024-01-22 07:58
mysql
数据库
oracle
sql
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他