hive-sql

Hive-SQL语法大全

HiveSQL语法大全基于语法描述说明CREATEDATABASE[IFNOTEXISTS]db_name[LOCATION]'path';SELECTexpr,...FROMtblORDERBYcol_name[ASC|DESC](A|B|C)如上语法，在语法描述中出现：[]，表示可选，如上[LOCATION]表示可写、可不写|，表示或，如上ASC|DESC，表示二选一…，表示序列，即未完结，如
S1406793·2024-01-21 08:20

Hive基础知识（十六）：Hive-SQL分区表使用与优化

1.分区表分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。在查询时通过WHERE子句中的表达式选择查询所需要的指定的分区，这样的查询效率会提高很多。2.分区表基本操作1）引入分区表（需要根据日期对日志进行管理,通过部门信息模拟）2）创建分区表语法hive(hive3)>create
依晴无旧·2024-01-16 05:11

某大厂大数据开发-外包面试

笔试题：hive-sql一个表tbl:c_idu_idscore用SQL计算每个班级top5学生的平均分表A（uid,bid)，uid代表：用户idbid代表：uid关注的用户id表数据示例：uidbid12
劝学-大数据·2024-01-09 06:42

Hive-SQL工作中常用函数总结及案例实战

目录0引言1空字段赋值2时间类3条件判断4多行转一行（行转列）5一行变多行（列转行）6窗口函数7排名函数8json解析函数9url解析函数10小结0引言本文针对hive进行数据分析时总结了工作中常用的查询函数及分析函数，并对每种函数的用法进行总结赋予案例，每种案例都具有详细的解释。文章主要以实践为主，紧紧围绕工作中常用的一些函数进行总结，更注重对函数的使用方法进行分析，其后的案例读者可自行尝试学习
莫叫石榴姐·2023-12-20 09:16

Hive-SQL语法大全

HiveSQL语法大全基于语法描述说明CREATEDATABASE[IFNOTEXISTS]db_name[LOCATION]'path';SELECTexpr,...FROMtblORDERBYcol_name[ASC|DESC](A|B|C)如上语法，在语法描述中出现：[]，表示可选，如上[LOCATION]表示可写、可不写|，表示或，如上ASC|DESC，表示二选一…，表示序列，即未完结，如
黑马程序员官方·2023-12-20 09:16

【Hive-Sql】Hive 处理 13 位时间戳得到年月日时分秒（北京时间）

【Hive-Sql】Hive处理13位时间戳得到年月日时分秒（北京时间）1）需求2）实现1）需求使用Hive自带函数将13位时间戳转成年月日时分秒（北京时间），格式样例：‘2023-01-1312:23
bmyyyyyy·2023-12-20 09:45

2023.12.3 hive-sql日期函数小练习

目录时间函数练习时间戳周,季度等计算获取日期相关获取当前时间时间函数练习--日期函数练习,sub是英文subtraction减法的简写,add是英文addition加法的简写--获取今天是本周的第几天selectdayofweek('2023-12-3');--周日为一周的第一天selectcurrent_timestamp;--获取当前时间戳selectdate_sub(current_time
白白的wj·2023-12-04 05:33

Hive-sql切割字符串法(列转行)

selectid,namefrom(select1asid,'1,2,3,4'asname)aLATERALVIEWexplode(split(name,','))tempasname
小陈菜奈-·2023-12-02 07:07

机器学习-sklearn-多项式回归-对函数拟合-看学习曲线（均方误差MSE）-pipeline

Hive-SQL取一个月用户留存率、留存用户数_lanston别熬夜了的博客-CSDN博客可以用到sklearn-库中的pipeline库进行多项式回归预测，此类预测还可用与一些有趋势的线性或非线性预测
lanston别熬夜了·2023-11-20 01:07

Oracle-SQL转换为Hive-SQL

Oracle-SQL转换为Hive-SQLOracle-SQL转换为Hive-SQL工具类工具类名：OracleToHiveSqlUtilpackagecom.example.demotest.util
王林-wlin·2023-11-15 03:41

Hive-SQL学习笔记

HIVE-SQLDDL（DataDefinationLanguage）DML（Datamanipulationlanguage）DQL（dataquerylanguage）Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据表，并提供类似于SQL(HiveSQL)的操作功能。在Hive中，本质上是将SQL转换成为MapReduce程序。Hive的基本操作与传统的数据库
Sais_Z·2023-10-16 06:00

hive-sql简单查询之select语句

文章目录1准备数据2取出所有行和列3限制返回行数4选取指定的列5重命名列6单行注释7distinct去重8groupby去重select语句是最基本最常用的sql语句，也非常简单。1准备数据运行下面代码，在test数据库，新建一个test_zw表，并插入几条测试数据。droptableifexiststest.test_zw;CREATETABLEifnotexiststest.test_zw(n
安奇999·2023-09-30 05:18

hive-sql保留n位小数

hive保留4位小数的几种方法。同时求助计算结果小数位数少于4位时，可以在结尾补0的方法。1.四舍五入（1）round(待转换结果,n)n:保留小数位数缺点：round有时会将计算结果展示成科学计数法。会有精度丢失现象，产生奇怪的结果。其他：当待转换结果为浮点型时，整数结果末尾会显示.0。selectround(1.2345678,4)asnum;--结果：1.2346selectround(1*
兰泽S·2023-09-16 18:24

【Hive-SQL】Hive Select 选择语句排除一列或多列

查看除了sample_date以外的所有字段信息sethive.support.quoted.identifiers=none;select`(sample_date)?+.+`from`test`.`table`wheresample_date='20230713';查看除了sample_date和msgtype以外的所有字段信息sethive.support.quoted.identifier
bmyyyyyy·2023-09-06 17:40

hive-sql

hive-常用SQL汇总查看数据库--查看所有的数据库showdatabases;使用默认的库--下面的语句可以查看默认的库usedefault;查看某个库下的表--查看所有的表showtables;--查看包含stu的表，这种是通配的方法来查看showtableslike'*stu*';查看建表语句--查看某个表的建表语句这个语句可以看到表的存储方式，存储HDFS目录showcreatetabl
继春·2023-08-23 05:40

用python脚本来提高工作效率

自己在工作中使用的最多的就是Hive-SQL查询语句，很多时候，每天的运行的SQL语句只需要改个日期即可。
鬼宇书生·2023-08-02 01:35

Hive从入门到放弃——Hive常用连接工具推荐（三）

前言  Hive成功安装后，如果有权限登录集群内部，直接在集群的shell的下输入hive进入hive的shell环境，如图1，在该环境下执行hive-sql，自然是最稳定，也是初学者必走的一步；但是对于工作量大的项目者
╭⌒若隐_RowYet——大数据·2023-04-11 19:14

Spark参数配置和调优，Spark-SQL、Config

一、Hive-SQL/Spark-SQL参数配置和调优#设置计算引擎sethive.execution.engine=spark;#设置spark提交模式setspark.master=yarn-cluster
Just Jump·2023-04-09 02:55

springboot mybatis和spark-sql、SDB对接

springbootmybatis和spark-sql对接本次将在已经部署了spark、hive和SequoiaDB的环境中，通过实验来实现springboot、mybatis框架与spark-sql的整合，通过hive-sql
YauChungYin·2023-03-22 12:02

【数据库】HIVE SQL与SQL的区别

总体一致：Hive-sql与SQL基本上一样，因为当初的设计目的，就是让会SQL不会编程MapReduce的也能使用Hadoop进行处理数据。因此，大胆使用SQL的，如果遇到不对的，再查。
MichalLiu·2023-01-28 18:06

hive-sql学习及笔记

hive笔记hive-site.xml配置文件javax.jdo.option.ConnectionURLjdbc:mysql://hadoop100:3306/metastore?createDatabaseIfNotExist=trueJDBCconnectstringforaJDBCmetastorejavax.jdo.option.ConnectionDriverNamecom.mysql
Firewine·2023-01-07 13:26

Hive-SQL -DDL操作

Hive-SQL-DDL操作用到的数据我会打包上传，放到本文末尾一、创建数据库1.创建数据库语句CREATEDATABASE[IFNOTEXISTS]database_name[COMMENTdatabase_comment][LOCATIONhdfs_path][WITHDBPROPERTIES(property_name=property_value,...)];2.数据库创建举例2.1创建一
十下·2022-11-08 10:11

金三银四——大数据/Java面试集锦

下列文章链接请阅读：《金三银四——面试集锦》高级大数据研发工程师面试题总结海量大数据处理面试题和思路总结大数据之数据仓库面试题一文概览数据仓库知识和面试数仓相关面试题经典的SparkSQL/Hive-SQL
大数据学习与分享·2022-09-08 10:35

HIVE-SQL基础面试题（很多基础写不出来）

题1：编写SQL拉取存在连续4天的用户数据源表：active_info字段：userid（用户id），ftime（活跃日期）字段样例：user_idftime1232022-07-102342022-07-12SOL返回字段：userid答案selectdistinctuseridfrom(--添加排序序号selectuserid,row_numberover(partitionbyuserido
me_to_007·2022-08-15 07:16

Hive-sql连续登陆问题

在写sql语句的人经常会遇到这么一种情况:求连续登陆的这一批用户。遇到这样的问题,可能会比较棘手,现在跟着我动手写一遍,看下如何求连续登陆的问题。需求是:求出连续登陆3天的这一批用户思路:首先通过窗口函数rownumber,根据user_id字段进行分区,按照login_date进行排序,窗口函数这一列起个别名为rk。接着通过sub函数将login_date减去rk,得到一个新的日期。接着对use
梦里Coding·2022-02-28 11:39

Hive-SQL查询连续活跃登录用户思路详解

连续活跃登陆的用户指至少连续2天都活跃登录的用户解决类似场景的问题创建数据CREATETABLEtest5active(dtstring,user_idstring,ageint)ROWformatdelimitedfieldsterminatedBY',';INSERTINTOTABLEtest5activeVALUES('2019-02-11','user_1',23),('2019-02-1
·2021-12-19 13:02

阿里云-centos7-单机安装部署zookeeper+Hadoop+mysql+Hive以及服务端hive-sql测试+增加window客户端squirrel连接hive-执行sql操作内容、...

环境信息-购买操作系统选择centos7（7的任何一个版本都可以），如果选错了可以在阿里云管理面板的-更多--云盘和镜像--更换操作系统。image.png在阿里云购买ecs-购买后机器网卡环境(2G内存不够，选择更大的内存机器)：公网IP-8.134.80.143、内网IP-172.30.40.95设置阿里云端口映射：开放3个端口50070：hdfs管理端口8088:yarn管理端口3306:m
georgekaren·2021-06-27 05:57

hive学习笔记10

因此要采用hive-sql的处理方法，直接读取后就是结果，无需再次预处理，节省时间。
VideoRec·2021-03-12 14:35

spark-sql(不包含hive-sql)查询编程

spark-sql(不包含hive-sql)查询编程//1：将json格式的数据转化为dataFramevaldf=sqlContext.read.json("hdfs://localhost:9000
jacksoom·2020-09-15 02:38

Hive-SQL获取1~N连续数字序列列表（不用循环，用笛卡尔积）

WITHDigitsAS(SELECT0ASNumberUNIONSELECT1UNIONSELECT2UNIONSELECT3UNIONSELECT4UNIONSELECT5UNIONSELECT6UNIONSELECT7UNIONSELECT8UNIONSELECT9)SELECTchapterFROM(SELECT(d4.Number*10000)+(d3.Number*1000)+(d2.
H_X_P·2020-09-10 23:46

Hive-Sql内实现日期变量

目前的工作需要在公司平台上通过hive导出数据，定时任务的权限没有开放给我，所以只能每天手动导，手动导数时又要天天手工改日期，很麻烦，所以想要where子句能够每天自动有对应的日期。以上是前提，有太多槽点，请忽略。首先，要思考的是日期字段的数据类型，以及hive是否也有隐式转换参考这篇文章HIVE数据类型转换bltinyintsiintbigintfloatdoubledmstringvctsda
等风来ing·2020-08-18 17:33

hive-sql练习题

数据准备：name，orderdate，costjack,2017-01-01,10tony,2017-01-02,15jack,2017-02-03,23tony,2017-01-04,29jack,2017-01-05,46jack,2017-04-06,42tony,2017-01-07,50jack,2017-01-08,55mart,2017-04-08,62mart,2017-04-0
Knight_AL·2020-08-10 00:30

Hive-SQL基础练习一

文章目录练习一练习二练习一有如下的用户访问数据table_name：actionuserId(string),visitDate(string),visitCount(int)用户ID访问时间访问次数userid|visitdate|visitcount|------|---------|----------|u01|2017/1/21|5|u02|2017/1/23|6|u03|2017/1/2
Demik·2020-08-09 17:06

Hive-sql与SQL的区别

总体一致：Hive-sql与SQL基本上一样，因为当初的设计目的，就是让会SQL不会编程MapReduce的也能使用Hadoop进行处理数据。因此，大胆使用SQL的，如果遇到不对的，再查。
我叫曾小牛·2020-07-29 02:23

Hive-sql对IFNULL()函数的替换

mysql里的函数：1.LEFT()函数是一个字符串函数，它返回具有指定长度的字符串的左边部分。LEFT(Str,length);LEFT(“1234”,2)接收两个参数：str：一个字符串；length：想要截取的长度，是一个正整数；2.IFNULL()函数用于判断第一个表达式是否为NULL，如果为NULL则返回第二个参数的值，如果不为NULL则返回第一个参数的值。注：mysql里的IFNULL
学海无涯2.0·2020-07-15 16:49

hive-sql截取汉字、字母和数字等

前几天新接到需求，要求截取字段里的汉字，截取字母、数字、特殊字符都简单，但是截取汉字的还是第一次遇见，查到汉字的编码，实验截取，在这里把代码发下，以备有需要的小伙伴使用。在查询字段中截取汉字、字母和数字等代码如下：regexp_extract(label,'([\\u4E00-\\u9FA5]+)',1)windows下的截取汉字regexp_extract(label,'([\\\u4E00-\
学海无涯2.0·2020-07-15 16:49

hive-sql语句对in和not in的替换

对于hive-sql里的子查询不支持notin或in,目前测试，应该是一个hive语句里只能支持一个notin或in语句，多了不支持，对notin的替换用leftjoinid(关联字段)isnull,in
学海无涯2.0·2020-07-15 16:49

Hive-Sql分析函数汇总

目录0引言1.聚合分析函数2.排名分析函数3.数学分析函数4.行偏移量分析函数5.多维分析函数0引言分析函数在sql中非常重要，对于sqlboy来说是必须要掌握的，本文对Hive-Sql分析函数进行汇总和总结
果子学长@小眼睛·2020-07-14 10:04

Hive-SQL面试题2详解（窗口函数作为辅助列在计算中的应用）

目录0.需求1.实现2小结0.需求有如下数据表yearsubjectstudentscore2018语文A842018数学A592018英语A302018语文B442018数学B762018英语B682019语文A512019数学A942019英语A712019语文B872019数学B442019英语B382020语文A912020数学A502020英语A892020语文B812020数学B842
果子学长@小眼睛·2020-07-02 01:24

数据分析师必知的那些Hive-SQL

作者：宝器来源：数据管道大家好，我是宝器。昨天了那篇文章「对不起，让大家失望了」之后，收到了写文章以来最多的私信和赞赏，感谢大家鼓励。至于赞赏这个东西，了解的应该知道，我极少开，支持一个头像就可以了，真的不需要金额过大。相对于赞赏，我更希望看到大家认真对宝器的建议。文末放了一个可以跟宝器留言互动的链接，目的是想更好的定位要推送更新的内容，从留言板和私信看很多旁友对求职实用性的内容需求更大，摘取部分
IT农民工1·2020-06-28 21:22

HIVE-SQL求连续天数

需求：求用户连续登陆天数1.数据准备createtabletmpdb.test_01asselect'1001'asuser_id,'2017-01-01'aslogin_dateunionallselect'1001'asuser_id,'2017-01-02'aslogin_dateunionallselect'1001'asuser_id,'2017-01-04'aslogin_dateun
qcg_qcg·2020-06-25 03:25

3、Hive-sql优化，数据倾斜处理

一、Hive-sql常用优化MapReduce流程：Input->split->map->buffer(此处调整其大小)->spill->spill过多合并->merge->combine(减少reduce
abc十号·2020-05-10 23:00

Hive-SQL

每天有多少用户首次流失selectt4.aa,count(*)from(selectt3.role_idrole_id,min(t3.date1)aafrom(selectt2.role_idrole_id,t2.date1date1,t2.date2date2from(selectt1.role_idrole_id,t1.datedate1,lag(t1.date,1)over(partitio
HouserLin·2020-02-10 18:54

hive-sql查询结果保留两位小数

需求要求保留2位小数，查博客大多是sql用法，但是hive-sql和sql还是有区别的，不知道大家发现没有，hive里有个自动转整的功能，示例SELECT1.0；结果是1.0sqlSELECT1.0；结果是
学海无涯2.0·2019-04-22 09:29

Hive-SQL

【RPM方式安装MYSQL】[解压]#cd/home/YITASQL/hadoop/mysql#tar-xvfmysql-5.7.22-1.el7.x86_64.rpm-bundle.tar[开始安装]rpm-ivhmysql-community-common-5.7.22-1.el7.x86_64.rpmrpm-ivhmysql-community-libs-5.7.22-1.el7.x86_6
waplys·2019-03-26 20:36

HBase实战（6）：使用Spark 2.2.1 直接操作HBASE 1.2.0数据库

点击打开链接使用Hive-sql操作Hbase数据。点击打
段智华·2018-06-15 15:37

牛逼的Hive-SQL实战

查询全体学生的学号与姓名hive>selectSno,Snamefromstudent;查询选修了课程的学生姓名hive>selectdistinctSnamefromstudentinnerjoinsconstudent.Sno=Sc.Sno;—-hive的groupby和集合函数查询学生的总人数hive>selectcount(distinctSno)countfromstudent;计算1号
Jin__nan·2018-06-12 09:17

hive-sql语句-小小结

使用的CDH-5.8.3部署和管理整个hadoop生态集群，使用hive版本是hive-1.1.0hive的官网上说不支持hive的一条条的插入（使用insertinto命令），但是在执行过程中能完全运行insertinto命令。使用sqoop-1.4.6对mysql与hive的数据的互相传输1、使用sqoop由mysql导入到hive中命令：sqoopimport--connectjdbc:my
ZH519080·2017-09-04 16:33

Spark-sql Join优化=>(cache+BroadCast)

Spark-sqlJoin优化背景spark-sql或者hive-sql很多业务场景都会有表关联的的操作，在hive中有mapsidejoin优化，对应的在spark-sql中也有mapsidejoin
ChaosJ·2016-10-29 14:05

使用嵌套子查询优化hive的SQL

[sql]viewplaincopyselectcount(*)ascntfromtrackloggroupbycookieidhavingcnt=1;查询反应很慢，半小时都未出结果使用嵌套子查询优化hive-SQL
kwu_ganymede·2015-10-13 10:23
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他