E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
HiveQL
Hive建表语法和参数记录
Hive是一个基于Hadoop的数据仓库工具,可以将结构化数据映射到HDFS存储(建表对应在HDFS建了一个文件夹),并提供类SQL查询语言-
HiveQL
,Hive可以将HQL语句转换为MR任务执行。
Forge_ahead
·
2023-11-13 20:11
work_efficiency
Study
hive
hadoop
数据仓库
HiveQL
函数7—数据脱敏函数(Data Masking)
目录1.mask(stringstr[,stringupper[,stringlower[,stringnumber]]])2.mask_first_n(stringstr[,intn])3.mask_last_n(stringstr[,intn])4.mask_show_first_n(stringstr[,intn])5.mask_show_last_n(stringstr[,intn])6.
看得出的就是
·
2023-11-07 01:24
Hive
hive
Hive数据库实现分区表的创建及数据插入
Hive使用类似于SQL的查询语言——
HiveQL
,使得开发人员可以以类似于关系型数据库的方式进行数据分析和处理。本文将介绍如何在Hive数据库中创建分区表,并插入数据。
艾丽丝的爱情
·
2023-11-05 22:28
hive
数据库
hadoop
大数据
Spark SQL
RDD➢DataFrame➢DataSet1.SparkSQL特点➢易整合无缝的整合了SQL查询和Spark编程➢统一的数据访问使用相同的方式连接不同的数据源➢兼容Hive在已有的仓库上直接运行SQL或者
HiveQL
ytzhyp
·
2023-11-04 04:23
spark
sql
大数据
hive01
hive提供了
HiveQL
方言来查询存储在hadoop集群中的数据。h
流光丶
·
2023-10-24 06:51
大数据
Hive数据分析案例——汽车销售数据分析
使用
HiveQL
实现来实现,本数据为上牌汽车的销售数据,分为乘用车辆和商用车辆。数据包含销售相关数据与汽车具体参数。
lambda33
·
2023-10-20 06:20
Hadoop
数据分析
big
data
Hive编程指南
第1章基础知识前言Hive提供了一个被称为Hive查询语言(简称
HiveQL
或HQL)的SQL语言,来查询存储在Hadoop集群中的数据;Hive可以将大多数的查询转换为MapReduce任务;Hive
weixin_43177696
·
2023-10-20 06:04
大数据经典书籍笔记
hadoop
hive
数据仓库
Hive零基础从入门到实战 入门篇(二十一)
HiveQL
:数据插入
目录前言CREATETABLE表名ASSELECT……INSERT2.1无分区表插入数据2.2分区表插入数据2.2.1静态分区插入2.2.2动态分区插入2.2.3静态分区和动态分区混合使用前言我们在入门篇(十)中介绍了如何将文件中的数据导入一个表中。但实际工作中,更常用的数据插入操作是:将查询出的数据插入一个表中。实现这个操作有两种方法,1:使用CREATETABLE表名ASSELECT……语句;
zxc131405
·
2023-10-20 01:24
Hive篇面试题+详解
Hive是一个基于Hadoop的数据仓库工具,它提供了一个类SQL的查询语言(
HiveQL
)来查询和分析存储在Hadoop集群中的大规模数据。
Young_IT
·
2023-10-19 22:39
大数据开发
hadoop
hive
大数据
Hive用户中文使用手册系列(二)
它们可以在
HiveQL
脚本中使用,也可以直接在CLI或Beeline中使用。命令描述退出使用quit或exit退出交互式shell。
日复一日伐树的熊哥
·
2023-10-19 15:23
跟着熊哥学hive系列
hive
hadoop
数据仓库
大数据
【大数据】 Hive安装 【学习笔记】
Hive查询语言(
HiveQL
或HQL)用于MapReduce使用Hive处理结构化数据。什么是HiveHive是一个数据仓库基础设施工具,用于处理Hadoop中的结构化数据。
一个平凡de人
·
2023-10-16 06:31
大数据
hadoop
hive
大数据
大数据笔记--Hive(第一篇)
1、概述2、安装步骤3、Hive运行日志4、参数配置一、Hive1、概述Hive原本时有Facebook公司开发后来贡献给了Apache的一套用于进行数据仓库管理的机制Hive提供了类SQL(HQL,
HiveQL
是小先生
·
2023-10-12 05:02
大数据05-Hive
hive
big
data
hadoop
hive 优化
原文地址ApacheHive是一个类似SQL的软件,与Hadoop一起使用,使用户能够快速高效地使用自己的语言
HiveQL
执行类似SQL的查询。
熊_看不见
·
2023-10-08 05:56
SparkSQL DataFrame、Dataset和RDD
程序无缝混合,允许您使用SQL或DataFrameAPI对结构化数据进行查询;+支持多种开发语言;+支持多达上百种的外部数据源,包括Hive,Avro,Parquet,ORC,JSON和JDBC等;+支持
HiveQL
shangjg3
·
2023-10-07 08:22
计算引擎
Spark
spark
大数据
big
data
Hive的基本概念
简单理解我们可以将Hive理解为一个客户端工具,其提供了一种类SQL查询语言,称为
HiveQL
。这使得Hive十分适合数据仓库的统计分析,能够轻松使用
HiveQL
开启数据仓库任务,如提取/转换/加
乙腾
·
2023-10-01 05:13
七、Hive数据仓库应用之Hive优化(超详细步骤指导操作,WIN10,VMware Workstation 15.5 PRO,CentOS-6.7)
CentOS-6.7)文章目录一、Hive存储优化二、Hive参数优化1、配置MapReduce压缩2、配置Map个数3、配置reduce个数4、配置合并文件5、配置并行执行6、配置本地模式7、配置分组三、
HiveQL
七层楼的疯子
·
2023-09-28 19:52
Hive数据仓库应用
数据仓库
hive
hadoop
大数据
hdfs
Pig介绍和相对于Hive的优势
我们都知道pig和hive的作用是一致的都是为了简化mapReduce的编程而开发的,但是hive是过程化语言SQL,pig是数据流语言pigLatin.就工具的选择来说,
HiveQL
类似于SQL,不需要大量的学习
Tim在路上
·
2023-09-26 18:05
Sublime 3
HiveQL
语法高亮
按照https://packagecontrol.io/installation上的说明打开sublime的packagecontrol功能。在顶部导航栏里找到SublimeText-Preferences-PackageControl,输入InstallPackage,打开package安装页面。输入ApacheHive,找到hive-sublime-text,点击进行安装。Sublime右下角
Javalover93
·
2023-09-23 13:31
Hive 和 HDFS、MySQL 之间的关系
它提供了一种类似于SQL的查询语言(
HiveQL
),允许用户执行数据分析和查询操作。Hive不存储数据,而是将数据存储在底层的
月亮给我抄代码
·
2023-09-05 05:42
hive
hdfs
mysql
大数据
数据仓库
zz-hive的基本原理
驱动(Driver)-控制
HiveQL
生命周期的组件,当
HiveQL
查询穿过Hive时。该驱动管理着会话句柄以及任何会话的统计。查询编译器(QueryCompiler)-是一个组
remychan
·
2023-08-28 00:11
从Hadoop/Hive数据仓库导入数据到睿思BI系统
Hive是基于Hadoop的数据仓库工具,可对存储在HDFS上的文件中的数据集进行数据整理、特殊查询和分析处理,提供了类似于SQL语言的查询语言–
HiveQL
,可通过HQL语句实现简单的MR统计,Hive
睿思BI
·
2023-08-21 03:41
商业智能
HiveQL
语句 优先级
1.FROM3.JOIN2.ON4.WHERE5.GROUPBY6.WITH{cube|rollup}7.HAVING8.SELECT9.DISTINCT11.10.ORDERBYlateralview优先级在select之前from之后,且通常为select*from(…)tlateralview…这样的结构
Code_LT
·
2023-08-17 13:44
Hive
mysql
sql
数据库
HiveQL
调优
使用EXPLAIN使用EXPLAIN可以打印出查询语句的抽象语法树,比如下面的:EXPLAINSELECTSUM(number)FROMonecol;还可以使用EXPLAINEXTENDED产生更多的输出信息。可以通过分析语句的语法树来查找问题所在。join优化hive做联结操作时,会先对前面的表缓存,然后扫描最后一张表。所以,联结的时候最好保证联结查询中的表的大小从左往右是依次增加的如果表中有一
杜小瑞
·
2023-08-15 05:43
大数据
hive
big
data
大数据
Hive数据倾斜解决方法总结
当我们在执行
HiveQL
或者运行MapReduce作业时候,如果遇到一直卡在map100%,reduce99%一般就是遇到了数据倾斜的问题。
膝盖上拔下的箭
·
2023-08-11 07:57
Hive常见面试题
它提供了类似于SQL的查询语言(
HiveQL
),使用户能够使用SQL语句来查询和分析大规模存储在Hadoop集群上的数据。
Matthew117
·
2023-08-06 06:13
hive
hadoop
数据仓库
关于Hive的使用技巧
前言Hive是一个基于Hadoop的数据仓库基础架构,它提供了一种类SQL的查询语言,称为
HiveQL
,用于分析和处理大规模的结构化数据。
auspicious航
·
2023-08-03 10:07
大数据相关学习资料
hive
hadoop
数据仓库
大数据课程F1——HIve的概述
2.Hive提供了类SQL(HQL,
HiveQL
)语句来管理HDFS上的大量数据,底层会将SQL转化为MapReduce来交给Hadoop
伟雄
·
2023-08-02 09:36
大数据
hive
用
HiveQL
计算连续天数问题的方法
昨晚服务器可能出了什么bug,文章发布出去都会变成完全空白。没办法,只能断更一天,放在今天发了,大概能达到十万字里程碑了吧。在日常工作中,可能经常会接到业务方类似这样的需求:统计今年每个用户最长连续签到的天数;统计最近一个月连续有回帖超过5天的话题;统计本季度中连续3天以上单日销量超过100的商品。这种“连续天数”问题看似简单,但实际上对思维能力和编写复杂SQL语句的能力要求比较高。下面以我们曾经
LittleMagic
·
2023-08-01 03:27
降龙十八掌
目录大数据:1HIVE:1.1
HIVEQL
1.1.1创建表1.1.2更新表1.1.3常用语句1.2hive参数配置大数据:1HIVE:1.1HIVEQLDDL中常用的命令有:create,drop,alter
DLoong+
·
2023-07-26 13:44
Hive
Hive提供了一个被称为Hive查询语言(简称
HiveQL
或HQL)的SQL方言,来查询存储在Hadoop集群中的数据。
什么都懂一点的小白
·
2023-07-26 11:16
编写
HiveQL
时遇到的小问题
MySQL在Linux下数据库名、表名、列名、别名大小写规则是这样的:1、数据库名与表名是严格区分大小写的;2、表的别名是严格区分大小写的;3、列名与列的别名在所有的情况下均是忽略大小写的;4、字段内容默认情况下是大小写不敏感的。查询时加入BINARY关键字可区分大小写但在Hive中,字符串严格区分大小写
敲代码的余文乐
·
2023-07-24 02:07
Hive 托管表、外部表和事务表
Hive允许你使用类似于SQL的查询语言(称为
HiveQL
)来分析存储在Hadoop集群上的数据。在Hive中,表是数据的逻辑组织单元,你可以通过创建和管理表来组织和操作数据。
贾斯汀玛尔斯
·
2023-07-19 10:37
hadoop
数据湖
hive
hadoop
数据仓库
hadoop --- hive
Hive是一个构建在Hadoop之上的数据仓库和分析工具,她提供了一种类SQL的查询语言--
HiveQL
,用于将结构化的查询SQL转换为MapReduce任务和Tez任务,通过Hadoop的分布式计算能力来执行查询任务
三水写代码
·
2023-07-16 01:52
大数据
hadoop
hive
大数据
Hive学习
Hive查询操作过程严格遵守HadoopMapReduce的作业执行模型,Hive将用户的
HiveQL
语句通过解释器转换为提交到Hadoop集群上,Had
明月清风,良宵美酒
·
2023-06-17 11:36
大数据技术栈
hive
[Hive高级特性与 DDL和DML语法]
目录前言:
HiveQL
语言的基本语法,包括DDL和DML两个方面。
是汤圆丫
·
2023-06-17 09:37
大数据
hive
数据库
hadoop
Hive面试题十道
答案:Hive是一个基于Hadoop的数据仓库工具,它提供了类似SQL的查询语言(
HiveQL
)来进行大规模数据的分析和处理。
MIDSUMMER_yy
·
2023-06-15 13:31
hive
大数据
hive怎么发音_Hadoop Hive概念学习系列之hive里的
HiveQL
——查询语言(十五)
Hive的操作与传统关系型数据库SQL操作十分类似。Hive主要支持以下几类操作:DDL1、DDL:数据定义语句,包括CREATE、ALTER、SHOW、DESCRIBE、DROP等。详细点,就是Hive支持大量SQL数据定义语言(DataDefinitionLanguage,DDL)中的现有功能,包括以下各种语句:CREATEDATABASE/SCHEMA,TABLE,VIEW,FUNCTION
小问题大学问
·
2023-06-15 11:18
hive怎么发音
Hive的概念
Hive概述Hive是一个基于Hadoop的数据仓库系统,它提供了类似与SQL的查询语言
HiveQL
,可以将结构化数据存储在Hadoop分布式文件系统中,并通过MapReduce进行过处理。
陆卿之
·
2023-06-15 11:15
大数据
hive
hadoop
大数据
Spark SQL数据源:Hive表
hive-site.xml三、准备工作(一)启动Hive的metastore(二)启动SparkShell四、Spark读写Hive数据(一)导入SparkSession(二)创建SparkSession对象(三)执行
HiveQL
梁辰兴
·
2023-06-15 11:51
大数据处理
hive
spark
sql
mysql到hive调度工具_Hive详解及实战_Zeus任务资源调度工具
并通过企业实际需求分析,讲解
HiveQL
中的DDL和DML的使用,以及常见的性能优化方案。
长野君
·
2023-06-09 19:03
mysql到hive调度工具
1.Hive系列之简介
1.Hive简介1.1Hive是什么Hive是一个基于Hadoop的数据仓库工具,它提供了类似于SQL的查询语言
HiveQL
,以及用于将查询转换为MapReduce任务的引擎。
沈健_算法小生
·
2023-06-07 22:33
大数据
hive
hadoop
大数据
HiveQL
快速上手
HiveQL
一、CREATEStatements1、CREATEDATABASESyntaxExamples2、CREATETABLESyntaxExamples3、CREATEVIEWDescriptionSyntaxExamples4
qq_42603181
·
2023-04-21 10:04
数据库
大数据
hive
hive学习笔记之二:复杂数据类型
blog_demos内容:所有原创文章分类汇总及配套源码,涉及Java、Docker、Kubernetes、DevOPS等;《hive学习笔记》系列导航基本数据类型复杂数据类型内部表和外部表分区表分桶
HiveQL
程序员欣宸
·
2023-04-19 09:43
大数据组件——Hive简介及入门
Hive简介ApacheHive是基于Hadoop的一种数据仓库工具,可以提供类似于SQL的查询语言——
HiveQL
,用来从存储在分布式存储系统中的大规模数据集合中检索和分析数据。
'Wu'
·
2023-04-11 19:14
学习日常
大数据
hive
大数据
hadoop
Hive的UDF编程-GenericUDF编程
UDF简介在Hive中,用户可以自定义一些函数,用于扩展
HiveQL
的功能,而这类函数叫做UDF(用户自定义函数)。UDF分为两大类:UDAF(用户自定义聚合函数)和UDTF(用户自定义表生成函数)。
ShiPF
·
2023-04-11 09:12
用AI找答案:hivesql中set可以设置哪些参数
hivesql中set可以设置哪些参数AI:在
HiveQL
中,SET命令可以用于设置以下参数:hive.execution.engine:指定Hive的执行引擎,包括MapReduce、Tez、Spark
Redamancy_06
·
2023-04-08 09:18
hive
大数据
hadoop
Spark---Spark连接Hive
包含Hive支持的SparkSQL可以支持Hive表访问、UDF(用户自定义函数)以及Hive查询语言(
HiveQL
/HQL)等。需
快跑呀长颈鹿
·
2023-04-07 11:30
Spark
hive
spark
大数据
三十一、《大数据项目实战之用户行为分析》Spark SQL与Hive整合
可以将Hive理解为一个客户端工具,其提供了一种类SQL查询语言,称为
HiveQL
。这使得Hive十分适合数据仓库的统计分析,
大数据张老师
·
2023-04-05 23:12
#
大数据
hive
spark
三十二、《大数据项目实战之用户行为分析》Spark SQL操作Hive的几种方式
1.SparkSQL终端操作SparkSQL终端启动后,可以直接使用
HiveQL
语句对Hive数据仓库进行操作。
大数据张老师
·
2023-04-05 23:12
#
hive
大数据
spark
Spark
SQL操作Hive
SparkSQL
hive表之简单窗口函数 over()
窗口函数通常是分析人员使用
hiveql
进行一些复杂逻辑计算时使用的特殊函数,其中over()通常与聚合函数共同使用,比如count()、sum()、min()、max()、avg()等。
飞不高的老鸟
·
2023-04-01 12:07
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他