E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hive聚合函数
Hive
Sql语法优化三 :join优化
前面提到过:
Hive
拥有多种join算法,包括CommonJoin,MapJoin,BucketMapJoin,SortMergeBucktMapJoin等;每种join算法都有对应的优化方案。
zmx_messi
·
2023-12-17 08:13
大数据
HQL优化之数据倾斜
groupby导致倾斜前文提到过,
Hive
中未经优化的分组聚合,是通过一个MapReduceJob实现的。
zmx_messi
·
2023-12-17 08:13
大数据
hive
Hive
Sql语法优化二 :join算法
Hive
拥有多种join算法,包括CommonJoin,MapJoin,BucketMapJoin,SortMergeBucktMapJoin等,下面对每种join算法做简要说明:CommonJoinCommonJoin
zmx_messi
·
2023-12-17 08:43
hive
hadoop
数据仓库
Hive
Sql语法优化四 :Bucket Map Join和Sort Merge Bucket Map Join优化
BucketMapJoin之前的mapjoin适用场景是大表join小表的情况,但是两张表都相对较大,若采用普通的MapJoin算法,则Map端需要较多的内存来缓存数据,当然可以选择为Map段分配更多的内存,来保证任务运行成功。但是,Map端的内存不可能无上限的分配,所以当参与Join的表数据量均过大时,就可以考虑采用BucketMapJoin算法。比如下面两张表进行join操作:表名大小orde
zmx_messi
·
2023-12-17 08:09
数据库
Hive
Sql语法优化一 :分组聚合优化
Hive
中未经优化的分组聚合,是通过一个MapReduceJob实现的。
zmx_messi
·
2023-12-17 08:38
大数据
Spark sql 写分区表,设置format报错
sparksqldataset写入表的时候,我写的是一个用ymd分区的表,我想设置输出格式format("
hive
"),然后报错了代码如下ds.write().partitionBy(partitionsStr
南修子
·
2023-12-17 07:25
PHP函数参考05-zip与phar压缩包
建议使用ZipArc
hive
类库。
思考的山羊
·
2023-12-17 07:05
Hadoop,
Hive
和Spark大数据框架的联系和区别
Hadoop,
Hive
和Spark是大数据相关工作中最常用的三种框架。1Hadoophadoop是一个分布式计算框架,是大数据处理的基石,大多其他框架都是以hadoop为基础。
Weiyaner
·
2023-12-17 06:00
数据库
大数据
hadoop
mapreduce
spark
Win10下安装大数据开发环境 spark+hadoop+
hive
(实测可用)
Win10下安装大数据开发环境spark+hadoop+
hive
(实测可用)基础环境安装spark安装Hadoop安装
hive
安装总结参考博客基础环境安装首先,我们需要搭建软件的运行环境,本文中所使用的软件均需要运行在
YannAdams
·
2023-12-17 06:30
Spark
Hadoop
Hive
大数据环境
Windows
spark
hadoop
hive
大数据生态中‘Hadoop’、‘
Hive
’、‘Spark’、‘Mapreduce’、‘HDFS’、‘Yarn’是什么关系
以上都是大数据相关的系统和技术,大数据又属于数据管理系统的范畴数据管理系统无非就两个问题:1.数据怎么存2.数据怎么算再进入信息爆炸时代后,数据的容量越来越大,导致一台服务器存不下,所以要用集群来存储、处理信息,但是管理一台服务器容易,怎么去统一管理集群的信息成了问题。所以用到了Hadoop生态来管理信息。Hadoop生态中HDFS:处理存储,管理信息的分布式存储、提供接口,让用户感觉集群中的信息
小书生啊
·
2023-12-17 06:29
大数据
hadoop
hive
大数据 | Hadoop、
Hive
、Spark的关系
文章总括图数据存储单机数据库时代所有数据在单机都能存的下,数据处理的任务都是IO密集型,更谈不上分布式系统一个典型的2U服务器可以插6块硬盘,每块硬盘4T,共24T原始容量,再加上一些数据包的可用冗余,再加上一些格式化的损失,保守估计一台服务器至少可以有10T以上的可用容量,再加上128G内存和两颗CPU,装入DBMS,稍微调优,单表处理10e条数据问题不大多机数据库时代当数据量变多时,单台机器无
xyzhang2018
·
2023-12-17 06:58
数据库
hadoop
大数据
spark
[AIGC ~大数据] 深入理解Hadoop、HDFS、
Hive
和Spark:Java大师的大数据研究之旅
在这个充满机遇和挑战的领域中,我深入研究了Hadoop、HDFS、
Hive
和Spark等关键技术。本篇博客将从"是什么"、"为什么"和"怎么办"三个角度,系统地介绍这些技术。文章目录是什么?
程序员三木
·
2023-12-17 06:55
AI
大数据
hadoop
AIGC
搭建Tomcat调试环境并分析CVE-2017-12615
准备下载存在漏洞版本tomcat,这里下的是8.0.45https://arc
hive
.apache.org/dist/tomcat/tomcat-8/v8.0.45/可执行文件和源码都需要下载用idea
st3pby
·
2023-12-17 06:42
tomcat
java
渗透测试
网络安全
Spark-Streaming+HDFS+
Hive
实战
文章目录前言一、简介1.Spark-Streaming简介2.HDFS简介3.
Hive
简介二、需求说明1.目标:2.数据源:3.数据处理流程:4.HDFS文件保存:5.
Hive
外部表映射:三、实战示例演练
大数据魔法师
·
2023-12-17 06:38
大数据
spark
hdfs
hive
hive
学习笔记
1.
HIVE
结构
Hive
是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。
Tech_Hog
·
2023-12-17 05:05
Hadoop
hadoop
hive
Hive
对空值的一些处理方法简单记录
最近遇到一些业务需求,需要对
Hive
的空值(空数组)做简单的处理1、字符串处理空值对于
Hive
的空值,和NULL一般使用NVL()函数selectnvl(col_name,v1,v2)fromtable
cbigchaos
·
2023-12-17 05:33
#
Hive
hive
hadoop
数据仓库
【
Hive
】CDP集群
Hive
NULL值排序前后的问题
最近公司在从本地大数据环境迁移到CDP的集群。在跑相同的SQL代码时,两边对比发现数据有问题,然后就开始查找原因:在对数据进行分组排序时,两个环境的NULL值默认排序不同。排错1、首先我们执行相同的SQL,对比了两边SQL的执行计划,selectid,times,row_number()over(partitionbyidorderbytimesdesc)asrnfrom(select1asid,
cbigchaos
·
2023-12-17 05:33
#
Hive
hive
hadoop
数据仓库
【Sqoop】数据导入导出到
Hive
问题总结
文章目录Sqoopimprot数据到
Hive
一、文件大小问题Sqoopexport数据到MySQL一、
Hive
表unionall完有中间文件夹Sqoop目录写到表后无法递归Sqoopimprot数据到
Hive
cbigchaos
·
2023-12-17 05:33
hive
sqoop
hadoop
【
Hive
】(三)
Hive
数据导入,导出,分区
文章目录一、导入数据loaddatainsertimportlocation三、导出数据分区例子1、静态分区2、动态分区一、导入数据loaddata1、语法loaddata(local)inpath'文件路径'into|overwritetablestudents;local:表示从本地加载数据,不加local则是从HDFS中加载数据overwrite:覆盖表中的原有数据2、向stutest表加载
cbigchaos
·
2023-12-17 05:02
#
Hive
【HQL】(三)
Hive
计算除数为0的情况结果
文章目录1、简单测试下2、搞个Demo建表测试在工作做一些计算时担心类型问题、报错,还有除数为0的情况,提前做一下预防。1、简单测试下--1、select1/0;--2、select0/0;--3、select0/1直观结果截图如下:除以0,结果为null0除以,结果为浮点型2、搞个Demo建表测试#建表createtablecm_test.number_t(idstring,numstring,
cbigchaos
·
2023-12-17 05:02
#
Hive
hive
大数据
hadoop
Hive
学习笔记
Hive
学习笔记1、
Hive
安装(只在主节点上安装)(1)下载安装包到/usr/app/目录下(2)解压(3)修改配置文件/etc/profile(添加export
HIVE
_HOME=/usr/local
weixin_30470857
·
2023-12-17 05:32
hive
增加表字段语录_
HIVE
常用SQL语句及语法
HIVE
建内部表语句createtabledll102.sougou(idstring,pwdstring,namestring,countint,seqnoint,addressstring)rowformatdelimitedfieldsterminatedby
weixin_39811386
·
2023-12-17 05:32
hive
增加表字段语录
Hive
笔记五:入门教程
摘要:
Hive
是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。
Mojoooo
·
2023-12-17 05:00
hive
hive
一、
Hive
中常用到的基础知识
一、
Hive
中常用到的基础知识《简介》1、表的数据类型说明2、
Hive
数据仓库支持的文件格式3、
Hive
各种文件格式的特点一、Beeline连接
Hive
二、
Hive
执行HQL文件1、hql文件:
hive
_test.hql2
斗罗昊天锤
·
2023-12-17 05:58
#
Hive组件
hadoop
hive
hadoop学习笔记--13.
hive
属性配置、交互式命令行和文件系统交互
一、
hive
配置文件常见属性1.在cli命令行上显示当前的数据库名以及查询的行头信息在
hive
-site.xml中添加以下配置
hive
.cli.print.headertrueWhethertoprintthenamesofthecolumnsinqueryoutput.
hive
.cli.print.current.dbtrueWhethertoincludethecurrentdatabasei
liuzebin9
·
2023-12-17 05:58
Hadoop
hadoop
hive
【
Hive
】【Hadoop】工作中常操作的笔记-随时添加
文章目录1、
Hive
复制一个表:2、字段级操作3、hdfs文件统计1、
Hive
复制一个表:直接Copy文件createtablenew_tableliketable_name;hdfsdfs-get/apps
cbigchaos
·
2023-12-17 05:57
#
Hive
#
Hadoop
hadoop
hive
笔记
大数据
《PySpark大数据分析实战》-11.Spark on YARN模式安装Hadoop
对大数据技术栈Hadoop、
Hive
、Spark、Kafka等有深入研究,对Data
wux_labs
·
2023-12-17 05:16
PySpark大数据分析实战
数据分析
数据挖掘
大数据
数据科学
PySpark
《PySpark大数据分析实战》-12.Spark on YARN配置Spark运行在YARN上
对大数据技术栈Hadoop、
Hive
、Spark、Kafka等有深入研究,对Data
wux_labs
·
2023-12-17 05:10
PySpark大数据分析实战
数据分析
数据挖掘
大数据
数据科学
PySpark
Hive
多分隔符支持示例
问题描述如何将多个字符作为字段分割符的数据文件加载到
Hive
表中,事例数据如下:字段分隔符为“@#$”test1@#$test1name@#$test2valuetest2@#$test2name@#$
尼小摩
·
2023-12-17 04:00
数据库 02-03补充
聚合函数
--一般聚合分组和having
聚合函数
:01.一般的
聚合函数
:举个例子:一般
聚合函数
是用于单个元祖,就是返回一个数值。
万zp
·
2023-12-17 04:05
数据库
数据库
SQL进阶 | HAVING子句
在SELECT语句中,“HAVING”关键词用于过滤
聚合函数
的结果。与“WHERE”关键词不同的是,“HAVING”关键词不能用于过滤单个行,它主要用于过滤由GROUPBY子句分组的结果集。
仙草不加料
·
2023-12-17 04:02
sql
数据库
mysql
group by,order by 与 row_number over() 分组后取最大,最新
row_number()over(partitionby分组列orderby排序列),业务场景:分组后取每组最新的,最大的等为什么写这篇文章sqlserver中,用groupby分组,select之后的字段除了
聚合函数
外都必须出现在
zhangxlCoco
·
2023-12-17 04:19
sql
数据库
SQL
Server
Hive
中order by,sort by,distribute by,cluster by的区别以及row_number() over函数的基本用法
一.orderby:orderby会对输入做全局排序,因此只有一个Reducer(多个Reducer无法保证全局有序),然而只有一个Reducer,会导致当输入规模较大时,消耗较长的计算时间。二.sortby:sortby不是全局排序,其在数据进入reducer前完成排序,因此,如果用sortby进行排序,并且设置mapred.reduce.tasks>1,则sortby只会保证每个reducer
LuckyBoy88888888
·
2023-12-17 04:17
hive
hive
order
by
sort
by
row_number
distribute
by
SQLserver的ROW_NUMBER() OVER( [ PARTITION BY ... ] [ ORDER BY ... ] )解释
OVER()函数不能单独使用,必须跟在排名函数或
聚合函数
后边
乐在‘奇’中
·
2023-12-17 04:47
centos8不能下软件的原因
文章目录问题解决方法问题Errorsduringdownloadingmetadataforrepository‘epel’:Statuscode:404forhttp://arc
hive
s.fedoraproject.org
Mystery_zero
·
2023-12-17 03:35
linux
linux
centos
业务场景中
Hive
解析Json常用案例
业务场景中
Hive
解析Json常用案例json在线工具json格式转换在线工具https://tool.lu/json/format格式互转://格式化可以合并整行显示{"name":"JohnDoe"
王亭_666
·
2023-12-17 02:17
hive
大数据
hive
json
hadoop
大数据
数据分析
nestjs使用redis
redis安装1、windows安装,下载目录:Releases·microsoftarc
hive
/redis·GitHub,解压,打开redis-server.exe,开启redis服务2、linux
不求甚解bc
·
2023-12-17 02:59
nestjs
nodejs
redis
缓存
node.js
各种OJ网站汇总
acmicpc.infoacmicpc.infohttp://acmicpc.info/arc
hive
s/224此网站聚合了各种ICPC相关信息。
dejing6575
·
2023-12-17 02:44
Lua学习笔记10-元表与元方法
原文链接:http://www.jellythink.com/arc
hive
s/511前言元表对应的英文是metatable,元方法是metamethod。
UTD
·
2023-12-17 01:11
Lua
学习笔记
lua
学习笔记
python中的查询(select)
查询的条件②模糊查询betweenand,in,or,范围查询,like③空值查询isnull二.排序语法:orderbyasc(升)或desc(降)三.分组关键字:groupby语法:select分组的列,
聚合函数
Feng-sir
·
2023-12-17 01:28
python-django_多表操作_聚合查询_分组查询_F和Q查询_原生sql_defer和only_事务
django多表操作1.聚合查询#聚合查询(
聚合函数
:最大,最小,和,平均,总个数)aggregatefromdjango.db.modelsimportAvg,Max,Min,Count,Sum1.计算所有图书的平均价格
I believe I can fly~
·
2023-12-17 01:56
MySQL
python
数据库
python
django
libgdx实现雪花、下雪效果(二十三)
libgdx实现雪花、下雪效果(二十三)转自:https://lingkang.top/arc
hive
s/libgdx-shi-xian-xue-huapackageeffect;importcom.badlogic.gdx.ApplicationAdapter
凌康ACG
·
2023-12-16 23:17
libgdx
游戏开发
java
libgdx
java
java游戏开发
libgdx播放视频、libgdx播放MP4、libgdx播放动画(二十二)
libgdx播放视频、libgdx播放MP4、libgdx播放动画转自:https://lingkang.top/arc
hive
s/libgdx-bo-fang-shi-pin转自:https://lingkang.top
凌康ACG
·
2023-12-16 23:16
java
libgdx
游戏开发
java
libgdx
音视频
libgdx播放视频
spring-boot-data-jpa、JPA实现负责查询、复杂搜索
spring-boot-data-jpa、JPA实现负责查询、复杂搜索JPA越来越丰富了,下面使用springboot3.x实现JPA分页通过传入Example参数实现复杂字段查询转自https://lingkang.top/arc
hive
s
凌康ACG
·
2023-12-16 23:46
java
java
jpa
spring
boot
hibernate
spring-boot-data-jpa、JPA实现分页
转自https://lingkang.top/arc
hive
s/jpa-shi-xian-fen-ye依赖org.springfra
凌康ACG
·
2023-12-16 22:08
java
java
jpa
spring
boot
hibernate
mysql中count(*)、count(1)、count(主键)、count(字段)的区别
count函数的语义count()是一个
聚合函数
,函数的参数不仅可以是字段名,也可以是其他任意表达式,该函数作用是统计符合查询条件的
黑夜无路人
·
2023-12-16 22:36
mysql
mysql
count函数不同参数的区别
查看
hive
表储存在hdfs的哪个目录下
查看
hive
表储存在hdfs的哪个目录下使用
Hive
的DESCRIBEFORMATTED命令。具体步骤如下:打开
Hive
终端,并连接到
Hive
数据库。
言之。
·
2023-12-16 22:58
hive
hdfs
hadoop
CENTOS 按装 dubbo--admin
1,下载Releases·apache/dubbo-admin·GitHubhttps://github.com/apache/dubbo-admin/arc
hive
/refs/tags/0.6.0.tar.gz2
dubhe_zhao
·
2023-12-16 22:13
centos
dubbo
linux
【PostgreSQL】从零开始:(六)PostgreSQL-数据库目录文件结构及作用说明
createdb│ ├──createuser│ ├──dropdb│ ├──dropuser│ ├──ecpg│ ├──initdb│ ├──pg_amcheck│ ├──pg_arc
hive
cleanup
DBA圈小圈
·
2023-12-16 22:27
PostgreSQL
数据库
postgresql
下载mysql-connector-java-5.1.47.jar包以及将其导入数据库
下载mysql-connector-java-5.1.47.jar包①官网地址:https://downloads.mysql.com/arc
hive
s/c-j/②选择版本+下载导入数据库①在IDEA中新建
yuboyao1012
·
2023-12-16 21:13
java
数据库
mysql
上一页
47
48
49
50
51
52
53
54
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他