E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hive聚合函数
浅谈Zabbix与Prometheus区别
PromQL支持许多数据模型和查询功能,包括度量标准、标签和
聚合函数
。Zabbix使用自己的数据模型和查询语言,包括项、触发器和动作等概念
乐维_lwops
·
2023-12-24 14:16
zabbix
prometheus
数据库
控制map个数与性能调优参数
本文转自:涤生手记本系列几章系统地介绍了开发中
Hive
常见的用户配置属性(有时称为参数,变量或选项),并说明了哪些版本引入了哪些属性,常见有哪些属性的使用,哪些属性可以进行
Hive
调优,以及如何使用的问题
xuanxing123
·
2023-12-24 13:13
Hive
分区表简介
Hive
中的分区表分为两种:静态分区和动态分区。1.静态分区:可以根据PARTITIONEDBY创建分区表,一个表可以拥有一个或者多个分区,每个分区以文件夹的形式单独存在表文件夹的目录下。
K_un
·
2023-12-24 12:39
Hive
优化(十三)-小文件进行合并
小文件进行合并在Map执行前合并小文件,减少Map数:Combine
Hive
InputFormat具有对小文件进行合并的功能(系统默认的格式)。
Hive
InputFormat没有对小文件合并功能。
bigdata张凯翔
·
2023-12-24 12:08
基于Hue,Dolphinscheduler,
HIVE
分析数据仓库层级实现及项目需求案例实践分析
目录一、数仓各个层级及作用1,ODS层(OperationDataStore-源数据层)2,DW层(DataWarehouse-数据仓库层)(1)DWD(DataWarehouseDetail-明细数据层)(2)DWM(DataWarehouseMiddle-明细数据层)(3)DWS(DataWarehouseService服务数据层)3,ADS层(ApplicationDataStore-数据应
Len°
·
2023-12-24 11:32
Hadoop
hadoop
big
data
hive
MySQL代码笔记
的主页个人专栏:题目解析推荐文章:题目大解析(3)目录表的增删查改创建表格,插入信息,删除和查看表修改信息删除信息获取资料(SELECT)创建公司资料库创建表添加FOREIGNKEY添加表信息练习测试
聚合函数
常见方法练习测试通配符练习测试
cefler
·
2023-12-24 11:13
笔记
mysql
《PySpark大数据分析实战》-04.了解Spark
对大数据技术栈Hadoop、
Hive
、Spark、Kafka等有深入研究,对Data
wux_labs
·
2023-12-24 10:32
PySpark大数据分析实战
数据分析
数据挖掘
大数据
数据科学
PySpark
《PySpark大数据分析实战》-06.安装环境准备
对大数据技术栈Hadoop、
Hive
、Spark、Kafka等有深入研究,对Data
wux_labs
·
2023-12-24 10:32
PySpark大数据分析实战
数据分析
数据挖掘
大数据
数据科学
PySpark
《PySpark大数据分析实战》-17.云服务模式Databricks介绍运行作业
对大数据技术栈Hadoop、
Hive
、Spark、Kafka等有深入研究,对Data
wux_labs
·
2023-12-24 10:32
PySpark大数据分析实战
数据分析
数据挖掘
大数据
数据科学
PySpark
《PySpark大数据分析实战》-02.了解Hadoop
对大数据技术栈Hadoop、
Hive
、Spark、Kafka等有深入研究,对Data
wux_labs
·
2023-12-24 10:02
PySpark大数据分析实战
数据分析
数据挖掘
大数据
数据科学
《PySpark大数据分析实战》-01.关于数据
对大数据技术栈Hadoop、
Hive
、Spark、Kafka等有深入研究,对Data
wux_labs
·
2023-12-24 10:01
PySpark大数据分析实战
数据分析
数据挖掘
大数据
数据科学
《PySpark大数据分析实战》-18.什么是数据分析
对大数据技术栈Hadoop、
Hive
、Spark、Kafka等有深入研究,对Data
wux_labs
·
2023-12-24 10:01
PySpark大数据分析实战
数据分析
数据挖掘
大数据
数据科学
PySpark
Hive
学习笔记(二)——
Hive
的安装
文章目录
Hive
安装2.1
Hive
安装地址2.2
Hive
安装部署2.3将本地文件导入
Hive
案例2.4MySql安装2.4.1安装包准备2.4.2安装MySql服务器2.4.3安装MySql客户端2.4.4MySql
Alienware^
·
2023-12-24 08:53
#
Hive
hive
在虚拟机中执行
Hive
命令该如何操作呢?
前言前段时间在学习
hive
,之前是通过hue进行编程的,但是由于设备问题,网络连接不顺畅,使用感很不好,又不想再安装客户端了,于是学习了一下怎么在虚拟机中执行
hive
命令并作了简单的记录。
纪筱白
·
2023-12-24 08:53
Hive
Hadoop+
Hive
学习笔记-4
Hadoop集群搭建配置三台虚拟机之间的免密登录1切换到root用户:crontab-e在第一行写入:*/5****/usr/sbin/ntpdatentp1.aliyun.com三台机器都一同操作,这一步让三台机器的时间服务器一致2关闭selinux:vim/etc/selinux/configvim编辑器打开文件,把里面的SELINUX值修改为disabled这一步是关闭selinuxseli
fwings260
·
2023-12-24 08:22
Hadoop
Hive
hadoop学习笔记(五)
Hive
安装部署
Hive
安装部署
Hive
安装及配置配置已经完成,在此处启动hadoop集群
Hive
常用命令将本地文件导入
Hive
案例安装MySql
Hive
元数据配置到MySql
Hive
安装及配置下载地址:https:/
So.j
·
2023-12-24 08:22
hadoop学习笔记
大数据
hive
hadoop
hive
企业级调优策略之CBO,谓词下推等优化
测试所用到的数据参考:原文链接:https://blog.csdn.net/m0_52606060/article/details/135080511本教程的计算环境为
Hive
onMR。
Appreciate(欣赏)
·
2023-12-24 07:26
hive
hive
hadoop
数据仓库
FaceBook Redex使用总结
Redex踩坑全集第一步安装Redex安装以下前置条件sudoapt-getinstall\g++\automake\autoconf\autoconf-arc
hive
\libtool\libboost-all-dev
topone37
·
2023-12-24 07:52
SpringBoot 3 集成
Hive
3
*+
Hive
3.
在奋斗的大道
·
2023-12-24 07:46
springBoot学习笔记
Java架构专栏
hadoop
hive
hadoop
数据仓库
Hadoop入门学习笔记——六、连接到
Hive
pwd=5ay8Hadoop入门学习笔记(汇总)目录六、连接到
Hive
6.1.使用
Hive
的Shell客户端6.2.使用Beeline客户端连接
Hive
Server2操作
Hive
6.3.使用
faith瑞诚
·
2023-12-24 07:10
大数据
学习笔记
hadoop
学习
笔记
hive
大数据
Hadoop入门学习笔记——五、在虚拟机中部署
Hive
pwd=5ay8Hadoop入门学习笔记(汇总)目录五、在虚拟机中部署
Hive
5.1.在node1虚拟机安装MySQL5.2.配置Hadoop5.3.下载并加压
Hive
5.4.下载MySQL
faith瑞诚
·
2023-12-24 07:09
大数据
学习笔记
hadoop
学习
笔记
Hadoop入门学习笔记——七、
Hive
语法
pwd=5ay8Hadoop入门学习笔记(汇总)目录七、
Hive
语法7.1.数据库相关操作7.1.1.创建数据库7.1.2.选择数据库7.1.3.描述数据库详细信息7.1.4.创建数据库并指
faith瑞诚
·
2023-12-24 07:37
大数据
学习笔记
hadoop
学习
笔记
hive
大数据
pygrib
https://www.cnblogs.com/kallan/arc
hive
/2016/01/26/5160017.htmlhttps://www.cnblogs.com/sunshine8/p/7815216
榴莲气象
·
2023-12-24 06:20
数据质量监控框架及解决方案总结
概述随着业务发展和数据量的增加,大数据应用开发已成为部门应用开发常用的开发方式,由于部门业务特点的关系,spark和
hive
应用开发在部门内部较为常见。
坨坨的大数据
·
2023-12-24 05:41
MySQL数据库:表的增删查改
)冲突问题二.表的查询2.1select指定列查询2.2where条件筛选2.3结果排序2.4分页显示结果2.5向表中插入查询数据三.更改表的数据四.删除表中数据4.1delete删除4.2表截断五.
聚合函数
六
【Shine】光芒
·
2023-12-24 04:42
MySQL数据库
数据库
mysql
黑苹果 安装教程+工具包(EFI引导文件+dmg镜像+工具)
完整黑苹果安装指南,苹果EFI引导文件等相关资源一应俱全.https://fostmar.online/arc
hive
s/445/EFI引导文
单丽尔
·
2023-12-24 04:09
数码科技
系统架构
技本功|
Hive
优化之监控(三)
Hive
是大数据领域常用的组件之一,主要是大数据离线数仓的运算,关于
Hive
的性能调优在日常工作和面试中是经常涉及的一个点,因此掌握一些
Hive
调优是必不可少的技能。
云掣YUNCHE
·
2023-12-24 03:15
技术文档
数据库
运维
hive
大数据
mysql
技本功|
Hive
优化之Spark执行引擎参数调优(二)
Hive
是大数据领域常用的组件之一,主要是大数据离线数仓的运算,关于
Hive
的性能调优在日常工作和面试中是经常涉及的的一个点,因此掌握一些
Hive
调优是必不可少的一项技能。
云掣YUNCHE
·
2023-12-24 03:44
技术文档
spark
hive
Pytorch的C++端(libtorch)在Windows中的使用
https://oldpan.me/arc
hive
s/pytorch-windows-libtorch
蒋豆芽
·
2023-12-24 02:25
Java-jar包的创建与运行
jar包的概念JAR文件的全称是JavaArc
hive
File,意思是Java档案文件。是一种压缩文件,与常见的ZIP压缩文件兼容。
得过且过的勇者y
·
2023-12-24 01:16
java
java
jar
Hive
存储与压缩
格式(推荐)Parquet格式对比压缩ORC——ZLIB压缩ORC——SNAPPY压缩Parquet——GZIP压缩Parquet——SNAPPY压缩总结本文中用到的数据源下载:log.data存储格式
Hive
月亮给我抄代码
·
2023-12-23 22:28
Hive
杂谈
hive
hadoop
大数据
Hive
存储格式和压缩算法
Hive
存储格式和压缩算法在实际的项目开发当中,
hive
表的存储格式一般选择:ORC或PARQUET,压缩算法一般选择Zlib和SNAPPY存储格式分类逻辑表中的数据,最终需要落到磁盘上,以文件的形式存储
Kazi_1024
·
2023-12-23 22:58
Hive
hive
Hive
文件压缩说明(转)
为什么要压缩在
Hive
中对中间数据或最终数据做压缩,是提高数据吞吐量和性能的一种手段。对数据做压缩,可以大量减少磁盘的存储空间,比如基于文本的数据文件,可以将文件压缩40%或更多。
大怀特
·
2023-12-23 22:57
bigdata
database
hive
hadoop
big
data
讲道理,
Hive
文件存储与压缩还是挺重要的
压缩和存储1、文件存储格式
Hive
支持的存储数的格式主要有:TEXTFILE、SEQUENCEFILE、ORC、PARQUET。
看朱成碧_
·
2023-12-23 22:27
Hive
mysql
hive
大数据
分布式存储
HIVE
建表 插入数据 文件格式与压缩格式算法比较
HIVE
文件格式与压缩格式一:mapreduce的压缩mapreduce压缩主要是在shuffle阶段的优化。
皮卡帅
·
2023-12-23 22:27
hive
大数据
hive
Hive
文件存储格式和
Hive
数据压缩小总结
二、
Hive
文件存储格式TEXTFILE
Hive
数据表的默认格式,存储方式:行存储。可以使用Gzip压缩算法,但压缩后的文件不支持split。
浪尖聊大数据-浪尖
·
2023-12-23 22:27
大数据
java
hive
hadoop
spark
Hive
压缩、存储与优化
1、
Hive
压缩概述:
Hive
的压缩是MR的压缩,分为Map端结果文件压缩和Reduce端结果文件压缩压缩性能比较压缩算法原始文件大小压缩文件大小压缩速度解压速度gzip8.3GB1.8GB17.5MB
zeroLinked
·
2023-12-23 22:57
博学谷学习记录
hive
hadoop
大数据
hive
文件存储格式及数据压缩
二、
Hive
文件存储格式TEXTFILE
Hive
数据表的默认格式,存储方式:行存储。
菜梨子不想这么菜!
·
2023-12-23 22:57
大数据
【004
hive
基础】
hive
的文件存储格式与压缩
文章目录一.
hive
的行式存储与列式存储二.存储格式1.TEXTFILE2.ORC格式3.PARQUET格式ing三.
Hive
压缩格式1.mr支持的压缩格式:2.
hive
配置压缩的方式:2.1.开启map
roman_日积跬步-终至千里
·
2023-12-23 22:56
hive
hive
大数据
hadoop
Hive
文件格式与压缩
Hive
文件格式与压缩
Hive
支持的存储数据格式主要有:文本格式(TEXTFILE)、二进制序列化文件(SEQUENCEFILE)、行列式文件(RCFile)、优化的行列式文件(ORC)、PARQUET
会撸代码的懒羊羊
·
2023-12-23 22:56
Educoder
hive
hadoop
linux
数据库
big
data
Hive
权限管理
Hive
权限管理1、
hive
授权模型介绍(1)StorageBasedAuthorizationintheMetastoreServer基于存储的授权-可以对Metastore中的元数据进行保护,但是没有提供更加细粒度的访问控制
新鲜氧气
·
2023-12-23 22:26
大数据
#
hive
#
hadoop
hive
hadoop
数据仓库
Hive
优化
Hive
优化
Hive
的存储层依托于HDFS,
Hive
的计算层依托于MapReduce,一般
Hive
的执行效率主要取决于SQL语句的执行效率,因此,
Hive
的优化的核心思想是MapReduce的优化。
新鲜氧气
·
2023-12-23 22:26
大数据
#
hive
#
hadoop
hive
hadoop
数据仓库
Hive
文件存储格式与数据压缩结合
1压缩比和查询速度对比1)TextFile(1)创建表,存储数据格式为TEXTFILEcreatetablelog_text(track_timestring,urlstring,session_idstring,refererstring,ipstring,end_user_idstring,city_idstring)ROWFORMATDELIMITEDFIELDSTERMINATEDBY'\
北山璎珞
·
2023-12-23 22:56
数据仓库
hive
文件存储格式
数据压缩结合
hive
数据存储与压缩
存储文件压缩比总结:ORC>Parquet>textFile存储文件的查询速度总结:(selectcount(*))ORC>TextFile>Parquet存储方式和压缩总结:在实际的项目开发当中,
hive
Anla Likes Sunshine
·
2023-12-23 22:55
hive
Hive
文件存储与压缩
压缩和存储1、Hadoop压缩配置1)MR支持的压缩编码压缩格式工具算法文件扩展名是否可切分DEFAULT无DEFAULT.deflate否GzipgzipDEFAULT.gz否bzip2bzip2bzip2.bz2是LZOlzopLZO.lzo否LZ4无LZ4.lz4否Snappy无Snappy.snappy否为了支持多种压缩/解压缩算法,Hadoop引入了编码/解码器,如下表所示压缩格式对应的
新鲜氧气
·
2023-12-23 22:24
大数据
#
hive
#
hadoop
hive
hadoop
数据仓库
Hive
-DML详解(超详细)
文章目录前言
Hive
QL的数据操作语言(DML)1.插入数据1.1直接插入固定值1.2插入查询结果2.更新数据3.删除数据3.1删除整个分区4.查询数据4.1基本查询4.2条件筛选4.3
聚合函数
总结前言本文将介绍
大数据魔法师
·
2023-12-23 22:38
Hive之旅
hive
ClickHouse(19)ClickHouse集成
Hive
表引擎详细解析
文章目录
Hive
集成表引擎创建表使用示例如何使用HDFS文件系统的本地缓存查询ORC输入格式的
Hive
表在
Hive
中建表在ClickHouse中建表查询Parquest输入格式的
Hive
表在
Hive
中建表在
张飞的猪大数据
·
2023-12-23 20:37
ClickHouse入门与实战
clickhouse
hive
数据仓库
大数据
数据库
Ubuntu离线安装 MySQL 5.7
一、所需环境操作系统:Ubuntu20.04数据库:MySQL5.7.34网络情况:内网服务器,无法访问互联网资源二、提前下载所需以来及安装包1、所需依赖包(1)libmecab2http://arc
hive
.ubuntu.com
球球罐罐
·
2023-12-23 19:09
#
关系型数据库
ubuntu
mysql
【MySQL】表的增删查改
文章目录表的增删查改Create单行数据+全列插入多行数据+指定列插入插入否则更新替换数据RetrieveSELECT列WHERE条件结果排序筛选分页结果UpdateDelete删除数据截断表插入查询结果
聚合函数
分组查询表的增删查改
星河万里᭄ꦿ࿐
·
2023-12-23 17:12
MySQL
mysql
数据库
【
Hive
】——函数
1概述2内置函数内置函数(build-in)指的是
Hive
开发实现好,直接可以使用的函数,也叫做内建函数。
那时的样子_
·
2023-12-23 17:40
hive
hadoop
数据仓库
上一页
41
42
43
44
45
46
47
48
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他