E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hive启动报错
技本功|
Hive
优化之监控(三)
Hive
是大数据领域常用的组件之一,主要是大数据离线数仓的运算,关于
Hive
的性能调优在日常工作和面试中是经常涉及的一个点,因此掌握一些
Hive
调优是必不可少的技能。
云掣YUNCHE
·
2023-12-24 03:15
技术文档
数据库
运维
hive
大数据
mysql
技本功|
Hive
优化之Spark执行引擎参数调优(二)
Hive
是大数据领域常用的组件之一,主要是大数据离线数仓的运算,关于
Hive
的性能调优在日常工作和面试中是经常涉及的的一个点,因此掌握一些
Hive
调优是必不可少的一项技能。
云掣YUNCHE
·
2023-12-24 03:44
技术文档
spark
hive
Pytorch的C++端(libtorch)在Windows中的使用
https://oldpan.me/arc
hive
s/pytorch-windows-libtorch
蒋豆芽
·
2023-12-24 02:25
Java-jar包的创建与运行
jar包的概念JAR文件的全称是JavaArc
hive
File,意思是Java档案文件。是一种压缩文件,与常见的ZIP压缩文件兼容。
得过且过的勇者y
·
2023-12-24 01:16
java
java
jar
Hive
存储与压缩
格式(推荐)Parquet格式对比压缩ORC——ZLIB压缩ORC——SNAPPY压缩Parquet——GZIP压缩Parquet——SNAPPY压缩总结本文中用到的数据源下载:log.data存储格式
Hive
月亮给我抄代码
·
2023-12-23 22:28
Hive
杂谈
hive
hadoop
大数据
Hive
存储格式和压缩算法
Hive
存储格式和压缩算法在实际的项目开发当中,
hive
表的存储格式一般选择:ORC或PARQUET,压缩算法一般选择Zlib和SNAPPY存储格式分类逻辑表中的数据,最终需要落到磁盘上,以文件的形式存储
Kazi_1024
·
2023-12-23 22:58
Hive
hive
Hive
文件压缩说明(转)
为什么要压缩在
Hive
中对中间数据或最终数据做压缩,是提高数据吞吐量和性能的一种手段。对数据做压缩,可以大量减少磁盘的存储空间,比如基于文本的数据文件,可以将文件压缩40%或更多。
大怀特
·
2023-12-23 22:57
bigdata
database
hive
hadoop
big
data
讲道理,
Hive
文件存储与压缩还是挺重要的
压缩和存储1、文件存储格式
Hive
支持的存储数的格式主要有:TEXTFILE、SEQUENCEFILE、ORC、PARQUET。
看朱成碧_
·
2023-12-23 22:27
Hive
mysql
hive
大数据
分布式存储
HIVE
建表 插入数据 文件格式与压缩格式算法比较
HIVE
文件格式与压缩格式一:mapreduce的压缩mapreduce压缩主要是在shuffle阶段的优化。
皮卡帅
·
2023-12-23 22:27
hive
大数据
hive
Hive
文件存储格式和
Hive
数据压缩小总结
二、
Hive
文件存储格式TEXTFILE
Hive
数据表的默认格式,存储方式:行存储。可以使用Gzip压缩算法,但压缩后的文件不支持split。
浪尖聊大数据-浪尖
·
2023-12-23 22:27
大数据
java
hive
hadoop
spark
Hive
压缩、存储与优化
1、
Hive
压缩概述:
Hive
的压缩是MR的压缩,分为Map端结果文件压缩和Reduce端结果文件压缩压缩性能比较压缩算法原始文件大小压缩文件大小压缩速度解压速度gzip8.3GB1.8GB17.5MB
zeroLinked
·
2023-12-23 22:57
博学谷学习记录
hive
hadoop
大数据
hive
文件存储格式及数据压缩
二、
Hive
文件存储格式TEXTFILE
Hive
数据表的默认格式,存储方式:行存储。
菜梨子不想这么菜!
·
2023-12-23 22:57
大数据
【004
hive
基础】
hive
的文件存储格式与压缩
文章目录一.
hive
的行式存储与列式存储二.存储格式1.TEXTFILE2.ORC格式3.PARQUET格式ing三.
Hive
压缩格式1.mr支持的压缩格式:2.
hive
配置压缩的方式:2.1.开启map
roman_日积跬步-终至千里
·
2023-12-23 22:56
hive
hive
大数据
hadoop
Hive
文件格式与压缩
Hive
文件格式与压缩
Hive
支持的存储数据格式主要有:文本格式(TEXTFILE)、二进制序列化文件(SEQUENCEFILE)、行列式文件(RCFile)、优化的行列式文件(ORC)、PARQUET
会撸代码的懒羊羊
·
2023-12-23 22:56
Educoder
hive
hadoop
linux
数据库
big
data
Hive
权限管理
Hive
权限管理1、
hive
授权模型介绍(1)StorageBasedAuthorizationintheMetastoreServer基于存储的授权-可以对Metastore中的元数据进行保护,但是没有提供更加细粒度的访问控制
新鲜氧气
·
2023-12-23 22:26
大数据
#
hive
#
hadoop
hive
hadoop
数据仓库
Hive
优化
Hive
优化
Hive
的存储层依托于HDFS,
Hive
的计算层依托于MapReduce,一般
Hive
的执行效率主要取决于SQL语句的执行效率,因此,
Hive
的优化的核心思想是MapReduce的优化。
新鲜氧气
·
2023-12-23 22:26
大数据
#
hive
#
hadoop
hive
hadoop
数据仓库
Hive
文件存储格式与数据压缩结合
1压缩比和查询速度对比1)TextFile(1)创建表,存储数据格式为TEXTFILEcreatetablelog_text(track_timestring,urlstring,session_idstring,refererstring,ipstring,end_user_idstring,city_idstring)ROWFORMATDELIMITEDFIELDSTERMINATEDBY'\
北山璎珞
·
2023-12-23 22:56
数据仓库
hive
文件存储格式
数据压缩结合
hive
数据存储与压缩
存储文件压缩比总结:ORC>Parquet>textFile存储文件的查询速度总结:(selectcount(*))ORC>TextFile>Parquet存储方式和压缩总结:在实际的项目开发当中,
hive
Anla Likes Sunshine
·
2023-12-23 22:55
hive
Hive
文件存储与压缩
压缩和存储1、Hadoop压缩配置1)MR支持的压缩编码压缩格式工具算法文件扩展名是否可切分DEFAULT无DEFAULT.deflate否GzipgzipDEFAULT.gz否bzip2bzip2bzip2.bz2是LZOlzopLZO.lzo否LZ4无LZ4.lz4否Snappy无Snappy.snappy否为了支持多种压缩/解压缩算法,Hadoop引入了编码/解码器,如下表所示压缩格式对应的
新鲜氧气
·
2023-12-23 22:24
大数据
#
hive
#
hadoop
hive
hadoop
数据仓库
Hive
-DML详解(超详细)
文章目录前言
Hive
QL的数据操作语言(DML)1.插入数据1.1直接插入固定值1.2插入查询结果2.更新数据3.删除数据3.1删除整个分区4.查询数据4.1基本查询4.2条件筛选4.3聚合函数总结前言本文将介绍
大数据魔法师
·
2023-12-23 22:38
Hive之旅
hive
ClickHouse(19)ClickHouse集成
Hive
表引擎详细解析
文章目录
Hive
集成表引擎创建表使用示例如何使用HDFS文件系统的本地缓存查询ORC输入格式的
Hive
表在
Hive
中建表在ClickHouse中建表查询Parquest输入格式的
Hive
表在
Hive
中建表在
张飞的猪大数据
·
2023-12-23 20:37
ClickHouse入门与实战
clickhouse
hive
数据仓库
大数据
数据库
Ubuntu离线安装 MySQL 5.7
一、所需环境操作系统:Ubuntu20.04数据库:MySQL5.7.34网络情况:内网服务器,无法访问互联网资源二、提前下载所需以来及安装包1、所需依赖包(1)libmecab2http://arc
hive
.ubuntu.com
球球罐罐
·
2023-12-23 19:09
#
关系型数据库
ubuntu
mysql
【
Hive
】——函数
1概述2内置函数内置函数(build-in)指的是
Hive
开发实现好,直接可以使用的函数,也叫做内建函数。
那时的样子_
·
2023-12-23 17:40
hive
hadoop
数据仓库
hive
中stage和job的关联
1.通过explain可以清晰的看到stage划分。常见的是各个算子(joingroupbyorderby等有shuffle)或者是一些filterwhere等。2.基于上面的1就可以划分出stage。但是有些stage并不会执行,或者说经过优化器后的filterwhere会在其他stage里进行。这样,有些stage就是空的stage。3.基于stage划分,如何确定job数量(总数就是stag
不可一世的绵羊
·
2023-12-23 17:43
李笑来分享的文章:Success That Lasts
byLauraNashandHowardH.StevensonFromtheFebruary2004IssueExploreTheArc
hive
RECOMMENDEDHarvardBusinessReview
奔跑的红豹子
·
2023-12-23 17:31
Hive
的四种排序方法
Hive
的四种排序方法
hive
排序方法,
hive
的排序方式
hive
有四种排序方法:ORDERBY、SORTBY、DISTRIBUTEBY、CLUSTERBY0.测试数据准备--数据准备WITHt_emp_infoAS
Taerge0110
·
2023-12-23 16:06
SQL
大数据
hive
hadoop
数据仓库
详细分析mysql事务日志
https://www.cnblogs.com/f-ck-need-u/arc
hive
/2018/05/08/9010872.html#auto_id_7
托盘毛毛
·
2023-12-23 15:28
使用PE信息查看工具和Dependency Walker工具排查因为库版本不对导致程序
启动报错
问题
目录1、问题说明2、问题分析思路3、问题分析过程3.1、使用DependencyWalker打开软件主程序,查看库与库的依赖关系,查看出问题的库3.2、使用PE工具查看dll库的时间戳3.3、解决办法4、最后VC++常用功能开发汇总(专栏文章列表,欢迎订阅,持续更新...)https://blog.csdn.net/chenlycly/article/details/124272585C++软件异
dvlinker
·
2023-12-23 15:14
C/C++技术分享
PE工具
文件的时间戳
Depends
库与库的依赖关系
找不到接口
名称改编
动态库
WPF简单的User Control
原文地址:http://www.cnblogs.com/NailClipper/arc
hive
/2012/09/18/2691527.html很早以前就接触了WPF,可是一直没怎么仔细研究过。
Waitforsniping
·
2023-12-23 14:44
WPF初学
binding
wpf
WPF
面向对象分析与设计好文章
https://www.cnblogs.com/leoo2sk/arc
hive
/2008/11/08/1329468.html本文以实例的方式,展示了如何使用UML进行面向对象的分析与设计。
天一生水water
·
2023-12-23 14:09
软件工程
win7安装解压版mysql教程_Win7下MySQL解压缩版安装配置
原本想搭建
Hive
远程模式,发现机子上除了oracle和sybase以外没有其他的数据库了。
圆的方块
·
2023-12-23 13:34
DBeaver连接
hive
1.新建
hive
连接其中主机填写
hive
所在节点地址,端口10000为默认,数据库名不填则是默认default数据库,用户名密码填写hadoop集群中能操作hdfs的用户和密码。
sunweiking
·
2023-12-23 12:38
hive
hive
hadoop
数据仓库
Hive
-high Avaliabl
hive
—highAvaliable
hive
的搭建方式有三种,分别是1、Local/EmbeddedMetastoreDatabase(Derby)2、RemoteMetastoreDatabase3、
新鲜氧气
·
2023-12-23 12:05
#
hadoop
大数据
#
hive
hive
hadoop
数据仓库
hive
sql常用函数
目录一、数据类型二、基础运算三、字符串函数1、字符串长度函数:length()2、字符串反转函数:reverse3、字符串连接函数4、字符串截取函数5、字符串分割函数:split6、字符串查找函数7、ascii8、base649、character_length10、chr11、decode12、encode13、sentences14、ngrams15、context_ngrams16、elt1
刘文钊1
·
2023-12-23 12:04
#
大数据数据库
hive
sql
hadoop
那我开始讲
Hive
特性了!
Hive
架构原理a.用户接口:ClientCLI(
Hive
shell)、JDBC/ODBC(java访问
hive
)、
Hive
WEBUI(浏览器访问
hive
)和Thrift服务器b.驱动器:Driver解析器
Joy T
·
2023-12-23 12:31
大数据
hive
hadoop
数据仓库
Oracle-DG备库日志应用异常问题分析
问题背景:接用户报障,一个OracleDG单实例备库日志应用出现异常,后台alert日志不断提示Unabletocreatearc
hive
logfile报错,需要进行分析排查问题分析:查看数据库的后台alert
牛牛的笔记
·
2023-12-23 12:06
oracle
数据库
dba
运维
问题分析
4-Docker命令之docker load
dockerload用法dockerload[参数][root@centos79~]#dockerload--helpUsage:dockerload[OPTIONS]Loadanimagefromatararc
hive
orSTDINAliases
小黑要上天
·
2023-12-23 09:19
docker
docker
容器
Ubuntu搭建Nodejs服务器
转自:https://www.8kiz.cn/arc
hive
s/3228.html在Ubuntu上搭建Node.js服务器,按照以下步骤进行:打开终端。使用包管理器安装Node.js。
二进制女猿
·
2023-12-23 08:31
#
node
运维
服务器
ubuntu
linux
前端
node
kali更新到2018出现安装包校验异常
解决办法:wget-q-O-https://arc
hive
.kali.org/arc
hive
-key.asc|apt-keyadd
一点也不想吃辣
·
2023-12-23 08:23
如何仅用几分钟就能破解8个字符长的密码?
但是据安全公司
Hive
Systems的研究显示,如果密码所含的字符不够多,密码的复杂性本身仍然不足以避免密码被破解。破解密码需要多长时间?
c++服务器开发
·
2023-12-23 08:28
硬件架构
hive
高级查询
--查询语句SELECT5,"student",88.5;SELECT*FROMstudent;SELECTname,id,id,nameFROMstudentWHEREid>1002;SELECT*FROMstudentlimit2;【注意:只能有一个参数】SELECT*FROMstudentWHEREnamerlike'(j|r).*';SELECTsex,avg(mark)FROMscore
xinxinyydss
·
2023-12-23 07:09
数据库
sql
java
【
Hive
】在博客系统中如何应用
Hive
进行离线数据管理
Hive
是一个开源的数据仓库基础设施,它能够在博客系统中提供强大的离线数据管理能力。本文将详细介绍如何在博客系统中应用
Hive
进行离线数据管理,并提供一些示例。什么是
Hive
?
小吴同学GOGOGO
·
2023-12-23 06:54
hive
数据仓库
大数据
hadoop
【
hive
】
Hive
中的大宽表及其底层详细技术点
为了满足这种需求,
Hive
引入了大宽表(LargeWideTable)的概念,它是一种在
Hive
中管理和处理大量列的数据表格。本文将详细介绍
Hive
中的大宽表概念以及其底层的详细技术点。什么是大宽表?
小吴同学GOGOGO
·
2023-12-23 06:19
hive
hadoop
数据仓库
hive
server负载均衡配置
creation/editor/135152478二.配置nginx服务参数worker_processes1;events{worker_connections1024;}stream{upstream
hive
server2
远方有海,小样不乖
·
2023-12-23 06:19
负载均衡
大数据
【hadoop|报错】Cannot modify tez.queue.name at runtime. It is not in list of params that are allowed ...
报错内容:报错分析:hdp3.0.0的
hive
为3.0.0以上,运行引擎为tez,需要添加参数,让tez前缀的配置生效
hive
.security.authorization.sqlstd.confwhitelistmapred
维运
·
2023-12-23 06:10
大数据Hadoop
hadoop
大数据
分布式
ubuntu 恢复apt_ubuntu18.04误删apt-get命令恢复总结
aptitude命令替换了apt-get命令后感到后悔,想要恢复apt-get命令,特此总结以下踩过的坑aptitude和apt-get的区别:https://www.cnblogs.com/yuxc/arc
hive
weixin_39540178
·
2023-12-23 01:16
ubuntu
恢复apt
79.Sentry实现
Hive
/Impala数据脱敏
79.1演示环境介绍CM和CDH版本:5.13.1已启用Kerberos已启用Sentry79.2操作演示测试数据[root@ip-186-31-16-68datamasking]#vimemployees.csv1,JohnSmith,123-55-4567,25000.02,JimBloggs,999-88-7777,35000.03,JaneDoe,808-88-0880,45000.0创建
大勇任卷舒
·
2023-12-22 21:55
基于MLP完成CIFAR-10数据集和UCI wine数据集的分类
基于MLP完成CIFAR-10数据集和UCIwine数据集的分类,使用到了sklearn和tensorflow,并对图片分类进行了数据可视化展示数据集介绍UCIwine数据集:http://arc
hive
.ics.uci.edu
晓宜
·
2023-12-22 20:36
人工智能
分类
数据挖掘
人工智能
hive
中array相关函数总结
目录
hive
官方函数解释示例实战
hive
官方函数解释
hive
官网函数大全地址:
hive
官网函数大全地址ReturnTypeNameDescriptionarrayarray(value1,value2,
浊酒南街
·
2023-12-22 18:33
大数据系列三
hive
hadoop
数据仓库
hive
中map相关函数总结
目录
hive
官方函数解释示例实战
hive
官方函数解释
hive
官网函数大全地址:
hive
官网函数大全地址ReturnTypeNameDescriptionmapmap(key1,value1,key2,value2
浊酒南街
·
2023-12-22 18:03
大数据系列三
hive
hadoop
数据仓库
上一页
39
40
41
42
43
44
45
46
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他