E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hive分区表
66.管理
Hive
外部表——Sentry
66.1演示环境介绍操作系统:CentOS6.5CM和CDH版本:5.12.1采用root用户操作集群运行正常,Kerberos/HDFS/
Hive
/Impala/Hue服务已与Sentry集成,
Hive
大勇任卷舒
·
2024-01-28 11:57
浅谈
Hive
和HBase有哪些区别与联系及适用场景
在学大数据分析的过程中,
Hive
和HBase是两个非常重要的内容,对于初学者而言容易混淆。所以比较两者的联系与差别,能够帮助我们对这两个组件有一个清晰的认识和定位。
尚学先生
·
2024-01-28 11:19
Hive
SQL优化常见问题汇总
一、
hive
动态配置项
hive
.optimize.cp=true:列裁剪
hive
.optimize.prunner:分区裁剪
hive
.limit.optimize.enable=true:优化LIMITn
Luckyliboy
·
2024-01-28 09:07
hive
hive
常见问题汇总
>>>1、java.sql.SQLException:ColumnnamepatterncannotbeNULLorempty.在启动
hive
时,可能会遇到以下异常:java.sql.SQLException
weixin_34413802
·
2024-01-28 09:07
大数据
数据库
java
hive
常见问题汇总
1、
hive
的
Hive
MetaStore或者
Hive
Server2服务进程正常,但却不能提供相应服务原因:堆内存不足解决方案:在
hive
-env.sh中调整堆内存大小2、连接
hive
metastore出现
cxy1991xm
·
2024-01-28 09:37
hive
Hive
常见问题汇总
Hive
和Hadoop的关系
Hive
构建在Hadoop之上,HQL中对查询语句的解释、优化、生成查询计划是由
Hive
完成的所有的数据都是存储在Hadoop中查询计划被转化为MapReduce任务,在Hadoop
不加班程序员
·
2024-01-28 09:37
Hadoop相关
ETL
hive
hive
hadoop
数据仓库
Spark——Spark覆盖
分区表
中指定的分区
那么这个业务场景就转换成了“如何向一个已存在的
分区表
写入并覆盖当前月份的状态数据,而又保留历史月份数据”的问题。
Southwest-
·
2024-01-28 08:18
Spark
Spark
Spark——Spark/
Hive
向量化查询执行原理分析(Vectorization Query Execution)
文章目录什么是向量化查询执行列式存储Spark向量化查询执行
Hive
向量化查询执行参考什么是向量化查询执行在标准的查询执行系统中,每次只处理一行数据,每次处理都要走过较长的代码路径和元数据解释,从而导致
Southwest-
·
2024-01-28 08:47
Spark
Spark
Hive
向量化
Spark——Spark读写MongoDB
文章目录Spark直连MongoDB1.通过SparkConf2.通过ReadConfig3.通过DataFrameReader
Hive
中创建映射表mongoexport导出文件参考如果我们要想通过Spark
Southwest-
·
2024-01-28 08:46
Spark
Spark
MongoDB
Spark——Spark读写Greenplum/Greenplum-Spark Connector高速写Greenplum
文章目录问题背景解决方式代码实现Spark写GreenplumSpark读Greenplum参考问题背景通过数据平台上的DataX把
Hive
表数据同步至Greenplum(因为DataX原生不支持GreenplumWriter
Southwest-
·
2024-01-28 08:42
Spark
spark
大数据
分布式
Hive
面试题*精选*!附答案!!!
HIVE
面试一、
Hive
的基本概念1.什么是
hive
Hive
是一款开源的基于hadoop的用于统计海量结构化数据的一个数据仓库,它定义了简单的类似SQL的查询语言,称为HQL,允许熟悉SQL的用户查询数据
yhy_only
·
2024-01-28 07:36
hive
学习
大数据
Hive
面试题
Hive
面试题1.
Hive
的架构2.
Hive
和数据库比较
Hive
和数据库除了拥有类似的查询语言,再无类似之处。1)数据存储位置
Hive
存储在HDFS。数据库将数据保存在块设备或者本地文件系统中。
肿么肥四啊哈
·
2024-01-28 07:34
hive学习笔记
大数据面试题
hive
Hive
框架的搭建和使用_第三节_
hive
建表_分区_函数
Hive
框架的搭建和使用_第三节_
hive
建表_分区_函数
hive
的相关操作分区建表函数系列化1.
hive
的内部外部表2.
hive
下的分区建表2.1单分区内部表2.2双分区内部表2.3外部表双分区2.4
下次遇见说你好
·
2024-01-28 07:34
hive
大数据
hive
数据库
Hive
之set参数大全-17
配置是否启用
Hive
Server2的Web用户界面(WebUI)中的跨源资源共享(CORS)在
Hive
中,
hive
.server2.webui.enable.cors是一个参数,用于配置是否启用
Hive
Server2
OnePandas
·
2024-01-28 07:33
Hive
hive
数据仓库
Hive
之set参数大全-18
指定在执行Spark上的动态分区裁剪时,用于评估分区数据大小的最大限制在
Hive
中,
hive
.spark.dynamic.partition.pruning.max.data.size是一个配置参数,用于指定在执行
OnePandas
·
2024-01-28 07:33
Hive
hive
数据仓库
hive
面试题总结(大数据面试)
Hive
概述
Hive
是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射成为一张数据库表,并提供类SQL的查询功能。可以将sql语句转化为MapReduce任务进行运行。
404个问号
·
2024-01-28 07:02
大数据
大数据
hive
java
Hive
3.1.3基础(续)
参考B站尚硅谷
分区表
和分桶表
分区表
Hive
中的分区就是把一张大表的数据按照业务需要分散的存储到多个目录,每个目录就称为该表的一个分区。
魅美
·
2024-01-28 07:31
hive
hive
面试题
0.思维导图1.简述
Hive
♥♥ 我理解的,
hive
就是一款构建数据仓库的工具,它可以就结构化的数据映射为一张表,并且可以通过SQL语句进行查询分析。
韩顺平的小迷弟
·
2024-01-28 07:29
大数据面试题
hive
hadoop
数据仓库
mysql5.7 二进制包安装
一、mysql二进制安装1.下载安装包1.1下载地址:https://downloads.mysql.com/arc
hive
s/community/ProductVersion:5.7.34(选择需要的安装的版本
dacidong
·
2024-01-28 07:27
数据库
mysql
linux
数据库
DolphinDB学习(2):增删改查数据表(分布式表的基本操作)
文章目录创建数据表1.创建数据表全流程2.核心:创建table3.在已有的数据表中追加新的数据数据表自身的操作1.查询有哪些数据表2.删除某张数据表3.修改数据表的名称博客里只介绍最常见的
分区表
(createPartitionedTable
呆萌的代Ma
·
2024-01-28 06:50
数据库
学习
分布式
Xcode 14.3 打包Command PhaseScriptExecution failed with a nonzero exit code
Xcode14.3Arc
hive
打包时在编译到最后的时候会出现CommandPhaseScriptExecutionfailedwithanonzeroexitcode的报错出现这个问题的时候当时也是有点懵逼的
ZJS_Sky
·
2024-01-28 06:04
DevOps工程师技能_容器化技术之K8s集群搭建
K8s-集群搭建部署说明1、安装包下载CentOSLinux7.61810x8664iso官方原版镜像下载https://renwole.com/arc
hive
s/15302、系统环境配置ipaddrvi
Coder_Boy_
·
2024-01-28 06:57
DevOps
软件工程化
devops
k8s
常见的MIME形式的数据类型
扩展名**文档类型**MIME类型.aacAACaudioaudio/aac.abwAbiWorddocumentapplication/x-abiword.arcArc
hive
document(multiplefilesembedded
微笑碧落
·
2024-01-28 04:48
Qt5编译qextserialport(Qt5.14.2+VS2017)
qextserialport:Automaticallyexportedfromcode.google.com/p/qextserialport(2)code.googlehttps://code.google.com/arc
hive
lingsnoopy
·
2024-01-28 04:12
QT
qt
开发语言
4.
Hive
表更新字段信息,一次讲明白
Hive
表更新字段信息一、更新表字段语句1、修改字段名称2、修改字段类型3、修改字段备注二、总结一、更新表字段语句ALTERTABLEtable_name[PARTITIONpartition_spec
幻想的蜗牛
·
2024-01-28 04:01
#
DDL相关
hive
5.
Hive
表修改Location,一次讲明白
Hive
表修改Loction一、
Hive
中修改Location语句二、方案1删表重建1.创建表,写错误的Location2.查看Location3.删表4.创建表,写正确的Location5.查看Location
幻想的蜗牛
·
2024-01-28 04:31
#
DDL相关
hive
3.工作中慎用删字段的操作(
Hive
)
1.分析原因在工作中你可能会遇到这种情况,某个表中字段很多,数据量又特别庞大,而某些字段可能用处不大。这时,你可能会想到删除这些不用的字段以减少数据量,加快任务的执行和数据的重刷。2.操作建议在生产环境中,慎用删字段的操作,删除字段很可能会带来一些意想不到的问题,解决起来也十分麻烦。建议操作如下:(1)将无用字段置空;(2)删表重建。
幻想的蜗牛
·
2024-01-28 04:31
#
DDL相关
数据仓库
etl
hive
hive
sql 语句执行顺序及执行计划
hive
语句执行顺序from...where....select...groupby...having...orderby...执行计划MapOperatorTree:TableScanalias:表名
姜小嫌
·
2024-01-28 01:15
MacOS开发 鼠标拖动窗口事件
参考官方文档:https://developer.apple.com/library/arc
hive
/documentation/Cocoa/Conceptual/WinPanel/Tasks/SizingPlacingWindows.htmlNSWindow
drmi
·
2024-01-28 00:40
Hive
-
Hive
QL练习题
数组下标取元素扩充数据题目扩充为连续整数解决笛卡尔积题目扩充为自身解决标记过滤展开数据题目展开字符串思路解决1交叉连接解决2lateralview炸裂函数环境Windows,VMware,Linux,
hive
日月交辉
·
2024-01-27 23:48
HiveQL
sql
hive
Hive
-
Hive
QL练习题-提取位置
文章目录提取位置题目提取1的位置解决字符串拆成数组题目成对提取解决1posexplode位置相等解决2数组下标解决3explode+排名+交叉连接提取位置题目提取1的位置createtableposition_1(avarchar(7)comment'含1的字符串')comment'1的位置';insertintoposition_1values('1011'),('0101');解决字符串拆成数
日月交辉
·
2024-01-27 23:48
HiveQL
hive
hadoop
数据仓库
Hive
数据倾斜
目录数据倾斜what怎么判断/主要表现why小表join大表倾斜场景优化mapjoin不能解决的大表join大表不同数据类型关联异常值(null/0)groupbydistinct转groupby优化之前其他数据倾斜what“倾斜”来自于统计学里的的偏态分布数据分布不均匀,大量数据集中到一点,造成数据热点怎么判断/主要表现查看日志/任务监控页面,reduce节点大部分执行完毕,少数几个运行很慢或卡
日月交辉
·
2024-01-27 23:18
Hive
hive
hadoop
数据仓库
big
data
mapreduce
大数据
Hive
-函数总结
目录查看分类分组数学取余字符串数组炸裂explode(array|map)posexplodelateralview排序4byorderby全局排序sortby每个reducer内排序distributeby分组clusterby排名聚合查看showfunctions--查看所有函数,共216个showfunctionslike'*array*'--模糊查询descfunctionextended
日月交辉
·
2024-01-27 23:16
Hive
hive
hadoop
数据仓库
Spark-core
SparkCore中还包含了对弹性分布式数据集的APISparkSQL可以使用sql结构化语句来查询数据,支持多种数据源,
hive
,json等SparkStreaming是Spark对
luckboy0000
·
2024-01-27 23:12
学习笔记
Oracle篇—分区索引的重建和管理(第三篇,总共五篇)
Oracle、MySQL、SQLserver、Linux,也在积极的扩展IT方向的其他知识面✌✌️❣️❣️❣️大佬们都喜欢静静的看文章,并且也会默默的点赞收藏加关注❣️❣️❣️好久不见,今天这篇文章作为
分区表
和分区索引管理的第三篇
奈斯ing
·
2024-01-27 18:43
oracle
数据库
运维
基准性能测试
1.Mysq基准测试工作之sysbench1.1)安装说明https://github.com/akopytov/sysbench/arc
hive
/0.5.zipunzipsysbench-0.5.zipcdsysbench
huxt
·
2024-01-27 16:28
开发手札:记录跟踪ios上架问题
三个游戏一个软件),因为apple政策收紧的原因,游戏是不考虑上架了,除非我做一个不错的先在steam得到好评再说,所以只考虑上架那个图形工具app,上架流程就和以前上架一样,xcodebuildarc
hive
羊羊2035
·
2024-01-27 16:06
开发手札
gradle配置 uploadArc
hive
s上传文件到私服仓库
Gradle子工程之间通过compile/implementationproject(":XXX")这种方式依赖是非常便利的,但是这样的时候,如果用uploadArc
hive
s上传AAR到Maven,就可以通过
andylao62
·
2024-01-27 16:01
流媒体
android
studio
ijkplayer
建站资源|静态网站托管服务
转自http://kermsite.ml/index.php/arc
hive
s/141,如有任何格式问题请阅读原文什么是静态网站托管服务不知道大家是否有用过GithubPages或者GiteePages
LaIiIi
·
2024-01-27 16:53
Hive
窗口函数row number的用法, 你肯定都会吧!
,今天我们就来看一下排序相关的窗口函数,因为是窗口函数,并且我们说它是用来排序的,我们大概也能猜到它就是用来对窗口内的数据进行排序的其实关于排序我们前面也介绍过orderby,sortby等排序的方式
Hive
大数据技术派
·
2024-01-27 15:42
Spark连接
Hive
的两种方式
一、使用
hive
-site.xml第一步:将集群中的
hive
-site.xml的内容复制出来,并放在idea项目的resources下,要求文件命名为:
hive
-site.xmldatanucleus.schema.autoCreateAlltruejavax.jdo.option.ConnectionURLjdbc
修勾勾L
·
2024-01-27 13:50
Spark
Hive
hive
spark
mysql
Hive
建表语句详解
一、HQL建表语法格式(hql不区分大小写,[]中的属性是可选属性)CREATE[EXTERNAL]TABLE[IFNOTEXISTS]table_name[(col_namedata_type[COMMENTcol_comment],...)][COMMENTtable_comment][PARTITIONEDBY(col_namedata_type[COMMENTcol_comment],..
修勾勾L
·
2024-01-27 13:20
Hive
hive
big
data
hadoop
mac安装mysql数据库
1.现在合适的版本MySQL::DownloadMySQLCommunityServer(Arc
hive
dVersions)https://downloads.mysql.com/arc
hive
s/community
qq_1411
·
2024-01-27 10:14
数据库
mysql
2021-03-07
HDFS=====>解决存储问题·MapReduce=====>解决计算问题·Yarn=====>资源协调者·Zookeeper=====>分布式应用程序协调服务·Flume=====>日志收集系统·
Hive
残月冷无声
·
2024-01-27 10:39
Anaconda 镜像清华大学开源软件镜像站
Anaconda安装包可以到Indexof/anaconda/arc
hive
/|清华大学开源软件镜像站|TsinghuaOpenSourceMirror下载。
baidu_huihui
·
2024-01-27 10:39
Anaconda
清华大学开源软件镜像站
大数据数据流分析和处理的工具pig,从入门到精通!
Pig的特点包括:面向过程的数据流语言:与
Hive
等其他大数据处理工具相比,Pig更注重数据处理的过程性,适用于
知识分享小能手
·
2024-01-27 09:05
学习心得体会
大数据
大数据
数据分析
数据库
Hive
实战 —— 电商数据分析(全流程详解 真实数据)
目录前言需求概述数据清洗数据分析一、前期准备二、项目1.数据准备和了解2.确定数据粒度和有效列3.HDFS创建用于上传数据的目录4.建库数仓分层5.建表5.1近源层建表5.2.明细层建表为什么要构建时间维度表?如何构建时间维度表?5.3轻聚层建表6.指标数据分析7.1计算每月总收入7.2计算每个季度的总收入7.3按年计算总收入7.4按工作日计算总收入7.5按时间段计算总收入7.6按时间段计算平均消
Byyyi耀
·
2024-01-27 08:25
hive
数据分析
hadoop
Hive
3.1.3基础
参考B站尚硅谷目录什么是
Hive
Hive
架构原理
Hive
安装
Hive
安装地址
Hive
安装部署安装
Hive
启动并使用
Hive
MySQL安装安装MySQL配置MySQL配置
Hive
元数据存储到MySQL配置元数据到
魅美
·
2024-01-27 08:55
hive
大数据
Hive
之set参数大全-15
指定
Hive
Server2使用的认证方式
hive
.server2.authentication是
Hive
中的一个参数,用于指定
Hive
Server2使用的认证方式。
OnePandas
·
2024-01-27 08:55
Hive
hive
数据仓库
Hive
之set参数大全-16
配置
Hive
Server2中TezWorkloadManager(WM)ApplicationMaster(AM)注册的超时时间在
Hive
中,
hive
.server2.tez.wm.am.registry.timeout
OnePandas
·
2024-01-27 08:55
Hive
hive
数据仓库
上一页
14
15
16
17
18
19
20
21
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他