E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hive日常操作
Spark——Spark读写Greenplum/Greenplum-Spark Connector高速写Greenplum
文章目录问题背景解决方式代码实现Spark写GreenplumSpark读Greenplum参考问题背景通过数据平台上的DataX把
Hive
表数据同步至Greenplum(因为DataX原生不支持GreenplumWriter
Southwest-
·
2024-01-28 08:42
Spark
spark
大数据
分布式
Hive
面试题*精选*!附答案!!!
HIVE
面试一、
Hive
的基本概念1.什么是
hive
Hive
是一款开源的基于hadoop的用于统计海量结构化数据的一个数据仓库,它定义了简单的类似SQL的查询语言,称为HQL,允许熟悉SQL的用户查询数据
yhy_only
·
2024-01-28 07:36
hive
学习
大数据
Hive
面试题
Hive
面试题1.
Hive
的架构2.
Hive
和数据库比较
Hive
和数据库除了拥有类似的查询语言,再无类似之处。1)数据存储位置
Hive
存储在HDFS。数据库将数据保存在块设备或者本地文件系统中。
肿么肥四啊哈
·
2024-01-28 07:34
hive学习笔记
大数据面试题
hive
Hive
框架的搭建和使用_第三节_
hive
建表_分区_函数
Hive
框架的搭建和使用_第三节_
hive
建表_分区_函数
hive
的相关操作分区建表函数系列化1.
hive
的内部外部表2.
hive
下的分区建表2.1单分区内部表2.2双分区内部表2.3外部表双分区2.4
下次遇见说你好
·
2024-01-28 07:34
hive
大数据
hive
数据库
Hive
之set参数大全-17
配置是否启用
Hive
Server2的Web用户界面(WebUI)中的跨源资源共享(CORS)在
Hive
中,
hive
.server2.webui.enable.cors是一个参数,用于配置是否启用
Hive
Server2
OnePandas
·
2024-01-28 07:33
Hive
hive
数据仓库
Hive
之set参数大全-18
指定在执行Spark上的动态分区裁剪时,用于评估分区数据大小的最大限制在
Hive
中,
hive
.spark.dynamic.partition.pruning.max.data.size是一个配置参数,用于指定在执行
OnePandas
·
2024-01-28 07:33
Hive
hive
数据仓库
hive
面试题总结(大数据面试)
Hive
概述
Hive
是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射成为一张数据库表,并提供类SQL的查询功能。可以将sql语句转化为MapReduce任务进行运行。
404个问号
·
2024-01-28 07:02
大数据
大数据
hive
java
Hive
3.1.3基础(续)
参考B站尚硅谷分区表和分桶表分区表
Hive
中的分区就是把一张大表的数据按照业务需要分散的存储到多个目录,每个目录就称为该表的一个分区。
魅美
·
2024-01-28 07:31
hive
hive
面试题
0.思维导图1.简述
Hive
♥♥ 我理解的,
hive
就是一款构建数据仓库的工具,它可以就结构化的数据映射为一张表,并且可以通过SQL语句进行查询分析。
韩顺平的小迷弟
·
2024-01-28 07:29
大数据面试题
hive
hadoop
数据仓库
mysql5.7 二进制包安装
一、mysql二进制安装1.下载安装包1.1下载地址:https://downloads.mysql.com/arc
hive
s/community/ProductVersion:5.7.34(选择需要的安装的版本
dacidong
·
2024-01-28 07:27
数据库
mysql
linux
数据库
Xcode 14.3 打包Command PhaseScriptExecution failed with a nonzero exit code
Xcode14.3Arc
hive
打包时在编译到最后的时候会出现CommandPhaseScriptExecutionfailedwithanonzeroexitcode的报错出现这个问题的时候当时也是有点懵逼的
ZJS_Sky
·
2024-01-28 06:04
DevOps工程师技能_容器化技术之K8s集群搭建
K8s-集群搭建部署说明1、安装包下载CentOSLinux7.61810x8664iso官方原版镜像下载https://renwole.com/arc
hive
s/15302、系统环境配置ipaddrvi
Coder_Boy_
·
2024-01-28 06:57
DevOps
软件工程化
devops
k8s
常见的MIME形式的数据类型
扩展名**文档类型**MIME类型.aacAACaudioaudio/aac.abwAbiWorddocumentapplication/x-abiword.arcArc
hive
document(multiplefilesembedded
微笑碧落
·
2024-01-28 04:48
Qt5编译qextserialport(Qt5.14.2+VS2017)
qextserialport:Automaticallyexportedfromcode.google.com/p/qextserialport(2)code.googlehttps://code.google.com/arc
hive
lingsnoopy
·
2024-01-28 04:12
QT
qt
开发语言
4.
Hive
表更新字段信息,一次讲明白
Hive
表更新字段信息一、更新表字段语句1、修改字段名称2、修改字段类型3、修改字段备注二、总结一、更新表字段语句ALTERTABLEtable_name[PARTITIONpartition_spec
幻想的蜗牛
·
2024-01-28 04:01
#
DDL相关
hive
5.
Hive
表修改Location,一次讲明白
Hive
表修改Loction一、
Hive
中修改Location语句二、方案1删表重建1.创建表,写错误的Location2.查看Location3.删表4.创建表,写正确的Location5.查看Location
幻想的蜗牛
·
2024-01-28 04:31
#
DDL相关
hive
3.工作中慎用删字段的操作(
Hive
)
1.分析原因在工作中你可能会遇到这种情况,某个表中字段很多,数据量又特别庞大,而某些字段可能用处不大。这时,你可能会想到删除这些不用的字段以减少数据量,加快任务的执行和数据的重刷。2.操作建议在生产环境中,慎用删字段的操作,删除字段很可能会带来一些意想不到的问题,解决起来也十分麻烦。建议操作如下:(1)将无用字段置空;(2)删表重建。
幻想的蜗牛
·
2024-01-28 04:31
#
DDL相关
数据仓库
etl
hive
hive
sql 语句执行顺序及执行计划
hive
语句执行顺序from...where....select...groupby...having...orderby...执行计划MapOperatorTree:TableScanalias:表名
姜小嫌
·
2024-01-28 01:15
MacOS开发 鼠标拖动窗口事件
参考官方文档:https://developer.apple.com/library/arc
hive
/documentation/Cocoa/Conceptual/WinPanel/Tasks/SizingPlacingWindows.htmlNSWindow
drmi
·
2024-01-28 00:40
Hive
-
Hive
QL练习题
数组下标取元素扩充数据题目扩充为连续整数解决笛卡尔积题目扩充为自身解决标记过滤展开数据题目展开字符串思路解决1交叉连接解决2lateralview炸裂函数环境Windows,VMware,Linux,
hive
日月交辉
·
2024-01-27 23:48
HiveQL
sql
hive
Hive
-
Hive
QL练习题-提取位置
文章目录提取位置题目提取1的位置解决字符串拆成数组题目成对提取解决1posexplode位置相等解决2数组下标解决3explode+排名+交叉连接提取位置题目提取1的位置createtableposition_1(avarchar(7)comment'含1的字符串')comment'1的位置';insertintoposition_1values('1011'),('0101');解决字符串拆成数
日月交辉
·
2024-01-27 23:48
HiveQL
hive
hadoop
数据仓库
Hive
数据倾斜
目录数据倾斜what怎么判断/主要表现why小表join大表倾斜场景优化mapjoin不能解决的大表join大表不同数据类型关联异常值(null/0)groupbydistinct转groupby优化之前其他数据倾斜what“倾斜”来自于统计学里的的偏态分布数据分布不均匀,大量数据集中到一点,造成数据热点怎么判断/主要表现查看日志/任务监控页面,reduce节点大部分执行完毕,少数几个运行很慢或卡
日月交辉
·
2024-01-27 23:18
Hive
hive
hadoop
数据仓库
big
data
mapreduce
大数据
Hive
-函数总结
目录查看分类分组数学取余字符串数组炸裂explode(array|map)posexplodelateralview排序4byorderby全局排序sortby每个reducer内排序distributeby分组clusterby排名聚合查看showfunctions--查看所有函数,共216个showfunctionslike'*array*'--模糊查询descfunctionextended
日月交辉
·
2024-01-27 23:16
Hive
hive
hadoop
数据仓库
Spark-core
SparkCore中还包含了对弹性分布式数据集的APISparkSQL可以使用sql结构化语句来查询数据,支持多种数据源,
hive
,json等SparkStreaming是Spark对
luckboy0000
·
2024-01-27 23:12
学习笔记
基准性能测试
1.Mysq基准测试工作之sysbench1.1)安装说明https://github.com/akopytov/sysbench/arc
hive
/0.5.zipunzipsysbench-0.5.zipcdsysbench
huxt
·
2024-01-27 16:28
开发手札:记录跟踪ios上架问题
三个游戏一个软件),因为apple政策收紧的原因,游戏是不考虑上架了,除非我做一个不错的先在steam得到好评再说,所以只考虑上架那个图形工具app,上架流程就和以前上架一样,xcodebuildarc
hive
羊羊2035
·
2024-01-27 16:06
开发手札
gradle配置 uploadArc
hive
s上传文件到私服仓库
Gradle子工程之间通过compile/implementationproject(":XXX")这种方式依赖是非常便利的,但是这样的时候,如果用uploadArc
hive
s上传AAR到Maven,就可以通过
andylao62
·
2024-01-27 16:01
流媒体
android
studio
ijkplayer
建站资源|静态网站托管服务
转自http://kermsite.ml/index.php/arc
hive
s/141,如有任何格式问题请阅读原文什么是静态网站托管服务不知道大家是否有用过GithubPages或者GiteePages
LaIiIi
·
2024-01-27 16:53
Hive
窗口函数row number的用法, 你肯定都会吧!
,今天我们就来看一下排序相关的窗口函数,因为是窗口函数,并且我们说它是用来排序的,我们大概也能猜到它就是用来对窗口内的数据进行排序的其实关于排序我们前面也介绍过orderby,sortby等排序的方式
Hive
大数据技术派
·
2024-01-27 15:42
Spark连接
Hive
的两种方式
一、使用
hive
-site.xml第一步:将集群中的
hive
-site.xml的内容复制出来,并放在idea项目的resources下,要求文件命名为:
hive
-site.xmldatanucleus.schema.autoCreateAlltruejavax.jdo.option.ConnectionURLjdbc
修勾勾L
·
2024-01-27 13:50
Spark
Hive
hive
spark
mysql
Hive
建表语句详解
一、HQL建表语法格式(hql不区分大小写,[]中的属性是可选属性)CREATE[EXTERNAL]TABLE[IFNOTEXISTS]table_name[(col_namedata_type[COMMENTcol_comment],...)][COMMENTtable_comment][PARTITIONEDBY(col_namedata_type[COMMENTcol_comment],..
修勾勾L
·
2024-01-27 13:20
Hive
hive
big
data
hadoop
mac安装mysql数据库
1.现在合适的版本MySQL::DownloadMySQLCommunityServer(Arc
hive
dVersions)https://downloads.mysql.com/arc
hive
s/community
qq_1411
·
2024-01-27 10:14
数据库
mysql
2021-03-07
HDFS=====>解决存储问题·MapReduce=====>解决计算问题·Yarn=====>资源协调者·Zookeeper=====>分布式应用程序协调服务·Flume=====>日志收集系统·
Hive
残月冷无声
·
2024-01-27 10:39
Anaconda 镜像清华大学开源软件镜像站
Anaconda安装包可以到Indexof/anaconda/arc
hive
/|清华大学开源软件镜像站|TsinghuaOpenSourceMirror下载。
baidu_huihui
·
2024-01-27 10:39
Anaconda
清华大学开源软件镜像站
大数据数据流分析和处理的工具pig,从入门到精通!
Pig的特点包括:面向过程的数据流语言:与
Hive
等其他大数据处理工具相比,Pig更注重数据处理的过程性,适用于
知识分享小能手
·
2024-01-27 09:05
学习心得体会
大数据
大数据
数据分析
数据库
Hive
实战 —— 电商数据分析(全流程详解 真实数据)
目录前言需求概述数据清洗数据分析一、前期准备二、项目1.数据准备和了解2.确定数据粒度和有效列3.HDFS创建用于上传数据的目录4.建库数仓分层5.建表5.1近源层建表5.2.明细层建表为什么要构建时间维度表?如何构建时间维度表?5.3轻聚层建表6.指标数据分析7.1计算每月总收入7.2计算每个季度的总收入7.3按年计算总收入7.4按工作日计算总收入7.5按时间段计算总收入7.6按时间段计算平均消
Byyyi耀
·
2024-01-27 08:25
hive
数据分析
hadoop
Hive
3.1.3基础
参考B站尚硅谷目录什么是
Hive
Hive
架构原理
Hive
安装
Hive
安装地址
Hive
安装部署安装
Hive
启动并使用
Hive
MySQL安装安装MySQL配置MySQL配置
Hive
元数据存储到MySQL配置元数据到
魅美
·
2024-01-27 08:55
hive
大数据
Hive
之set参数大全-15
指定
Hive
Server2使用的认证方式
hive
.server2.authentication是
Hive
中的一个参数,用于指定
Hive
Server2使用的认证方式。
OnePandas
·
2024-01-27 08:55
Hive
hive
数据仓库
Hive
之set参数大全-16
配置
Hive
Server2中TezWorkloadManager(WM)ApplicationMaster(AM)注册的超时时间在
Hive
中,
hive
.server2.tez.wm.am.registry.timeout
OnePandas
·
2024-01-27 08:55
Hive
hive
数据仓库
hive
- explode 用法以及练习
hive
explode的用法以及练习一行变多行explode例如:临时表temp_table,列名为1st1st1,2,34,5,6变为123456方式一:直接使用explodeselectexplode
Logan_addoil
·
2024-01-27 08:24
大数据学习之旅
hive
hadoop
数据仓库
Hive
之set参数大全-14
指定在复制过程中的最大负载任务数的近似值在
Hive
中,
hive
.repl.approx.max.load.tasks是一个配置参数,用于指定在复制过程中的最大负载任务数的近似值。
OnePandas
·
2024-01-27 08:23
Hive
hive
数据仓库
cin c语言中文网,c++ cin>>详解
参考地址:http://www.cnblogs.com/A-Song/arc
hive
/2012/01/29/2331204.html程序的输入都建有一个缓冲区,即输入缓冲区。
盐选科普
·
2024-01-27 07:32
cin
c语言中文网
How to complete git branch management with command git checkout
http://www.cnblogs.com/hutaoer/arc
hive
/2013/05/07/git_checkout.html
qwfys200
·
2024-01-27 07:44
Version
git
checkout
branch
[ruby on rails] concerns的使用
module来实现的model中的concernmoduleVisibleextendActiveSupport::ConcernVALID_STATUSES=['public','private','arc
hive
d
微信-since81192
·
2024-01-27 07:39
ruby
on
rails
python
后端
1分钟了解基于Hadoop的数据仓库工具
Hive
(附超实用示例)
Hive
功能
Hive
是基于Hadoop构建的一套数据仓库分析系统,它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据:可以将结构化的数据文件映射为一张数据库表,并提供完整的SQL
yuyuyuyo
·
2024-01-27 05:53
linux apt-get 安装本地文件
只要把相应的包安装在服务器的/var/cache/apt/arc
hive
s文件夹下即可。然后sudoapt-getupdatesudoapt-getinstall
Desny
·
2024-01-27 04:54
linux
apt-get
install
Spark Thrift Server 架构和原理介绍
://blog.csdn.net/u013332124/article/details/90339850一、SparkThriftServer介绍SparkThriftServer是Spark社区基于
Hive
Server2
疯狂的哈丘
·
2024-01-27 04:17
combinatory categorial grammar 文章群
http://groups.inf.ed.ac.uk/ccg/publications.html转载于:https://www.cnblogs.com/cy163/arc
hive
/2010/07/26/
weixin_30563917
·
2024-01-27 02:25
hive
练习题(含面试题目)
1、学生表如下:自动编号学号姓名课程编号课程名称分数12005001张三0001数学6922005002李四0001数学8932005001张三0001数学69删除除了自动编号不同,其他都相同的学生冗余信息:deletetablenamewhere自动编号notin(selectmin(自动编号)fromtablenamegroupby学号,姓名,课程编号,课程名称,分数)2、一个叫team的表,
@Heartworm
·
2024-01-27 02:18
笔记
hive
面试
hadoop
Hive
调优策略
Hive
调优策略
Hive
作为大数据领域常用的数据仓库组件,在设计和开发阶段需要注意效率。
奋斗的蛐蛐
·
2024-01-26 23:24
上一页
13
14
15
16
17
18
19
20
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他