E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hive日期函数
Windows下
hive
中insert语句报错
报错信息我的hadoop和
hive
版本都是3.0版本(建议hadoop3.x版本、
hive
2.x版本,我在使用中发现有些问题)[08S01][2]Errorwhileprocessingstatement
林园857
·
2024-01-24 10:27
hive
hadoop
数据仓库
hive
行列转换总结
hive
行列转换方法具体思路需要根据数据来定,常见的解决方法如下:行转列:多行转多列1、使用casewhen查询出多列即可,即可增加列。
COIN NO COIN
·
2024-01-24 10:26
hive习题
hive
Hive
优化总结
Hive
优化本质:HDFS+MapReduce问题原因:倾斜:分区:有的分区没有数据,有的分区数据堆积。(若按天分区,每一天数据差别大就叫倾斜。)
Byyyi耀
·
2024-01-24 10:25
hive
hadoop
数据仓库
Hive优化
Hive
之set参数大全-12
指定是否尝试在
Hive
Metastore中使用直接SQL查询执行DDL(数据定义语言)操作
hive
.metastore.try.direct.sql.ddl是
Hive
的配置参数之一,用于指定是否尝试在
Hive
Metastore
OnePandas
·
2024-01-24 10:55
Hive
hive
数据仓库
Hive
之set参数大全-13
是否进行编译时优化
hive
.optimize.skewjoin.compiletime是一个
Hive
配置参数,用于控制在执行SkewJoin操作时是否进行编译时优化。
OnePandas
·
2024-01-24 10:55
Hive
hive
数据仓库
hive
行列转化
用SQL判断字段串中连续出现两个以上的数字,并返回对应的数字withaas(selectexplode(split(regexp_replace(‘sdfsd1232sdf324’,‘[0-9]+’,‘,’),‘,’))col)select*fromawhereLENGTH(col)>1结果为sdfsdsdfselectexplode(split(regexp_replace(‘sdfsd1232
KANGBboy
·
2024-01-24 10:53
hive
sql
Hive
行列转换
行列转换列转行使用lateralview+explode(array|map)或lateralview+inline(array_struct)可以将列转换为行。单列转多行,降维(单列数组或键值对)示例1:explode(array(…))select...,AfromTlateralviewexplode(ARRAY_FIELD)asA;selectexplode(`array`(88.2,98
Byyyi耀
·
2024-01-24 10:51
hive
数据仓库
行列转换
explode
inline
行转列
列传行
linux netstat命令
转载Linuxnetstat命令详解-ggjucheng-博客园(cnblogs.com)https://www.cnblogs.com/ggjucheng/arc
hive
/2012/01/08/2316661
你好,此用户已存在
·
2024-01-24 09:30
Linux系统
linux
运维
服务器
Hudi0.14.0集成Spark3.2.3(Spark SQL方式)
1整合
Hive
ForuserswhohaveSpark-
Hive
integrationintheirenvironment,thisguideassumesthatyouhavetheappropriatesettingsconfiguredtoallowSparktocreatetablesandregisterin
Hive
Metastore
跟着大数据和AI去旅行
·
2024-01-24 08:05
大数据企业级实战
hudi
GO日期和时间函数
日期和时间函数获取当前时间time.Now()获取其它信息格式化日期时间时间常量休眠Sleep获取当前unix时间戳和unixnano时间戳在日常使用中经常需要使用日期相关的函数,那么经常使用的
日期函数
有哪些呢
千寻物语
·
2024-01-24 08:03
go
go
Oracle 19c RAC集群管理 ---------关键参数以及常用命令
Oracle19cRAC集群管理---------关键参数Oracle19CRAC参数最佳实践--开启强制归档ALTERDATABASEFORCELOGGING;--设置30分钟强制归档ALTERSYSTEMSETARC
HIVE
_LAG_TARGET
加油鸭啦啦啦啦
·
2024-01-24 07:27
oracle
19c
rac
安装以及配置
oracle
数据库
flink-java使用介绍,flink,java
1.18/zh/仓库:https://github.com/apache/flink下载:https://flink.apache.org/zh/downloads/下载指定版本:https://arc
hive
.apache.org
raoxiaoya
·
2024-01-24 07:47
Java
flink
java
大数据
记一次Flink通过Kafka写入MySQL的过程
transform-->sink,即从source获取相应的数据来源,然后进行数据转换,将数据从比较乱的格式,转换成我们需要的格式,转换处理后,然后进行sink功能,也就是将数据写入的相应的数据库DB中或者写入
Hive
梦痕长情
·
2024-01-24 07:17
flink
kafka
mysql
tableau mysql 驱动安装
MySQL::DownloadMySQLConnector/ODBC(Arc
hive
dVersions)
CCCHHH333
·
2024-01-24 07:17
mysql
数据库
Hadoop安装配置HBase
1、文件准备http://arc
hive
.apache.org/dist/hbase/1.3.1/下载hbase-1.3.1-bin.tar.gz并上传到虚拟机/root目录下。
m0_69595107
·
2024-01-24 06:10
Hadoop
hadoop
hbase
大数据
分布式
centos
【Ubuntu】Ubuntu安装微信
1.1安装WineWine环境包下载地址:http://arc
hive
Do_GH
·
2024-01-24 02:45
ubuntu
linux
Hive
分析窗口函数(五) GROUPING SETS,GROUPING__ID,CUBE,ROLLUP
Hive
分析窗口函数(五)GROUPINGSETS,GROUPING__ID,CUBE,ROLLUP这几个分析函数通常用于OLAP中,不能累加,而且需要根据不同维度上钻和下钻的指标统计,比如,分小时、天
bigdata张凯翔
·
2024-01-24 02:45
springboot项目打包jar和war有什么区别
SpringBoot项目可以打包成可执行的JAR(JavaArc
hive
)文件或WAR(WebArc
hive
)文件,两者之间有一些区别:JAR(可执行的JavaArc
hive
):JAR文件是一种常见的Java
CoolTiger、
·
2024-01-24 00:39
spring
框架
spring
boot
jar
后端
redis基本用法
Redis安装包分为windows版和Linux版:Windows版下载地址:https://github.com/microsoftarc
hive
/redis/releasesLinux版下载地址:https
NL_LIU
·
2024-01-23 22:01
redis
数据库
缓存
Hive
基础(十二)-
hive
存储,解析,处理json数据
hive
存储,解析,处理json数据
hive
处理json数据总体来说有两个方向的路走将json以字符串的方式整个导入
Hive
表,然后通过使用UDF函数解析已经导入到
hive
中的数据,比如使用LATERALVIEWjson_tuple
bigdata张凯翔
·
2024-01-23 22:00
在
hive
插入数据时出现“Execution Error, return code 2 from org.apache.hadoop.
hive
.ql.exec.mr.MapRedTask”报错
SQL错误[2][08S01]:Errorwhileprocessingstatement:FAILED:ExecutionError,returncode2fromorg.apache.hadoop.
hive
.ql.exec.mr.MapRedTaskErrorwhileprocessingstatement
絲箹
·
2024-01-23 21:50
hadoop
hive
apache
设计模式学习总结
责任链模式使用方法:1.创建接口2.定义实现类,每个实现类实现接口,并拥有一个Arc
hive
Handle的成员,用作责任链的链接publicinterfaceArc
hive
Handle{ voidhandle
qq_56876713
·
2024-01-23 21:16
设计模式
java
开发语言
PLC不用编程也不用二次开发实现JSON文件MQTT发布与订阅
本案例是采用IGT-DSER智能网关,实现PLC变量寄存器地址通过一个免费的MQTT服务端(Broker:broker.
hive
mq.com:1883),与MQTT的其它客户端双向通讯。
智能工厂
·
2024-01-23 18:14
json
mqtt
http
mysql
sqlserver
sql
lua
Win7快速部署weblogic 12c
windows-x64weblogic12.2.1.30x02下载地址JDK下载地址https://www.oracle.com/java/technologies/javase/javase8-arc
hive
-downloads.htmljdk1.8
counsellor
·
2024-01-23 16:10
web服务器
数据库
oracle
weblogic
MySQL日期时间函数
MYSQL五大类函数,前面已经介绍了聚合函数、字符串函数和数值型函数,还有时间
日期函数
和控制流函数,这篇介绍一下日期时间函数,日期和时间函数主要用于处理日期和时间,其中包括获取当前时间的函数、获取当前日期的函数
Lin王发林
·
2024-01-23 14:56
Qt Linux安装qt5.9全过程
1准备好安装包qt安装包下载官网:https://download.qt.io/arc
hive
/qt2将安装包放到Linux环境下我这里使用WinSCP将windows下的文件传输到Linux3.
江凡心
·
2024-01-23 13:45
Qt笔记
qt
linux
开发语言
【
HIVE
】系统数据分析实战 汽车销售数据随机生成
文章目录一、生成测试数据二、创建
HIVE
数据库1.创建数据库2.装载数据3.查看数据一、生成测试数据#利用Python随机生成一份汽车销售数据,共100行,包括销售时间、销售地点、车辆类型、车辆型号、制造商
奥利文儿
·
2024-01-23 12:29
hive
数据分析
汽车
hadoop
数据仓库
数据库
dba
大厂大数据面试题收录(1)
8.
Hive
sql到MapReduce转化的流程清楚吗?
后季暖
·
2024-01-23 11:49
java
开发语言
Hadoop基本介绍
1、Hadoop的整体框架Hadoop由HDFS、MapReduce、HBase、
Hive
和ZooKeeper等成员组成,其中最基础最重要元素为底层用于存储集群中所有存储节点文件的文件系统HDFS(HadoopDistributedFileSystem
w蕾丝
·
2024-01-23 08:53
DATAX的架构和运行原理
一.概念DATAX呢就是把各个不同构的数据库进行同步的过程,具体有hdfs
hive
Oracle等等吧。二.架构1.设计原理显而易见从强连通图到星形图,大大的简化了工作量。
加林so cool
·
2024-01-23 08:37
架构
Sqoop数据导入到
Hive
表的最佳实践
将数据从关系型数据库导入到
Hive
表是大数据领域中的常见任务之一,Sqoop是一个强大的工具,可以帮助实现这一目标。
晓之以理的喵~~
·
2024-01-23 07:35
sqoop
hive
sqoop
hadoop
HIVE
中关联键类型不同导致数据重复,以及数据倾斜
比如左表关联键是string类型,右表关联键是bigint类型,关联后会出现多条的情况解决方案:关联键先统一转成string类型再进行关联原因:根据
HIVE
版本不同,数据位数上限不同,低版本的超过16位会出现这种情况
帅成一匹马
·
2024-01-23 07:34
hive
hadoop
数据仓库
cdh6.3.2的
hive
配udf
之后就可以永久使用了,重启hs2也可以调研先查的
hive
官网https://cwiki.apache.org/confluence/display/
Hive
/LanguageManual+UDF#La
zdkdchao
·
2024-01-23 07:02
hive
hadoop
数据仓库
究极保姆式教你如何在Ubuntu上源码安装Qt5.15.2
**Ubuntu下Qt5.15.2源码安装环境:Ubuntu18.04(qt5.15.2要求最少也得在18.04以上)一.下载源码1.打开官网:https://download.qt.io/arc
hive
程序小白的成长旅程
·
2024-01-23 06:17
c++
Qt
linux
qt
c++
linux
ubuntu
centos
Hive
拉链表详解及实例
拉链表版本迭代:
hive
0.14slowlychangingdimension=>
hive
2.6.0merge事务管理原来采用分区表,用户分区存储历史增量数据,缺点是重复数据太多定义:数仓用于解决持续增长且存在一定时间时间范围内重复的数据存储
Byyyi耀
·
2024-01-23 06:45
hive
hadoop
数据仓库
拉链表
Hive
数仓及数仓设计方案
数仓(DataWarehouse)数据仓库存在的意义在于对企业的所有数据进行汇总,为企业各个部门提供一个统一、规范的出口。做数仓就是做方案,是用数据治理企业的方案。数据仓库的特点面向主题集成公司中不同的部门都会去数据仓库中拿数据,把独立从数据仓库中拿数据的单元,称为一个主题。数据仓库中的数据是从各个分散的数据库中抽取出来的,需要进行完整集合,还要进行数据处理。涉及的数据操作主要是查询数仓的本质能够
Byyyi耀
·
2024-01-23 06:34
hive
hadoop
数据仓库
zeppelin部署文档
后台支持接入多种数据处理引擎,如spark,
hive
等。
不加班程序员
·
2024-01-23 06:54
Hadoop相关
elasticsearch
spark
spark
大数据
开发工具
hbase
数仓建设 - 维度建模 - DIM维度
表结构设计3.2ETL任务脚本四、地区维度表4.1表结构设计4.2ETL任务脚本五、日期维度表六、用户维度表6.1表结构设计6.2ETL任务脚本前置:准备数据库[hadoop@hadoop102apache-
hive
m0_46218511
·
2024-01-23 05:14
大数据基础设施搭建
维度建模
数据仓库
jenkins ios 配置
结果登录打包机看了一下发下是硬盘空间还有80G后来想想证书好像换了,所以就去检查了一下打包机的证书,果然,证书不对,导入新的证书后,发现打包还是不对,然后重新核对导出文件,结果发现导出文件也是各种对不上,所以本地又arc
hive
张_何
·
2024-01-23 05:10
Presto
完全基于内存的并行计算的分布式SQL查询引擎,是一种Massivelyparallelprocessing(MPP)架构,多个节点管道式执行,适用于交互式分析查询,数据量支持GB到PB字节,presto的查询速度比
hive
Cool_Pepsi
·
2024-01-23 02:43
大数据
big
data
presto
Hadoop --
Hive
文章目录1.什么是
hive
?1.1基本思想1.2为什么使用
hive
?
Cool_Pepsi
·
2024-01-23 02:12
大数据
hive
Hadoop -- ZooKeeper
ZooKeeper就是动物园管理员,他是用来管hadoop(大象)、
Hive
(蜜蜂)等的管理员。
Cool_Pepsi
·
2024-01-23 02:42
大数据
zookeeper
Hive
自定义函数
系统内置函数查看系统内置函数
hive
>showfunctions;显示内置函数用法
hive
>descfunction函数名;详细显示内置函数用法
hive
>descfunctionextended函数名;
歌哥居士
·
2024-01-23 01:41
CDH6.2 集群离线部署
免密码登录认证在cm-server服务器上下载CDH6.2相关的安装包安装nginx做cm本地yumrepo服务器安装postgressql安装和配置cm-server配置CDH集群CDH集群配置lzo压缩
hive
那些、快乐。
·
2024-01-22 21:44
大数据
hadoop
linux
Xcode 清理缓存,瘦身
路径:1~/Library/Developer/Xcode/DerivedData释放空间:0~xxGB移除APP打包的ipa历史版本(Arc
hive
s)删除后不可恢复,文件夹是按照日期排列的,
西充小凡哥
·
2024-01-22 19:57
Impala:基于内存的MPP查询引擎
Impala查询引擎1、Impala概述1.1、Impala简介1.2、Impala的特点1.3、Impala与
Hive
1、Impala概述1.1、Impala简介Impala是Cloudera公司主导研发的高性能
对许
·
2024-01-22 17:26
Java大数据
#
Hadoop及生态圈
#
数据湖仓
大数据
Apache doris Datax DorisWriter扩展使用方法
DataX实现了包括MySQL、Oracle、SqlServer、Postgre、HDFS、
Hive
、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres
张家锋
·
2024-01-22 15:27
树莓派使用命令sudo apt-get update报错
问题描述报错内容为:Hit:1http://arc
hive
.raspberrypi.com/debianbookwormInReleaseHit:2http://raspbian.raspberrypi.com
观北海
·
2024-01-22 15:41
linux
Eighth C++基础之C++与C语言的区别及细节
原文链接(点击原文链接获取更多学习干货):http://blog.bools.cn/arc
hive
s/1335C语言与C++在之前学习当中,我们知道C语言是面向过程的,而C++是面向对象的。
布尔青年-斯利普
·
2024-01-22 15:18
基础知识
c语言
c++
r语言
CentOS7下Hadoop2.9.2、
Hive
2.3.6安装与实践
参考的安装文章地址:https://blog.csdn.net/pengjunlee/article/details/81607890实际安装的版本为:hadoop2.9.2,
hive
2.3.6;操作系统
流火星空
·
2024-01-22 14:58
大数据
hive
大数据
hive
上一页
16
17
18
19
20
21
22
23
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他