E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hive窗口函数
Hive
SQL——统计当前时间段的有客人在住的房间数量
注:参考文章:
Hive
SQL一天一个小技巧:如何统计当前时间点状态情况【辅助变量+累计变换思路】_sql查询统计某状态出现的次数及累计时间-CSDN博客文章浏览阅读2k次,点赞6次,收藏8次。
爱吃辣条byte
·
2024-02-20 09:42
hive
数据仓库
NSCoding对象存储(注意:以后使用NSSecureCoding)
文件存储:NSData类提供了一个方法,可以直接将NSData实例存储到文件中3.相关知识介绍NSCoder类是一个抽象类,用来被其他的类继承NSKeyedArc
hive
r和NSKeyedUnarchi
皮蛋豆腐酱油
·
2024-02-20 09:38
hive
load data未正确读取到日期
1.源数据CSV文件日期字段值:2.
hive
DDL语句:CREATEEXTERNALTABLE`test.textfile_table1`(`id`intCOMMENT'????'
dogplays
·
2024-02-20 08:48
hive
hadoop
数据仓库
测试环境搭建整套大数据系统(三:搭建集群zookeeper,hdfs,mapreduce,yarn,
hive
)
一:搭建zkhttps://blog.csdn.net/weixin_43446246/article/details/123327143二:搭建hadoop,yarn,mapreduce。1.安装hadoop。sudotar-zxvfhadoop-3.2.4.tar.gz-C/opt2.修改java配置路径。cd/opt/hadoop-3.2.4/etc/hadoopvimhadoop-env.
宇智波云
·
2024-02-20 08:05
大数据项目
zookeeper
hdfs
mapreduce
hive
AIGC ChatGPT4完成业务需求SQL学习
这个问题同样可以使用
窗口函数
ROW_NUMBER()
阿里数据专家
·
2024-02-20 07:08
AIGC
学习
chatgpt
excel
mysql
数据库
sql
【Flink】ClassNotFoundException: org.apache.hadoop.conf.Configuration
问题背景在Flink的sql-client客户端中执行连接
hive
的sql代码时出现如下错误,版本Flink1.13.6FlinkSQL>createcatalogtestwith(>'type'='
hive
一杯咖啡半杯糖
·
2024-02-20 07:38
Flink实战
flink
hadoop
sql
Flink Catalog 解读与同步 Hudi 表元数据的最佳实践
在当前的大数据格局中,Spark/
Hive
/Flink是最为主流的ETL或Strea
Laurence
·
2024-02-20 06:28
大数据专题
flink
catalog
hudi
metastore
hive
共用表
元数据
【极乐净土mmd】动作+镜头数据下载
下载地址:https://go.ysboke.cn/arc
hive
s/218
bronya0
·
2024-02-19 22:43
教程
MMD动作:白い雪のプリンセスは(白雪公主)
下载地址:https://go.ysboke.cn/arc
hive
s/934mmd镜头+动作+bgm打包下载。
bronya0
·
2024-02-19 22:43
mmd
hive
学习笔记之三:内部表和外部表
欢迎访问我的GitHubhttps://github.com/zq2599/blog_demos内容:所有原创文章分类汇总及配套源码,涉及Java、Docker、Kubernetes、DevOPS等;《
hive
程序员欣宸
·
2024-02-19 22:05
公历转农历linux C程序
//blog.jjonline.cn/userInterFace/173.html1900年至2100年公历、农历互转Js代码http://www.cnblogs.com/qintangtao/arc
hive
andylauren
·
2024-02-19 21:20
编程语言技巧
kerberos 合并keytab文件 ktutil
非交互式:printf"%b""rkt/root/keytab/hdfs.keytab\nrkt/root/keytab/
hive
.keytab\nwkt/root/keytab/merged.keytab
brandblue
·
2024-02-19 19:51
合并keytab文件
ktutil
kerberos
ktutil编写生成keytab文件的脚本、通过keytab文件认证用户
/usr/bin/bashktutil<
hive用户,生成
但行益事莫问前程
·
2024-02-19 19:13
linux
命令
linux
kerberos
SQL
窗口函数
SQL
窗口函数
是一种在SQL查询中使用的功能强大的工具,它可以在查询结果集的子集上执行计算,并且不会改变原始数据的行数。
草明
·
2024-02-19 19:30
MySQL
sql
数据库
大数据
centos 安装 maven
wgethttps://arc
hive
.apache.org/dist/maven/maven-3/3.8.6/binaries/apache-maven-3.8.6-bin.tar.gz解压文件:使用
iteye_10392
·
2024-02-19 16:15
maven
centos
maven
linux
docker ubuntu tomcat 换源 安装软件
第一种办法参考docker中ubuntu容器更换apt源_ubuntu更改apt源withdockerfile-CSDN博客sed-is@/arc
hive
.ubuntu.com/@/mirrors.aliyun.com
linux实践操作记录
·
2024-02-19 16:36
java
前端
linux
js实现判断大写锁定是否开启(转)
转载地址:http://www.cnblogs.com/xiaoao808/arc
hive
/2008/07/31/1257624.html在用户登录输入密码时,常常会有因为大写锁定开启而造成输入密码错误的情况
weixin_30621959
·
2024-02-19 15:59
javascript
xhtml
ViewUI
Visual Studio设置Solution Explorer同步当前文档
从Debug或Tools菜单项打开Options窗体,勾选下面的选项:http://www.cnblogs.com/findcaiyzh/arc
hive
/2011/03/31/2000529.html
霍莉雪特
·
2024-02-19 14:00
工具
visual
studio
数据归档神器-pt-arc
hive
r
前言介绍`pt-arc
hive
r是用来归档表的工具,可以做到低影响、高性能的归档工具,从表中删除旧数据,而不会对OLTP查询产生太大影响。可以将数据插入到另一个表中,该表不需要在同一台服务器上。
落弋V
·
2024-02-19 14:40
数据库开发
数据库架构
数据归档工具pt-arc
hive
r原理研究与使用
1.介绍之前处理mysql历史数据归档,直接写存储过程实现的(《mysql历史数据自动归档》),换新东家后,还是决定研究下主流的pt-arc
hive
r并实施。
sdmei
·
2024-02-19 14:08
数据库
mysql
pt-archiver
数据归档
percona
MySQL-运维工具 pt-arc
hive
r数据归档工具
逐行进行)4.2表归档到表(批量进行)4.2.1归档到当前实例,并删除数据4.2.2归档到远程实例,不删除数据4.3仅清除表数据4.4表自增字段处理5.总结1.引言2.工具说明2.1使用方式pt-arc
hive
r
凡尘技术
·
2024-02-19 14:07
数据库
mysql
运维
数据库
利用 pt-arc
hive
r 实现数据库归档功能
文章目录一、前言关于Percona二、PerconaToolkit安装percona-toolkit:pt-arc
hive
r归档命令的使用格式:示例:三、归档步骤:1)、创建归档数据库和归档表方式一(推荐
程序没有缘
·
2024-02-19 14:02
运维
Mysql
pt-archiver
数据库归档
(10)
Hive
的相关概念——文件格式和数据压缩
1.1.1行存储的特点1.1.2列存储的特点1.2TextFile1.3SequenceFile1.4Parquet1.5ORC二、数据压缩2.1数据压缩-概述2.1.1压缩的优点2.1.2压缩的缺点2.2
Hive
爱吃辣条byte
·
2024-02-19 13:21
#
Hive
hive
数据仓库
linux压缩webfile文件夹 webfile.tar.gz和webfile.tar的区别
tar,全称TapeArc
hive
,最初被设计用于在磁带存储设备上存储文件,但现在已经广泛用于在硬盘驱动器上存储和分发文件。
·
2024-02-19 11:53
(15)
Hive
调优——数据倾斜的解决指南
目录前言一、什么是数据倾斜二、发生数据倾斜的表现2.1MapReduce任务2.2Spark任务三、如何定位发生数据倾斜的代码四、发生数据倾斜的原因3.1key分布不均匀3.1.1某些key存在大量相同值3.1.2存在大量异常值或空值3.2业务数据本身的特性3.3SQL语句本身就有数据倾斜3.4建表时考虑不周四、触发数据倾斜的SQL操作五、数据倾斜的解决方案5.1Map长尾优化5.1.1Map读取
爱吃辣条byte
·
2024-02-19 11:50
#
Hive
大数据
hive
Hive
入门,
Hive
是什么?
1.1
Hive
是什么?
Hive
是一个开源的数据仓库工具,主要用于处理大规模数据集。它是建立在Hadoop生态系统之上的,利用Hadoop的分布式存储和计算能力来处理和分析数据。
JayGboy
·
2024-02-19 10:31
hive
hadoop
数据仓库
Hive
Distribute by 应用之动态分区小文件过多问题优化
Fatalerroroccurredwhennodetriedtocreatetoomanydynamicpartitions.Themaximumnumberofdynamicpartitionsiscontrolledby
hive
.exec.max.dynamic.p
莫叫石榴姐
·
2024-02-15 10:58
hive
hive
Hive
调优——count distinct替换
离线数仓开发过程中经常会对数据去重后聚合统计,而对于大数据量来说,count(distinct)操作消耗资源且查询性能很慢,以下是调优的方式。解决方案一:groupby替代原sql如下:#=====7日、14日的app点击的用户数(user_id去重统计)selectgroup_id,app_id,--7日内UVcount(distinctcasewhendt>='${7d_before}'the
爱吃辣条byte
·
2024-02-15 10:58
#
Hive
hive
数据仓库
Hive
的相关概念——架构、数据存储、读写文件机制
目录一、架构及组件介绍1.1
Hive
整体架构1.2
Hive
组件1.3
Hive
数据模型(DataModel)1.3.1Databases1.3.2Tables1.3.3Partitions1.3.4Buckets
爱吃辣条byte
·
2024-02-15 10:57
#
Hive
hive
数据仓库
Hive
的相关概念——分区表、分桶表
目录一、
Hive
分区表1.1分区表的概念1.2分区表的创建1.3分区表数据加载及查询1.3.1静态分区1.3.2动态分区1.4分区表的本质及使用1.5分区表的注意事项1.6多重分区表二、
Hive
分桶表2.1
爱吃辣条byte
·
2024-02-15 10:57
#
Hive
hive
数据仓库
Hive
——动态分区导致的小文件问题
目录0问题现象1问题解决解决方案一:调整动态分区数方案一弊端:小文件剧增解决方案二:distributeby方案二弊端:数据倾斜解决方案三:distributeby命令2思考3小结0问题现象现象:报错errorr如下:[Error20004]:Fatalerroroccurredwhennodetriedtocreatetoomanydynamicpartitions.Themaximumnumb
爱吃辣条byte
·
2024-02-15 10:25
#
Hive
hive
数据仓库
【大数据
Hive
】
hive
表设计常用优化策略
目录一、前言二、
hive
普通表查询原理2.1操作演示说明2.1.1创建一张表,并加载数据2.1.2统计3月24号的登录人数2.1.3查询原理过程总结2.2普通表结构带来的问题三、
hive
分区表设计3.1
逆风飞翔的小叔
·
2024-02-15 10:22
大数据
hive表优化策略
hive常用的优化策略
如何对hive表优化
hive分桶表
hive索引
hive索引使用
hive分区表设计
Hive
on Spark配置
前提条件1、安装好
Hive
,参考:
Hive
安装部署-CSDN博客2、下载好Spark安装包,链接:https://pan.baidu.com/s/1plIBKPUAv79WJxBSbdPODw?
在下区区俗物
·
2024-02-15 10:51
hive
spark
hadoop
配置
hive
on spark
配置
hive
onspark1、上传Spark纯净版jar包到HDFS:hdfsdfs-mkdir/spark-jarshdfsdfs-put/opt/spark/jars/*/spark-jars2、修改
空白格2519
·
2024-02-15 10:51
数据采集
big
data
hive
spark
hadoop
hive
on spark配置经验
常规配置配置完,开启hadoop,开启spark(如果在hdfs上上传了纯净版的spark则不需要开启),开启
hive
注:当前节点一定要是namenode的active节点,因为hadoop长时间不用namenode
小五冲冲冲
·
2024-02-15 10:21
Spark
hive
spark
hadoop
部署一个3节点的Kafka集群
一Java环境部署:1.1官网下载jdkJava下载官网https://www.oracle.com/cn/java/technologies/javase/javase8u211-later-arc
hive
-downloads.html1.12
小关暗器
·
2024-02-15 09:25
kafka
分布式
Hive
3.1.2——企业级调优
前言本篇文章主要整理
hive
-3.1.2版本的企业调优经验,有误请指出~一、性能评估和优化1.1Explain查询计划使用explain命令可以分析查询计划,查看计划中的资源消耗情况,定位潜在的性能问题
爱吃辣条byte
·
2024-02-15 09:48
#
Hive
hive
数据仓库
python 线程池ThreadPoolExecutor
参考链接(https://www.codersrc.com/arc
hive
s/6732
沧海二阳
·
2024-02-15 06:42
Python
进阶技能
python
开发语言
conan安装
这里以pip安装为例,python安装建议anaconda,下载地址:https://repo.anaconda.com/arc
hive
/Anaconda3-2021.11-Windows-x86_64
曳帆
·
2024-02-15 05:39
Sqoop你用对了吗?
个人想法,有错请指出怎么让sqoop流程化1.首先创造配置表和任务表tb_configidjdbc_urluserpass_wordcolumnstable
hive
_tableis_incremental1jdbc
你值得拥有更好的12138
·
2024-02-15 03:43
FFmpeg+x264编码qcif会出现花屏的问题
http://www.cppblog.com/tx7do/arc
hive
/2013/01/11
cyqyong
·
2024-02-15 02:59
ffmpeg
x264
qcif
花屏
编码
Kibana启动问题
chrome-mac.zip时访问超时,日志如下[2022-09-05T11:57:55.901+08:00][WARN][plugins.screenshotting.chromium]Browserarc
hive
fordarwin
qinghuazs
·
2024-02-15 01:19
elasticsearch
大数据
搜索引擎
HIVE
优化场景七--数据倾斜--Join 倾斜
2)由于数据类型不一致,导致的转换问题,导致的数据倾斜场景说明:用户表中user_id字段为int,log表中user_id为既有string也有int的类型。当按照两个表的user_id进行join操作的时候,默认的hash操作会按照int类型的id进行分配,这样就会导致所有的string类型的id就被分到同一个reducer当中。解决方案:将INT类型id,转换为STRING类型的id.SEL
xuanxing123
·
2024-02-15 01:10
第四届全国智力运动会口号 吉祥物和会徽介绍
转自:第四届智运会官网http://www.imsa.cn/arc
hive
s/75194四智会主题口号:四智会主题口号释义:在儒家的道德规范体系中“智”是最基本最重要的德目之一,东方的儒雅智慧绵延不息,
五子棋宝典APP
·
2024-02-14 21:38
把自己的应用添加到系统的“分享”列表中
不要跟原先的一块,要不然不生效;mimeType代表支持分享的类型:{".3gp","video/3gpp"},{".apk","application/vnd.android.package-arc
hive
桃先森_
·
2024-02-14 20:51
Hive
经典面试题
1.
Hive
表关联查询,如何解决数据倾斜的问题1)倾斜原因:map输出数据按keyHash的分配到reduce中,由于key分布不均匀、业务数据本身的特、建表时考虑不周、等原因造成的reduce上的数据量差异过大
Yang_6234
·
2024-02-14 20:03
Hive
MR任务结束后进行文件合并
set
hive
.merge.mapfiles=true;set
hive
.merge.mapredfiles=true;set
hive
.merge.size.per.task=256000000;set
hive
.merge.smallfiles.avgsize
破阵子沙场秋点兵
·
2024-02-14 20:06
hive
中的三种建表方法
文章目录一、直接建表二、查询建表三、like建表一、直接建表CREATE[EXTERNAL]TABLE[IFNOTEXISTS]employee_external(//EXTERNAL关键字添加为外部表namestring,work_placeARRAY,sex_ageSTRUCT,skills_scoreMAP,depart_titleMAP>)COMMENT'Thisisanexternalt
日写BUG八百行
·
2024-02-14 19:40
mysql
数据库
java
hive
hive
中的Load data 和 insert的区别
文章目录一、Loaddata二、insert三、IMPORT/EXPORT一、Loaddata语法为LOADDATA[LOCAL]INPATH'filepath'[OVERWRITE]INTOTABLEtablename[PARTITION(partcol1=val1,partcol2=val2...)]local关键字:有,表示从本地文件系统中导入没有,表示从HDFS文件系统中导入,这里是文件的
日写BUG八百行
·
2024-02-14 19:10
hive
mysql
大数据
java
数据库
Winform中使用NPOI实现导出Excel并文件另存为
NPOI官网https://arc
hive
.codeplex.com/?
霸道流氓气质
·
2024-02-14 16:48
C#
上一页
2
3
4
5
6
7
8
9
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他