E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hive分隔符
Hive
面试题汇总
Hive
定义
Hive
是建立在Hadoop上的数据仓库基础构架。可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。
大数据侠客
·
2025-01-25 07:18
hive相关问题汇总及解决
hive
hadoop
数据仓库
面试
Hive
之数据迁移方案(实测)
文章目录
Hive
的迁移涉及两个技术点:1.仅迁移元数据2.元数据及
Hive
数据全量迁移2.1全表迁移2.1.1旧集群2.1.2新集群2.2仅部分分区迁移(主要步骤)2.1.1旧集群2.1.2新集群2.3beeline
南风知我意丿
·
2025-01-25 06:11
Hive
hive
hadoop
hdfs
【原创】运维基础之OpenResty(Nginx+Lua)+Kafka
使用docker部署1下载#wgethttps://github.com/doujiang24/lua-resty-kafka/arc
hive
/v0.06.tar.gz#tarxvfv0.06.tar.gz2
weixin_30293079
·
2025-01-25 04:29
大数据
运维
lua
PHP explode函数基本用法
explode函数的基本语法如下:语法explode(string$separator,string$string,int$limit=PHP_INT_MAX):array参数说明:$separator:
分隔符
小彭爱学习
·
2025-01-24 23:48
php
php
开发语言
expode函数
Python 中的 strip() 和 split() 方法详解
2.基本语法3.基本用法示例1)按空格分割字符串2)指定
分隔符
3)限制分割次数4.rsplit()方法5.splitlines()方法三、strip()与split()的结合使用1)移除空格
Ryann6
·
2025-01-24 15:46
python
开发语言
Hive
架构及搭建方式
Hive
架构及搭建方式[TOC]前言本文档基于
hive
3.1.2编写
hive
的基础知识基本架构整个
hive
由
hive
server2和
hive
客户端组成
hive
客户端有三种,beeline、使用jdbc链接
西北偏北up
·
2025-01-24 15:14
hive
hive
数据类型
数字类型TINYINT(1字节整数)SMALLINT(2字节整数)INT/INTEGER(4字节整数)BIGINT(8字节整数)FLOAT(4字节浮点数)DOUBLE(8字节双精度浮点数)示例:createtablet_test(astring,bint,cbigint,dfloat,edouble,ftinyint,gsmallint)时间类型TIMESTAMP(时间戳)(包含年月日时分秒毫秒的
qzWsong
·
2025-01-24 14:11
hive
hive
数据操作,导入导出
数据导入导出将数据文件导入
hive
的表方式1:导入数据的一种方式:手动用hdfs命令,将文件放入表目录;方式2:在
hive
的交互式shell中用
hive
命令来导入本地数据到表目录
hive
>loaddatalocalinpath
qzWsong
·
2025-01-24 14:10
hive
mysql5.7全文检索方案,深度解析MySQL 5.7之中文全文检索
缘由是他从来都使用空格来作为分词的
分隔符
,而对于中文来讲,显然用空格就不合适,需要针对中文语义进行分词。
渚熏
·
2025-01-24 13:06
mysql5.7全文检索方案
mysql 5.7全文索引_MySql5.7 使用全文索引
缘由是他从来都使用空格来作为分词的
分隔符
,而对于中文来讲,显然用空格就不合适,需要针对中文语义进行分词。
wonder-yyc
·
2025-01-24 13:36
mysql
5.7全文索引
【大数据入门核心技术-
Hive
】(十六)
hive
表加载csv格式数据或者json格式数据
一、环境准备
hive
安装部署参考:【大数据入门核心技术-
Hive
】(三)
Hive
3.1.2非高可用集群搭建【大数据入门核心技术-
Hive
】(四)
Hive
3.1.2高可用集群搭建二、
hive
加载Json格式数据
forest_long
·
2025-01-24 12:27
大数据技术入门到21天通关
大数据
hive
hadoop
开发语言
后端
数据仓库
python中os.path.join的用法
)函数:连接两个或更多的路径名组件1.如果各组件名首字母不包含’/’,则函数会自动加上2.如果有一个组件是一个绝对路径,则在它之前的所有组件均会被舍弃3.如果最后一个组件为空,则生成的路径以一个’/’
分隔符
结尾例
Ian_Wonder
·
2025-01-24 10:44
code问题记录
EXCEL的一些用法记录
按某个
分隔符
进行拆分多列【数据】-【分列】多列调整成多行复制-粘贴-选择【转置】部分内容替换SUBSTITUTE()函数,固定内容加“”
qq_1203981337
·
2025-01-24 10:44
excel
Python 常用运维模块之OS模块篇
模块获取当前工作目录更改当前工作目录返回当前目录路径返回上一级目录路径递归生成目录路径删除目录创建目录删除目录列出特定目录下文件和子目录删除某个特定文件重命名某个文件获取某个文件/目录的信息输出目录路径
分隔符
输出文件行终止符输出用于分隔文件路径的字符串输出当前操作系统的名称获取当前系统的环境变量判断是否有权限执行操作修改文件的权限修改文件的属主和属组创建软连
阿俊仔(摸鱼版)
·
2025-01-24 03:38
python学习系列
python
运维
开发语言
云服务器
CDP中的
Hive
3之Apache
Hive
3特性
CDP中的
Hive
3之Apache
Hive
3特性1、Apache
Hive
3特性2、
Hive
不支持的接口和功能3、
Hive
onTez简介4、Apache
Hive
3架构概述CDP中采用的是Apache
Hive
3
对许
·
2025-01-23 16:51
#
Hive
#
Spark
hive
cdp
Hadoop 与 Spark:大数据处理的比较
大数据技术:涵盖Hadoop(HDFS)、
Hive
、Spark、Fli
王子良.
·
2025-01-23 16:50
大数据
经验分享
hadoop
spark
大数据
Hive
关于数据表的增删改(内部表、外部表、分区表、分桶表 & 数据类型、
分隔符
类型)
建表基本语句格式CREATE[external]TABLEifnotexistsstudent#默认建立内部表,加上external则是建立外部表(idintCOMMENT'学号',snamestringCOMMENT'用户名',ageintCOMMENT'年龄')#字段名称,字段类型,字段描述信息COMMENT'记录学生学号'#表的描述信息PARTITIONBY(departmentstring
黄饱饱_bao
·
2025-01-23 15:20
Hive
hive
数据分析
Hive
(11):Transactional Tables事务表
1
Hive
事务背景知识
Hive
本身从设计之初时,就是不支持事务的,因为
Hive
的核心目标是将已经存在的结构化数据文件映射成为表,然后提供基于表的SQL分析处理,是一款面向分析的工具。
不死鸟.亚历山大.狼崽子
·
2025-01-23 15:48
hive
hive
hadoop
数据仓库
string.join()方法
JavaStringjoin()join()方法返回使用指定
分隔符
拼接一个字符串。在join()方法中,为每个元素添加了
分隔符
。如果为null元素,则添加“null”。
BLUE_SEVEN
·
2025-01-23 15:17
Hive
建表时开启事务机制导致insert失败
建表语句:createtableA(table_codestring,data_dtstring,update_dtstring)clusteredby(table_code)into1bucketsrowformatdelimitedfieldsterminatedby'\033'storedasorc--orc格式tablproperties('transactional'='true');执
大数据学习与分享
·
2025-01-23 15:16
Hadoop
Hive
大数据
hive
hadoop
Java中的String.join方法详解
功能简介String.join方法的功能是将一组字符串连接成一个新的字符串,通过指定一个
分隔符
将它们分隔开。它接受两个参数:
分隔符
和一个可迭代的CharSequence(如字符串
UtdPatch
·
2025-01-23 14:12
java
python
开发语言
java String.join()方法 详解
JavaString.join()方法详解String.join()是Java提供的一个实用方法,用于将多个字符串按照指定的
分隔符
连接成一个字符串。
飞滕人生TYF
·
2025-01-23 14:38
java
java
【YashanDB知识库】归档日志清理
templateId=171...问题:按照官方文档提供的清理归档日志三种方式,手动删除归档日志文件返回succeed后,发现归档日志文件仍然存在原因:按照Yashan的默认配置,如果arc
hive
log
·
2025-01-23 13:07
数据库
基于MRS-Hudi构建数据湖的典型应用场景介绍
一、传统数据湖存在的问题与挑战传统数据湖解决方案中,常用
Hive
来构建T+1级别的数据仓库,通过HDFS存储实现海量数据的存储与水平扩容,通过
Hive
实现元数据的管理以及数据操作的SQL化。
华为云技术精粹
·
2025-01-23 04:50
云计算
华为云
hvie SQL优化之where子句过滤模式
本篇文章来源于《
Hive
性能调优实现》。
三生暮雨渡瀟瀟
·
2025-01-22 20:49
hive调优
hive
git 常用命令 git arc
hive
gitarc
hive
是Git中用于创建一个包含指定提交或分支中所有文件的归档文件(如.tar或.zip)的命令。这个命令非常适合用于分发项目快照、备份代码库或导出特定版本的文件。
张紫娃
·
2025-01-22 20:48
GIT
git
Android Studio 找不到 uploadArc
hive
s 入口
在4.2之前版本的AndroidStudio中想要module打包arr,上传Maven我们只需要在对应module的build.gradle文件顶部添加applyplugin:'maven'然后每一次修改记得要修改版本号,相同版本号提交失败,是不会覆盖的defaultConfig{......versionName"1.0.0"//版本号...</
程思扬
·
2025-01-22 16:09
Android
记录
android
studio
android
ide
基于飞腾平台的
Hive
的安装配置
点击这里开始你的技术升级之旅吧本文分享至飞腾开发者平台《飞腾平台
Hive
3.1.2
·
2025-01-22 15:24
后端hive大数据数据库运维
scrapy学习之爬虫练习平台爬取
本文章首发于个人博客,链接为:https://blog.d77.xyz/arc
hive
s/35dbd7c9.html前言为了练习Scrapy,找了一个爬虫练习平台,网址为:https://scrape.center
LLLibra146
·
2025-01-22 14:53
爬虫
python
Docker+gitlab+jenkins实现项目自动部署
一、Docker安装(CentOS)1、准备工作系统要求以下为官网原文ToinstallDockerEngine,youneedamaintainedversionofCentOS7or8.Arc
hive
dversionsaren
Java小海.
·
2025-01-22 08:42
spring
java
后端
SQL拆分字段内容(含
分隔符
)
问题描述:在做数据迁移的过程中,我们希望对表中的某个字段根据
分隔符
进行拆分,得到多条数据,原代码有点意思,因此记录一下。
m0_74824635
·
2025-01-22 08:12
sql
数据库
java
python读取路径只能是双左斜杠、双右斜杠、左斜杠,不能是右斜杠吗?
事实上,Python中的路径处理函数通常会接受和处理这三种形式的路径
分隔符
。但是,在Windows操作系统中,路径中的
分隔符
通常是反斜杠(\),而在Linux和Unix系统中通常是正斜杠(/)。因此,
神笔馬良
·
2025-01-22 03:05
人工智能
在VS-Code配置Anaconda环境
Anaconda及VS-Code的window10系统的电脑第一步:安装Anaconda由于在官网下载安装包比较慢,所以可以选择在清华大学开源软件镜像站进行下载(Indexof/anaconda/arc
hive
m0_47563195
·
2025-01-22 00:14
配置
python
conda
编辑器
hive
电影数据分析系统 Springboot协同过滤-余弦函数推荐系统 爬虫2万+数据 大屏数据展示 + [手把手视频教程 和 开发文档]
hive
电影数据分析Springboot协同过滤-余弦函数推荐系统爬虫2万+数据大屏数据展示+[手把手视频教程和开发文档]【功能介绍】1.java爬取【豆瓣电影】网站中电影数据,保存为data.csv文件
QQ-1305637939
·
2025-01-21 22:28
毕业设计
大数据毕设
计算机毕业设计
hive
spring
boot
爬虫
360校招——最后赢家(C++)
⭐文章链接:www.mengyingjie.com/arc
hive
s/39/⭐最后赢家时间限制:C/C++语言1000MS;其他语言3000MS内存限制:C/C++语言65536KB;其他语言589824KB
·
2025-01-21 21:17
c++
大数据学习(36)-
Hive
和YARN
&&大数据学习&&系列专栏:哲学语录:承认自己的无知,乃是开启智慧的大门如果觉得博主的文章还不错的话,请点赞+收藏⭐️+留言支持一下博主哦当客户端提交SQL作业到
Hive
Server2时,
Hive
Server2
viperrrrrrr
·
2025-01-21 21:16
大数据
学习
hive
hive
-04-
Hive
函数大全
一、关系运算:1.等值比较:=语法:A=B操作类型:所有基本类型描述:如果表达式A与表达式B相等,则为TRUE;否则为FALSE举例:
hive
>select1fromlxw_dualwhere1=
九师兄
·
2025-01-21 20:09
大数据-hive
hive
函数
Hive
PERCENTILE_APPROX 函数详解
Hive
PERCENTILE_APPROX函数详解PERCENTILE_APPROX是
Hive
中一个重要的函数,用于近似计算数据的百分位数。
_Magic
·
2025-01-21 19:55
hive
hadoop
数据仓库
Hive
SQL 分组与连接操作详解
目录分组GroupBy语句1.案例实操Having语句1.having与where不同点2.案例实操Join语句等值Join1.案例实操表的别名1.好处2.案例实操内连接左外连接右外连接满外连接多表连接1.创建位置表2.导入数据3.多表连接查询笛卡尔集1.笛卡尔集会在下面条件下产生2.案例实操联合(union&unionall)1.union&unionall上下拼接2.案例实操分组GroupBy
大数据深度洞察
·
2025-01-21 18:48
Hive
数据库
hive
大数据
数据仓库
sql
Hadoop 常用命令
查看指定目录下的文件及文件夹hadoopfs-ls/user/
hive
/warehouse/查看指定目录下的文件及文件夹大小#文件大小(单位Byte)hadoopfs-du/user/
hive
/warehouse
ZenPower
·
2025-01-21 06:59
hadoop
大数据
分布式
MySQL字段约束条件,外键约束条件,表关系
MERGEInnoDBArc
hive
BLACKHOLEblackhole与memory存取数据的特征Blackhole:丢弃写操作,读操作会返回空内容Memory:置于内存的表创建表的完整语法字段类型之整型字段类型之浮点型字段类型之字符类型字段类型之枚举与集合字段类型之日期类型约束条件自增
Yietong309
·
2025-01-21 01:10
MySQL数据库
mysql
数据库
开发语言
麒麟系统下载依赖到本地
在麒麟系统中下载依赖到本地,主要有以下几种方法:使用apt命令只下载不安装:在连接互联网的电脑上,使用sudoapt-get-dinstall命令,可以只下载软件包及其依赖到/var/cache/apt/arc
hive
s
乙龙
·
2025-01-20 20:59
linux
kylin
Apache
Hive
一、Apache
Hive
简介官方网址:https://
hive
.apache.org/TheApache
Hive
™datawarehousesoftwarefacilitatesreading,writing
_从头再来_
·
2025-01-20 10:09
大数据
python 快速拆分含有多种
分隔符
的字符串
importres='ab;cd|efghij,lmn;opq,rst,uvwx\yz're.split(r'[,;\\|]+',s)
风陵苑主
·
2025-01-20 09:30
python
tar命令详解:解压与压缩的技巧
一、tar命令概述tar(tapearc
hive
)是一个用于打包和压缩文件的命令行工具。它可以将多个文件和目录打包成一个文件,也可
wx_tangjinjinwx
·
2025-01-20 06:29
tar
linux
Hadoop 和 Spark 的内存管理机制分析
大数据技术:涵盖Hadoop(HDFS)、
Hive
、Spark、Fli
王子良.
·
2025-01-20 03:27
经验分享
hadoop
spark
大数据
可以用于分割字符串的方法(python)
一、str.split(sep,maxsplit)函数(返回列表)sep:
分隔符
maxsplit:分割次数a="Helloworld"list1=a.split("",1)print(list1)结果:
小臭希
·
2025-01-19 21:03
python
开发语言
在线格式化XML
http://xmlindent.com/转载于:https://www.cnblogs.com/DotNetNuke/arc
hive
/2010/07/14/1777096.html
weixin_34250709
·
2025-01-19 20:27
Hive
小文件合并
作者:振鹭一、参数配置:在Map输入的时候,把小文件合并。--每个Map最大输入大小,决定合并后的文件数setmapred.max.split.size=256000000;--一个节点上split的至少的大小,决定了多个datanode上的文件是否需要合并setmapred.min.split.size.per.node=100000000;--一个交换机下split的至少的大小,决定了多个交换
云掣YUNCHE
·
2025-01-19 09:20
hive
hadoop
数据仓库
hive
小文件合并机制_
hive
小文件的问题弊端以及合并
小文件的弊端1、HDFS中每个文件的元数据信息,包括位置大小分块信息等,都保存在NN内存中,在小文件数较多的情况下,会造成占用大量内存空间,导致NN性能下降;2、在读取小文件多的目录时,MR会产生更多map数,造成GC频繁,浪费集群资源;3、现在大数据平台文件总数超过30亿,单个NS文件数超过4亿的时候,读写性能会急剧下降,影响到所有读写该NS的任务性能;4、如果队列限制最大map数是20000,
做生活的创作者
·
2025-01-19 08:49
hive小文件合并机制
上一页
2
3
4
5
6
7
8
9
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他