E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hive数据仓库
centos7中的MySQL安装
/bin/bashcd/rootmkdirmysql_tarwgethttps://downloads.mysql.com/arc
hive
s/get/p/23/file/mysql-community-server
老伙子53
·
2024-03-27 00:16
mysql
数据库
CDH 启停使用
Hive
Server2
翻译:https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_
hive
server2_start_stop.html
金刚_30bf
·
2024-03-26 23:41
关于HDP的20道高级运维面试题
HDP(HortonworksDataPlatform)的主要组件包括Hadoop框架、HDFS、MapReduce、YARN以及Hadoop生态系统中的其他关键工具,如Spark、Flink、
Hive
编织幻境的妖
·
2024-03-26 15:34
运维
【Caddy】Caddy实践1——此网站无法提供安全连接
Caddy在另外一个机器上出现了错误,执行步骤如下:步骤一:添加Caddy软件源并安装执行以下命令添加Caddy的软件源并安装:sudoaptinstall-ydebian-keyringdebian-arc
hive
-keyringapt-transport-httpscurlcurl
鲁正杰
·
2024-03-24 12:31
Caddy
部署
疑难杂症
安全
ubuntu
网络
hive
sql实现查找商品表名称中包含敏感词的商品
背景用户上传的商品表一般会包含商品名称,由于这些商品名称是用户自己起的,里面可能包含了敏感词,需要通过sql找出来哪些商品的商品名称包含了敏感词汇
hive
sql实现查找商品表名称中包含敏感词的商品实现思路
lixia0417mul2
·
2024-03-24 03:50
大数据
hive
sql
hadoop
服务器虚拟化和云平台,云平台和服务器虚拟化区别
云平台和服务器虚拟化区别内容精选换一换云硬盘(ElasticVolumeService,EVS)可以为云服务器提供高可靠、高性能、规格丰富并且可弹性扩展的块存储服务,可满足不同场景的业务需求,适用于分布式文件系统、开发测试、
数据仓库
以及高性能计算等场景
木子Hui
·
2024-03-20 05:14
服务器虚拟化和云平台
大数据开发(
Hive
面试真题-卷二)
大数据开发(
Hive
面试真题)1、举几个
Hive
开窗函数例子?什么要有开窗函数,和聚集函数区别?2、说下
Hive
是什么?跟
数据仓库
区别?3、
Hive
架构?4、
Hive
数据倾斜以及解决方案?
Key-Key
·
2024-03-20 05:14
大数据
hive
面试
windows下用cmd命令netstat查看系统端口使用情况
转:https://www.cnblogs.com/lvxiuquan/arc
hive
/2012/08/22/2650507.html开始--运行--cmd进入命令提示符输入netstat-ano即可看到所有连接的
wmh188
·
2024-03-18 13:22
linux安装单机版spark3.5.0
一、spark介绍是一种通用的大数据计算框架,正如传统大数据技术Hadoop的MapReduce、
Hive
引擎,以及Storm流式实时计算引擎等.Spark主要用于大数据的计算二、spark下载spark3.5.0
爱上雪茄
·
2024-03-17 18:57
大数据
JAVA知识
spark
大数据
分布式
数据挖掘-数据预处理的必要性及主要任务
(2)数据集成:将数据由多个数据源合并成一个一致的数据存储,如
数据仓库
。(3)数据归约:可以通过如狙击、删除冗余特征或聚类来降低数据的规模。(4)数据变换:
嘣嘣嚓
·
2024-03-17 10:16
数据挖掘
数据仓库
数据库
数据分析
人工智能
MySQL建表以及excel内容导入
一个数据库从逻辑上来说是由一个或多个表空间所组成,表空间是数据库中物理编组的
数据仓库
。每一个表空间是由段所组成,一个表空间存放一个或多个数据库的物理文件。一个数据库中的
jameszjd
·
2024-03-17 00:03
mysql
excel
oracle
数据仓库
的设计开发应用(三)
目录五、
数据仓库
的实施(一)
数据仓库
的创建(二)数据抽取转换加载六、
数据仓库
系统的开发(一)开发任务(二)开发方法(三)系统测试七、
数据仓库
系统的应用(一)用户培训(二)决策支持(三)维护评估 五、
数据仓库
的实施
Francek Chen
·
2024-03-16 14:22
数据仓库与数据挖掘
数据仓库
大数据
数据仓库设计
数据库开发
Hive
中的NVL函数与COALESCE函数
ReturnsdefaultvalueifvalueisnullelsereturnsvalueExample:>SELECTnvl(null,'bla')FROMsrcLIMIT1;blaFunctionclass:org.apache.hadoop.
hive
.ql.udf.generic.GenericUDFNv
独影月下酌酒
·
2024-03-15 13:13
Hadoop
大数据
hive
hadoop
数据仓库
hive
库表占用空间大小的命令
1、查每个
hive
表占用的空间大小hdfsdfs-du-h/user/
hive
/warehouse2、按占用空间大小降序排列hdfsdfs-du/user/
hive
/warehouse/ipms.db|
刀鋒偏冷
·
2024-03-15 13:13
hive
hadoop
数据仓库
Hive
中常用函数 wm_concat & concat_ws & collect_set & sort_array总结
concat_ws&collect_set:应用1:usereach_iduser_id1id1user_id1id2user_id2id1user_id2id2user_id2id3user_id3id1useridsuser_id1id1,id2user_id2id1,id2,id3user_id3id1selectdt,user_id,concat_ws(',',collect_set(ea
Lens5935
·
2024-03-15 13:12
Hive
数据库
数据分析
hive
大数据
sql
数据库
postgresql
HIVE
表中导入导出数据的几种方式
一:往
HIVE
表中导入导出数据语法结构:[]带括号的表示可选择字段LOADDATA[LOCAL]INPATH‘filepath’[OVERWRITE]INTOTABLEtablename[PARTITION
qq_37805784
·
2024-03-15 12:11
hive
大数据
数据仓库
Hive
中的CONCAT、CONCAT_WS与COLLECT_SET函数
1.CONCAT与CONCAT_WS函数1.1CONCAT函数--concat(str1,str2,...strN)-returnstheconcatenationofstr1,str2,...strNorconcat(bin1,bin2,...binN)-returnstheconcatenationofbytesinbinarydatabin1,bin2,...binNReturnsNULLi
独影月下酌酒
·
2024-03-15 11:09
大数据
Hadoop
hive
hadoop
数据仓库
03
hive
数仓安装与基础使用
hive
Hive
概述
Hive
是基于Hadoop的一个
数据仓库
工具。
daydayup9527
·
2024-03-14 13:39
hadoop_hive
运维
hadoop
Hive
函数 LAG 和 LEAD 使用示例
Hive
函数LAG和LEAD使用示例在
Hive
中LAG和LEAD是用于访问前一个或后一个行的函数,通常与窗口函数一起使用。
公子乂
·
2024-03-13 05:24
hive
hadoop
数据仓库
sql
大数据
Apache Paimon 使用之Creating Catalogs
hive
metastore,将metadata存储在
Hive
metastore中。用户可以直接从
Hive
访问表。
猫猫爱吃小鱼粮
·
2024-03-12 03:48
Paimon
apache
hive
hadoop
Sqoop一些常用命令及参数
命令类说明importImportTool将数据导入到集群exportExportTool将集群数据导出codegenCodeGenTool获取数据库中某张表数据生成Java并打包Jarcreate-
hive
-tableCreate
Hive
TableTool
大数据小同学
·
2024-03-11 09:19
Spark从入门到精通29:Spark SQL:工作原理剖析以及性能优化
SparkSQL工作原理剖析1.编写SQL语句只要是在数据库类型的技术里面,例如MySQL、Oracle等,包括现在大数据领域的
数据仓库
,例如
Hive
。
勇于自信
·
2024-03-11 00:20
hive
--去除特殊字符regexp_replace
文章目录regexp_replace`'\tabc\ndef\rhij'`→`'abcdefhij'``'\tabc\ndef\rhij'`→`'abcdefhij'`看一下其他的情况regexp_replace'\tabc\ndef\rhij'→'abcdefhij'selectregexp_replace('\tabc\ndef\rhij','\n|\t|\r|','');'abcdefhij
韩家小志
·
2024-03-10 22:21
一些杂项
replace
hive去特殊字符
Hive
--行转列/列转行
行转列/列转行一、lateralview案例1:与explode连用案例2:与parse_url_tuple连用二、explode三、行列转换行转列多行转多列多行转单列列转行多列转多行单列转多行一、lateralview分类:视图功能:配合UDTF来使用,把某一行数据拆分成多行数据很多的UDTF不能将结果与源表进行关联,使用lateralview,可以将UDTF拆分的单个字段数据与原始表数据关联上
韩家小志
·
2024-03-10 22:51
#
Hive函数
hive
ETL策略
数据仓库
平台,ETL是很重要一环,看ETL的发展史,最初使用表格,人工从系统下载,在excel匹配,然后加载到
数据仓库
平台,到后来开始出现ETL工具,大概分为两个派别,以ETL架构的datastage,
朱先生_hfm
·
2024-03-10 13:11
etl
数据仓库
Hive
SQL某天每个直播间最大在线人数
一张表dwd_user_log有如下字段:1)直播间:live_id2)用户:userid3)时间戳:date_stamp4)登陆类型:entry_type(登入in和登出out)求某天每个直播间最大在线人数?selectlive_id,max(total_users)max_total_usersfrom(selectlive_id,userid,date_stamp,sum(ind)over(
sofo2017
·
2024-03-09 21:51
数据仓库技术体系
hive
Hive
SQL 开发指南(三)优化及常见异常
在大数据领域,
Hive
SQL是一种常用的查询语言,用于在Hadoop上进行数据分析和处理。为了确保代码的可读性、维护性和性能,制定一套规范化的
Hive
SQL开发规范至关重要。
大数据_苡~
·
2024-03-09 14:13
003-数据开发
hive
Hive优化
数据倾斜
Hive常见异常
hive
join
大数据开发(Hadoop面试真题-卷九)
大数据开发(Hadoop面试真题)1、
Hive
count(distinct)有几个reduce,海量数据会有什么问题?
Key-Key
·
2024-03-09 10:06
大数据
hadoop
面试
Hive
分组排序取topN的sql查询示例
Hive
分组排序取topN的sql查询示例要在
Hive
中实现分组排序并取每组的前N条记录,可以使用ROW_NUMBER()窗口函数结合PARTITIONBY和ORDERBY子句。
公子乂
·
2024-03-06 08:31
hive
sql
hadoop
大数据
数据仓库
归档模式
1:归档日志文件在线日志——用于崩溃/实例恢复/介质恢复归档日志——用于介质恢复2:确认数据库是否为归档模式arc
hive
loglist;--查看数据归档信息selectlog_modefromv$database
个人精进成长营
·
2024-03-06 08:12
【
数据仓库
作业】第1章 绪论
三、简述
数据仓库
的定义。四、简述
数据仓库
的特征。五、简述主题的定义。六、简述元数据的概念。七、简述数据挖掘的主要任务。八、简述数据挖掘的主要步骤。九、下列活动是否属于数据挖掘任务,并简述其理由。
Francek Chen
·
2024-03-06 06:28
数据仓库与数据挖掘
数据仓库
数据库
数据挖掘
hbase、
hive
、clickhouse对比
概念架构hbasemaster存储元数据、regionServer实际控制表数据,存储单位是Region,底层数据存储使用HDFS
hive
通过driver将sql分解成mapreduce任务元数据需要单独存储到一个关系型数据库
freshrookie
·
2024-03-05 16:40
hbase
hive
hadoop
Mac 离线安装Qt5
1下载QT1.1.打开链接:https://download.qt.io/arc
hive
/qt/在这个链接上,可以看到不同版本的QT,我们选择稳定5.9/点开后,选择5.9.8版本,可以看到不同版本的QT
熊明之
·
2024-03-05 11:33
mac
c++
hive
--字符串连接函数concat(),concat_ws()
一、字符串连接函数:concat功能:将多个字符串连接成一个字符串语法:concat(stringA,stringB…)返回值:string说明:返回输入字符串连接后的结果,支持任意个输入字符串举例:
hive
nuhao_
·
2024-03-03 17:08
sql
数据库
hive
hadoop
数据仓库
【Hadoop】使用Metorikku框架读取
hive
数据统计分析写入mysql
一、定义作业文件作业文件该文件将包括输入源、输出目标和要执行的配置文件的位置,具体内容如下metrics:-/user/xrx/qdb.yaml#此位置为hdfs文件系统目录inputs:output:jdbc:connectionUrl:"jdbc:mysql://233.233.233.233:3306/sjjc"user:"root"password:"123456"driver:"com.
方大刚233
·
2024-03-03 06:23
Hadoop
Scala
hadoop
hive
mysql
让数据用起来:数据中台建设的评估与选择(第4章)
开始构建企业级
数据仓库
,使用BI工具、大屏等。第三个阶段:数据驱动。加强业务与数据融合,利用大数据、机器学习、深度学习等技术进行精准营销、信用风险控制等。第四个阶段:运营优化。
小阳阳兄
·
2024-03-03 02:20
读书笔记
产品经理
数据分析
大数据
hive
join中出现的数据暴增(数据重复)
什么是join过程中导致的数据暴增?例如:给左表的每个用户打上是否是新用户的标签,左表的用户数为100,但是关联右表之后,得到的用户数为200甚至更多什么原因导致的数据暴增呢?我们来看一下案例:spark-sql>withtest1as>(select'10001'asuid,'xiaomi'asqid>unionall>select'10002'asuid,'huawei'asqid>union
不想起的昵称
·
2024-03-02 15:03
hive
大数据
hadoop
hive
hive
四种常见的join
1.左连接leftjoinspark-sql>withtest1as(>select1asuser_id,'xiaoming'asname>unionall>select2asuser_id,'xiaolan'asname>unionall>select3asuser_id,'xiaoxin'asname>),>>test2as(>select1asuser_id,19asage>unionall
不想起的昵称
·
2024-03-02 15:33
hive
大数据
hadoop
hdfs
hive
Spark整合
hive
(保姆级教程)
准备工作:1、需要安装配置好
hive
,如果不会安装可以跳转到Linux下编写脚本自动安装
hive
2、需要安装配置好spark,如果不会安装可以跳转到Spark安装与配置(单机版)3、需要安装配置好Hadoop
万家林
·
2024-02-29 09:47
spark
hive
spark
hadoop
Hive
复杂数据类型之array
定义格式如下:createtabletableName(......colNamearray......)说明:下标从0开始,越界不报错,以null代替案例准备:测试数据zhangsan78,89,92,96lisi67,75,83,94王五23,12createtableifnotexistsarr1(namestring,scoresarray)rowformatdelimitedfields
鸭梨山大哎
·
2024-02-28 08:48
hive
hive
array
数据类型
Hive
数据仓库
行转列
查了很多资料发现网上很多文章都是转发和抄袭,有些问题。这里分享一个自己项目中使用的行转列例子,供大家参考。代码如下:SELECTmy_id,nm_cd_map['A']ASmy_cd_a,nm_cd_map['B']ASmy_cd_b,nm_cd_map['C']ASmy_cd_c,nm_num_map['A']ASmy_num_a,nm_num_map['B']ASmy_num_b,nm_num
XueminXu
·
2024-02-28 07:47
大数据
hive
行转列
str_to_map
COLLECT_LIST
STRUCT
数据仓库
和数据湖的区别
数据仓库
和数据湖是两种不同的数据存储和管理架构,它们有以下区别:1.数据结构:
数据仓库
采用结构化的数据模型,通常是规范化的关系型数据库,其中数据以表格形式组织,使用预定义的模式和架构。
图灵追慕者
·
2024-02-28 02:10
中台
数据仓库
数据湖
数据中台
算法平台
Hive
--删除数据库
一、删除数据库注意:
Hive
与MySQL再删除数据库时是有一点不一样的。
Hive
再删除数据库操作时,要保证该库下没有任何数据表!
nuhao_
·
2024-02-26 19:33
hive
数据库
hadoop
转载:Linux全自动批量配置SSH免密
转载自https://www.mr-mao.cn/arc
hive
s/auto-configure-ssh-nopass-login.html1、在主机的操作系统上安装expect2、新建host_ip文件
徐sir(徐慧阳)
·
2024-02-26 04:14
系统集成
网络
服务器
linux
hive
学习笔记之九:基础UDF
欢迎访问我的GitHubhttps://github.com/zq2599/blog_demos内容:所有原创文章分类汇总及配套源码,涉及Java、Docker、Kubernetes、DevOPS等;《
hive
程序员欣宸
·
2024-02-26 00:05
【超详细】
HIVE
日期函数(当前日期、时间戳转换、前一天日期等)
文章目录相关文献常量:当前日期、时间戳前一天日期、后一天日期获取日期中的年、季度、月、周、日、小时、分、秒等时间戳转换时间戳to日期日期to时间戳日期之间月、天数差作者:小猪快跑基础数学&计算数学,从事优化领域5年+,主要研究方向:MIP求解器、整数规划、随机规划、智能优化算法。如有错误,欢迎指正。如有更好的算法,也欢迎交流!!!——@小猪快跑相关文献LanguageManualUDF-Apach
小猪快跑爱摄影
·
2024-02-25 21:04
HIVE
hive
hadoop
数据仓库
數據集成平台:datax將MySQL數據以query方式同步到
hive
數據集成平台:datax將MySQL數據以query方式同步到
hive
1.py腳本#coding=utf-8importjsonimportgetoptimportosimportsysimportMySQLdbimportre
m0_37759590
·
2024-02-25 09:18
mysql
hive
datax
mysql
hive
datax
php 打包 zip
php使用原生的ZipArc
hive
类来打包zip。
·
2024-02-24 15:57
phpzip打包
【云学院干货】
数据仓库
服务:在冗余海量数据中找到正确决策
数据仓库
服务:在冗余海量数据中找到正确决策目前
数据仓库
分析解决方案在金融,电信,零售等多个行业发展迅速,很多企业在关键决策中需要对自身海量数据进行多样化,深层次的分析。
舒意从生
·
2024-02-24 07:21
每天一个数据分析题(一百六十四)
关于OLAP系统,下列选项不正确的是()A.是基于
数据仓库
的信息进行分析处理过程B.用户数量相对较少,其用户主要是业务决策人员与管理人员C.对响应时间要求非常高。
紫色沙
·
2024-02-22 22:43
数据分析题库
数据分析
大数据
数据挖掘
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他