E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
jdbc连接hive
Mysql-经典实战案例(10):如何用PT-Arc
hive
r完成大表的自动归档
真实痛点:电商订单表存储优化场景现状分析某电商平台订单表(order_info)每月新增500万条记录主库:高频读写,SSD存储(空间告急)历史库:HDD存储,只读查询优化目标✅自动迁移7天前的订单到历史库✅每周六23:30执行,不影响业务高峰✅确保数据一致性第一章:前期准备:沙盒实验室搭建1.1实验环境架构生产库:10.33.112.22历史库:10.30.76.41.2环境初始化(双节点执行)
从不删库的DBA
·
2025-03-21 16:51
Mysql
经典实战案例
mysql
数据库
Hive
面试题
Hive
面试题1
Hive
基础概念1.1解释
Hive
是什么以及它的用途
Hive
的主要用途:1.2描述
Hive
架构和组件1.
Hive
CLI/Beeline和WebUI2.
Hive
QL3.
Hive
Driver
御风行云天
·
2025-03-21 13:24
面试题大全
hive
hadoop
数据仓库
面试
Hive
实际应用场景及对应SQL示例
Hive
实际应用场景及对应SQL示例一、日志分析场景**场景说明:**处理大规模日志数据(如Web访问日志),分析用户行为或系统运行状态。
小技工丨
·
2025-03-21 09:46
大数据随笔
hive
sql
hadoop
大数据
数据仓库
#Hadoop全分布式安装 #mysql安装 #
hive
安装
分布式(多台机器部署不同组件)与集群(多台机器部署相同组件)概念。Linux基础命令linux具有文件数:目录、文件,从根目录开始,路径具有唯一性。pwd:显示当前路径特殊符号:/:根目录.:隐藏文件,如果路径以.开始,表示当前目录下..:当前目录下的上一级~:当前目录的home目录--help:帮助命令使用linux常用操作命令tab键:自动补全ls:显示指定目录内容默认:当前路径-a:显示所有
砸吧砸吧
·
2025-03-21 09:14
hadoop
hive
yarn
mysql
hive
使用oracle数据库
hive
使用oracle作为数据源,导入数据使用sqoop或kettle或自己写代码(淘宝的开源项目中有一个xdata就是淘宝自己写的)。感觉sqoop比kettle快多了,淘宝的xdata没用过。
sardtass
·
2025-03-21 05:43
hadoop
hive
开源项目
Hive
Metastore 的架构简析
Hive
Metastore的架构简析
Hive
Metastore是
Hive
元数据管理的服务。可以把元数据存储在数据库中。对外通过api访问。
houzhizhen
·
2025-03-21 04:09
hive
hive
Hive
与Spark的UDF:数据处理利器的对比与实践
文章目录
Hive
与Spark的UDF:数据处理利器的对比与实践一、UDF概述二、
Hive
UDF解析实现原理代码示例业务应用三、SparkUDF剖析-JDBC方式使用SparkThriftServer设置通过
窝窝和牛牛
·
2025-03-20 23:22
hive
spark
hadoop
尚硅谷电商数仓6.0,
hive
on spark,spark启动不了
40000]Errorwhilecompilingstatement:FAILED:SemanticExceptionFailedtogetasparksession:org.apache.hadoop.
hive
.ql.metadata.
Hive
Exception
新时代赚钱战士
·
2025-03-20 20:57
hive
spark
hadoop
qt-5.15.2 源码编译 Linux
QT官方源码下载地址:https://download.qt.io/arc
hive
/qt/5.15/5.15.12/single/qt-everywhere-opensource-src-5.15.12
weixin_40857106
·
2025-03-20 17:38
服务器
运维
鸿蒙HarmonyOS开发:应用程序静态包-HAR
HAR(HarmonyArc
hive
)是静态共享包,可以包含代码、C++库、资源和配置文件。通过HAR可以实现多个模块或多个工程共享ArkUI组件、资源等相关代码。
让开,我要吃人了
·
2025-03-20 15:52
鸿蒙开发
OpenHarmony
HarmonyOS
harmonyos
华为
移动开发
前端
html
开发语言
鸿蒙
flutter 使用xcodebuild 命令打包ipa
苹果打ipa包(注意苹果打包需要连接真机)方式一、1.先执行flutterbuildios生成framework2.执行命令xcodebuild-exportArc
hive
-arc
hive
Pathbuild
肥肥呀呀呀
·
2025-03-20 08:25
flutter
Hadoop相关面试题
以下是150道Hadoop面试题及其详细回答,涵盖了Hadoop的基础知识、HDFS、MapReduce、YARN、HBase、
Hive
、Sqoop、Flume、ZooKeeper等多个方面,每道题目都尽量详细且简单易懂
努力的搬砖人.
·
2025-03-20 01:53
java
面试
hadoop
oracle cdc logminer与oracle xstream
通过解析归档日志(Arc
hive
Log)或在线日志(OnlineRedoLog)提取变更记录,采用轮询机
24k小善
·
2025-03-19 10:55
java
大数据
flink
csv转为utf8编码_中文的csv文件的编码改成utf8的方法
直奔主题:把包含中文的csv文件的编码改成utf-8的方法:啰嗦几句:在用pandas读取
hive
导出的csv文件时,经常会遇到类似UnicodeDecodeError:'gbk'codeccan'tdecodebyte0xa3inposition12
John Sheppard
·
2025-03-19 03:47
csv转为utf8编码
企业信息化整体架构图
CollaboraticeCommerce转载于:https://www.cnblogs.com/Masterpiece/arc
hive
/2004/12/29/83696.html
weixin_33937913
·
2025-03-19 03:47
系统架构
Hive
函数大全:从核心内置函数到自定义UDF实战指南(附详细案例与总结)
目录背景一、
Hive
函数分类与核心函数表1.内置函数分类2.用户自定义函数(UDF)分类二、常用函数详解与实战案例1.数学函数2.字符串函数3.窗口函数4.自定义UDF实战三、总结与优化建议
一个天蝎座 白勺 程序猿
·
2025-03-18 23:45
大数据开发从入门到实战合集
hive
hadoop
数据仓库
dcm4che
dcm4che工具包DICOMtoolkitDICOM工具包dcm4chee归档服务器器IHE影像管理器和影像归档执行器(dcm4jbossarc
hive
影像归档器,影像扫描检查和报告的管理)dcm4che2
jamie_zhengmin
·
2025-03-18 22:40
dcm4che
archive
jboss
工具
服务器
将
Hive
数据导出为CSV和Excel格式的方法
将
Hive
数据导出为CSV和Excel格式的方法在
Hive
中存储和处理大规模数据是一项常见的任务。
翠绿探寻
·
2025-03-18 21:38
hive
excel
hadoop
编程
debian11安装MongoDB
curl-fsSLhttps://www.mongodb.org/static/pgp/server-6.0.asc|sudogpg--dearmor-o/usr/share/keyrings/mongodb-arc
hive
-keyring.gpg
韩搏
·
2025-03-18 11:43
Linux基础
mongodb
数据库
linux 安装anaconda与jupyter notebook配置
下载地址1)官网:https://www.anaconda.com/distribution/2)清华镜像:https://mirrors.tuna.tsinghua.edu.cn/anaconda/arc
hive
土豆土豆,我是洋芋
·
2025-03-18 10:42
python
Hive
与 SparkSQL 的语法差异及性能对比
在大数据处理领域,
Hive
和SparkSQL都是极为重要的工具,它们为大规模数据的存储、查询和分析提供了高效的解决方案。
自然术算
·
2025-03-18 09:22
Hive
hive
hadoop
大数据
spark
Oracle V$SESSION详解
包括用户session及后台进程如DBWR,LGWR,arcc
hive
r等等。
雨的遐想
·
2025-03-18 08:49
oracle
数据库
Spark任务读取
hive
表数据导入es
使用elasticsearch-hadoop将
hive
表数据导入es,超级简单1.引入pomorg.elasticsearchelasticsearch-hadoop9.0.0-SNAPSHOT2.创建
小小小小小小小小小小码农
·
2025-03-17 18:25
hive
elasticsearch
spark
java
Redis 安装详细教程(小白版)
一、Windows系统安装Redis方法1:直接安装(推荐新手)下载RedisforWindows访问微软维护的Redis版本:https://github.com/microsoftarc
hive
/redis
小小鸭程序员
·
2025-03-17 11:07
spring
java
AI编程
spring
cloud
redis
Hive
SQL 精进系列:REGEXP_REPLACE 函数的用法
REGEXP_REPLACE与REPLACE函数的对比4.1功能差异4.2适用场景五、REGEXP_REPLACE与REGEXP函数的对比5.1功能差异5.2适用场景六、总结一、引言字符串处理是数据处理中的常见需求,
Hive
进一步有进一步的欢喜
·
2025-03-17 11:33
Hive
SQL
精进系列
hive
sql
hadoop
Hive
SQL 精进系列:SUBSTR 函数的多样用法
简单示例三、SUBSTR函数常见应用场景3.1提取日期中的年份、月份或日期3.2隐藏部分敏感信息四、SUBSTR函数高级用法4.1结合条件判断动态截取4.2处理复杂字符串模式五、总结一、引言SUBSTR函数是
Hive
SQL
进一步有进一步的欢喜
·
2025-03-17 11:03
Hive
SQL
精进系列
hive
sql
hadoop
Hive
----
Hive
进阶操作(三)
HIVE
特殊分隔符处理
HIVE
特殊分隔符处理补充:
hive
读取数据的机制:1、首先用InputFormat的一个具体实现类读入文件数据,返回一条一条的记录(可以是行,或者是你逻辑中的“行”)2、然后利用SerDe的一个具体实现类
XiaodunLP
·
2025-03-17 11:31
Hive
hive
-进阶版-1
第6章
hive
内部表与外部表的区别
Hive
是一个基于Hadoop的数据仓库工具,用于对大规模数据集进行数据存储、查询和分析。
数据牧马人
·
2025-03-17 10:59
hive
hadoop
数据仓库
NVIDIA下载老版本驱动/CUDA/Video Codec SDK的链接,以及一些解码参数说明
NVIDIA下载老版本驱动/CUDA/VideoCodecSDK的链接从别的网站抄过来的CUDA:https://developer.nvidia.com/cuda-toolkit-arc
hive
老驱动
landihao
·
2025-03-17 00:43
linux
hive
split 函数转义问题
语法split(strstring,regexstring)--使用regex分割字符串str基本用法selectsplit('a,b,c,d',',')fromtemp_cwh_test;--分割--结果为数组>["a","b","c","d"]截取字符串中某个值selectsplit('a,b,c,d',',')[0]fromtemp_cwh_test;--提取第1个值>a特殊字符的处理针对特
进一步有进一步的欢喜
·
2025-03-16 21:45
Hive
SQL
精进系列
大数据
Hive
SQL 精进系列:解锁
Hive
SQL 中 KeyValue 函数的强大功能
目录一、引言二、KeyValue函数基础2.1语法结构详解形式一:`keyvalue(string,[string,string,]string)`形式二:`keyvalue(string,string)`2.2参数详解2.3返回值规则三、丰富的应用场景3.1解析学生成绩信息3.2处理员工考勤数据3.3分析网站访问参数3.4提取设备配置信息四、使用注意事项4.1分隔符的准确性4.2空值处理4.3多
进一步有进一步的欢喜
·
2025-03-16 20:42
Hive
SQL
精进系列
hive
sql
hadoop
大数据手册(Spark)--Spark安装配置
假设已经安装好了hadoop(伪分布式)和
hive
,环境变量如下JAVA_HOME=/usr/opt/jdkHADOOP_HOME=/usr/local/hadoop
HIVE
_HO
WilenWu
·
2025-03-16 20:09
数据分析(Data
Analysis)
大数据
spark
分布式
关于stable diffusion的lora训练在linux远程工作站的部署
安装anaconda或者miniconda(官网上也有教程):wgethttps://repo.anaconda.com/arc
hive
/Anaconda3-5.3.0-Linux-x86_64.shchmod
回天一梦
·
2025-03-16 19:02
stable
diffusion
python
经验分享
Hive
SQL 精进系列:一行变多行的 LATERAL VIEW EXPLODE
目录一、引言二、`LATERALVIEWEXPLODE`概述2.1基本概念2.2单词解析2.2.1`LATERAL`2.2.2`VIEW`2.2.3`EXPLODE`三、语法详解3.1基本语法结构3.2完整语法示例(针对映射情况)四、使用场景4.1数组数据展开4.2映射数据展开五、案例分析5.1展开数组示例5.1.1数据准备5.1.2使用`LATERALVIEWEXPLODE`展开数组5.1.3结
进一步有进一步的欢喜
·
2025-03-16 14:24
Hive
SQL
精进系列
hive
sql
hadoop
sql获取某列出现频次最多的值_业务硬核SQL集锦
适用对象:工作中能接触到sql查询平台的业务同学(例如有数据查询权限的产品与运营同学)适用场景:查询
hive
&mysql上的数据文档优势:比起各类从零起步的教程教材,理解门槛低,有效信息密度大,可以覆盖高频业务场景
金渡江
·
2025-03-16 07:05
sql获取某列出现频次最多的值
Hive
SQL 精进系列: JSON_TUPLE 快速提取多键值
目录一、引言二、json_tuple函数基础2.1基本语法参数解释返回值简单示例三、应用场景3.1数据提取与分析3.2数据集成与转换3.3复杂JSON数据处理四、json_tuple、get_json_object和from_json的对比4.1功能特点4.2语法和使用复杂度4.3性能表现4.4示例对比使用json_tuple使用get_json_object使用from_json五、使用注意事项
进一步有进一步的欢喜
·
2025-03-16 06:34
Hive
SQL
精进系列
hive
sql
hadoop
hive
sql报错
1.
hive
sql报错FAILED:ParseExceptionline22:0cannotrecognizeinputnear''''''insubquerysource2.解决select*from
进一步有进一步的欢喜
·
2025-03-16 06:04
大数据
Hive
SQL
精进系列
HIVE
开窗函数
ETL,SQL面试高频考点——
HIVE
开窗函数(基础篇)目录标题ETL,SQL面试高频考点——
HIVE
开窗函数(基础篇)一,窗口函数介绍二,开窗函数三,分析函数分类1,排序分析函数:实列解析对比总结2.
Cciccd
·
2025-03-16 02:31
sql
hive
hive
开窗函数总结
文章目录概要整体架构流程示例1示例2小结概要
hive
开窗函数总结整体架构流程1.窗口函数的基本用法函数名()over()over关键字来指定函数执行的范围,包含三个分析子句:分组(partitionby
weixin_46134848
·
2025-03-16 02:01
大数据
hive
mysql
Hive
MR & Spark & Yarn参数优化总结
一、
hive
mr参数调优:set
hive
.optimize.ppd=true;--开启谓词下推。
大数据侠客
·
2025-03-16 02:31
hive相关问题汇总及解决
hive
spark
mr
yarn
参数
优化
hive
中优化性能的一些方法
在Apache
Hive
中,性能优化是一个重要的课题,尤其是在处理大规模数据时。通过合理的优化方法,可以显著提升查询速度和资源利用率。
闯闯桑
·
2025-03-16 02:30
hive
hadoop
数据仓库
使用 Doris 和 Iceberg
自0.15版本起,ApacheDoris引入
Hive
和Iceberg
向阳1218
·
2025-03-15 15:10
大数据
doris
使用 Doris 和 LakeSoul
自0.15版本起,ApacheDoris引入
Hive
和Iceberg
向阳1218
·
2025-03-15 15:10
大数据
doris
doris:Hudi Catalog
TimeTravel,IcrementalReadMergeOnReadSnapshotQueries,ReadOptimizedQueries,TimeTravel,IcrementalRead目前支持
Hive
Metastore
向阳1218
·
2025-03-15 15:40
大数据
doris
大数据学习(67)- Flume、Sqoop、Kafka、DataX对比
实时日志采集与传输从数据源到存储系统实时日志文件、网络流量等→HDFS、HBase、Kafka等日志收集、实时监控、实时分析Sqoop关系型数据库与Hadoop间数据同步关系型数据库→Hadoop生态系统(HDFS、
Hive
viperrrrrrr
·
2025-03-15 09:51
大数据
学习
flume
kafka
sqoop
datax
Different number of columns
org.apache.flink.client.program.ProgramInvocationException:Themainmethodcausedanerror:Columntypesofqueryresultandsinkforregisteredtable‘photoTradeInfo
Hive
.db_audit.ods_photo_trade
sunyaox
·
2025-03-15 06:23
flink
flink异常
doris:SQL 方言兼容
提示从2.1版本开始,Doris可以支持多种SQL方言,如Presto、Trino、
Hive
、PostgreSQL、Spark、Clickhouse等等。
向阳1218
·
2025-03-15 01:07
大数据
doris
Linux 让PHP支持MSSQL
FreeTDS官方网站:http://www.freetds.org当前版本0.82wgethttp://mirrors.xmu.edu.cn/ubuntu/arc
hive
/pool/main/f/freetds
hello_simon
·
2025-03-14 17:28
php
linux
YashanDB归档日志文件管理
官网,原文内容请见https://doc.yashandb.com/yashandb/23.3/zh/%E6%95%B0%E6%8D%AE%...归档日志文件默认存放在$YASDB\_DATA/arc
hive
·
2025-03-14 17:29
数据库
mac M1 安装flutter
M1安装Flutter1-官网下载flutterSDK盘符自己记好https://docs.flutter.dev/release/arc
hive
?
小泥人(倪)
·
2025-03-14 08:46
macos
flutter
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他