E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
HIve
Linux系统之ar命令详解
ar命令是Unix和类Unix操作系统中的一个工具,用于创建、修改以及提取归档文件(arc
hive
)。
门前灯
·
2025-03-29 15:55
linux
ar
运维
服务器
ar详解
大数据必学免费、开源分布式数据库——Apache
Hive
Hive
是大数据开发、分析领域无法绕开的一个话题。我将分认识
Hive
、快速部署、快速入门等几个模块为同学们详细地介绍
Hive
,期望可以为刚刚接触大数据领域的同学们建立一个初步的认知。
遇码
·
2025-03-29 04:56
大数据
数据仓库
开源
hive
hadoop
sql
数据库
Apache
Hive
阿里开源的免费数据集成工具——DataX
什么是DataXDataX是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、
Hive
、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功
遇码
·
2025-03-29 03:55
大数据
开源
datax
数据集成
大数据
seatunnel
kettle
flinkcdc
Sqoop-试题
A.使用--call参数调用存储过程B.存储过程需要提前在
hive
中创建C.存储过程需要提前在hdfs中创建D.使用--c
minaMoonGirl
·
2025-03-28 20:59
sqoop
hadoop
hive
whole-arc
hive
与gc-sections
在嵌入式系统开发中,--whole-arc
hive
和--gc-sections是链接器(ld)的两个关键选项,它们的组合使用对最终二进制文件的构成有决定性影响。
蓁蓁啊
·
2025-03-28 15:00
OneOS
linux
c语言
单片机
嵌入式硬件
stm32
nodejs 压缩文件
从而实现自动部署constpath=require('path')constfs=require('fs')constarc
hive
r=require('arc
hive
r')//这个就是用于压缩的包constaxios
墨雪遗痕
·
2025-03-28 04:08
axios
JavaScript
vue.js
javascript
nodejs
使用esri的gis-tools-for-hadoop工具包,在
hive
中实现空间计算
以基站工参表实现空间关系判断(点在多边形内)为例,使用ESRI的gis-tools-for-hadoop工具包,在
hive
中实现数据空间计算的几个主要步骤:上传空间地理实体数据到hadoop集群;
hive
从地图看世界
·
2025-03-27 14:19
GIS大数据
hadoop
hive
r语言
Hive
SQL优化
2-1分桶采样当表的数据量比较庞大的时候,在编写SQL语句后,需要首先测试SQL是否可以正常的执行,需要在表中执行查询操作,由于表数据量比较庞大,在测试一条SQL的时候整个运行的时间比较久,为了提升测试效率,可以整个表抽样出一部分的数据,进行测试校验数据的可行性(质量校验)100条sum()join进行统计分析的时候,并不需要统计出具体的指标,可能统计的都是一些相对性指标,比如说一些比率(合格率)
小球-大数据
·
2025-03-27 11:59
hive
大数据
sql
数据仓库
数据库开发
hive
sql 正则 提取括号中内容
我整理的一些关于【数据】的项目学习资料(附讲解~~)和大家一起分享、学习一下:https://d.51cto.com/eDOcp1使用
Hive
SQL正则提取括号中的内容在数据分析和处理的过程中,尤其是在大数据平台
Rideo-rax
·
2025-03-27 11:58
hive
sql
hadoop
数据仓库
大数据
剔除
HIVE
中select除了某些字段之外的剩余所有字段
只需要设置参数set
hive
.support.quoted.identifiers=None;指定要剔除哪个字段select(剔除的字段)?+.
chimchim66
·
2025-03-27 10:54
sql
hadoop
sql
Hive
UDF开发实战:构建高性能JSON生成器
3.1UDF类骨架3.2高级类型处理四、部署与使用4.1打包与注册4.2使用示例五、性能优化技巧六、功能扩展方向七、生产环境注意事项八、性能对比测试九、总结与展望往期精彩一、背景与需求场景在大数据生态中,
Hive
莫叫石榴姐
·
2025-03-27 09:16
收获不止一点
hive
json
hadoop
数据仓库
大数据
sql
数据湖和Apache Iceberg,Apache Hudi,Delta Lake
数据湖这个词目前已经流行开来,逐步被数据相关的从业者接受,可能还有很多人不太清楚它和Hadoop,
Hive
,Spark这些大数据系统的区别,简单说数据湖是个业务概念,主要是为了区别传统数仓这个概念的(传统数仓的定义
西土城计划
·
2025-03-27 05:17
apache
big
data
大数据
数据库总结
阿里云中的Maxcompute(原odps)其实就是
hive
,扮演数据仓库的角色,适合存储轨迹类历史数据,适合存储的数据量大,适合海量数据的处理,适合对数据进行离线分析,数据
wzz87
·
2025-03-26 20:09
数据库
深入解析go依赖注入库go.uber.org/fx
DI依赖注入包为https://github.com/facebookarc
hive
/inject,后面我会专门介绍这个包依赖注入的原理。不过今天的主角是它:https://g
杨桃不爱程序
·
2025-03-26 03:28
go
1024程序员节
golang
开发语言
go
大数据学习-
hive
(四:数仓搭建,数据监控,数据支持)
一:数仓搭建1:完备性。要保证所需要的数据全部到达数仓。2:准备性。etl,和数据的计算校验,确保输出的数据准确。3:一致性。确保输出端口一致,防止输出数据不准。4:时效性。每天的定时调度。5:规范性。表名,字段名要进行规范化处理。6:稳定性。确保数仓稳定。二:数仓校验1:建表语句--建表--droptableifexistsdm.dim_dk_vehicle_info_dqc;createtab
宇智波云
·
2025-03-25 14:23
大数据项目
hive
hive
【大数据入门核心技术-
Hive
】(二十一)
Hive
中double和decimal的区别
一、集群环境部署1、
Hive
环境安装部署参考【大数据入门核心技术-
Hive
】(三)
Hive
3.1.2非高可用集群搭建【大数据入门核心技术-
Hive
】(四)
Hive
3.1.2高可用集群搭建二、
Hive
Double
forest_long
·
2025-03-25 13:49
大数据技术入门到21天通关
大数据
hive
hadoop
elasticsearch
人工智能
搜索引擎
embedding
hive
-sql高频命令总结
COUNTcount(*):所有行进行统计,包括NULL行count(1):所有行进行统计,包括NULL行count(column):对column中非Null进行统计ROW_NUMBER()语法形式:ROW_NUMBER()OVER(PARTITIONBYCOL1ORDERBYCOL2)解释:根据COL1分组,在分组内部根据COL2排序,而此函数计算的值就表示每组内部排序后的顺序编号(组内连续的
summer_dai
·
2025-03-25 03:35
hive-sql
mysql
hive
数据权限访问控制(Apache Sentry)
ApacheSentry最初由Cloudera公司内部开发,针对Hadoop系统中的数据(主要是HDFS、
Hive
的数据)进行细粒度控制,对HDFS、
Hive
以及Impala有着良好的支持性。
deepdata_cn
·
2025-03-24 14:56
权限管理
apache
sentry
【Python系列】高效Parquet数据处理策略:合并与分析实践
Parquet作为一种高效的列存储格式,被广泛应用于大数据处理框架中,如ApacheSpark、Apache
Hive
等。
小团团0
·
2025-03-24 12:41
python
开发语言
Go 语言实用工具:如何高效解压 ZIP 文件
packageutilsimport("arc
hive
/zip""fmt""io""os""pat
程序员爱钓鱼
·
2025-03-24 09:13
golang
ios
开发语言
Apache大数据旭哥优选大数据选题
售后态度和技术都很重要定制按需求做要求不高就实惠一点定制需提前沟通好怎么做,这样才能避免不必要的麻烦python、flask、Django、mapreduce、mysqljava、springboot、vue、echarts、hadoop、spark、
hive
Apache大数据旭
·
2025-03-23 13:12
大数据定制选题
java
hadoop
spark
开发语言
idea
hive
数据库架构
hive
相关命令
hive
相关命令1.
hive
-help
hive
-e:不进入
hive
交互窗口,执行sql语句
hive
-e"select*users"
hive
-f:执行脚本中sql语句#创建文件hqlfile1.sql,内容
Wang·Br
·
2025-03-23 13:10
bigdata
笔记
hive
hive
服务启停脚本
hive
.sh#!/bin/bash
HIVE
_LOG_DIR=$
HIVE
_HOME/logs#创建日志目录if[!
热爱技术的小陈
·
2025-03-23 12:40
大数据
hive
大数据
hadoop
【
Hive
】--
hive
3.1.3 伪分布式部署(单节点)
1、环境准备1.1、版本选择apache
hive
3.1.3apachehadoop3.1.0oraclejdk1.8mysql8.0.15操作系统:Macos10.151.2、软件下载https://arc
hive
.apache.org
oo寻梦in记
·
2025-03-23 12:08
Apache
Paimon
大数据服务部署
hive
分布式
hadoop
Hive
分区实战指南:动态分区 vs 静态分区的深度解析
在
Hive
数据仓库中,表数据通常以**分区(Partition)**形式组织。
自然术算
·
2025-03-23 10:22
Hive面试100篇
hive
hadoop
数据仓库
jmeter安装和jmeter历史版本下载
一、jmete下载:1、最新版本下载地址:http://jmeter.apache.org/download_jmeter.cgi2、历史版本下载地址:https://arc
hive
.apache.org
weixin_30432007
·
2025-03-23 05:39
java
MySQL 到 Hadoop:Sqoop 数据迁移 ETL
DataWarehouse-数据仓库3.DM:DataMart-数据集市二、Transform数据清洗和转换1.数据清洗2.数据转换三、Load数据加载四、数据迁移方法1.Sqoop1.1MySQL->
Hive
1.1.1im
Ice星空
·
2025-03-23 03:45
ETL
Hive
常用函数 - abs
Hive
常用函数-abs官方解释abs(x)-returnstheabsolutevalueofx个人理解就是返回函数括号内数字的绝对值。
Called_Kingsley
·
2025-03-23 01:26
Hive
hive
函数
通过启用Ranger插件的
Hive
审计日志同步到Doris做分析
以下是基于ApacheDoris的Ranger
Hive
审计日志同步方案详细步骤,结合审计日志插件与数据导入策略实现:一、Doris环境准备1.创建审计日志库表参考搜索结果的表结构设计,根据Ranger日志字段调整建表语句
fzip
·
2025-03-22 23:48
Doris
Hive
doris
审计
hive
linux上安装postgresql9.5
czy@Mint~$sudoapt-getupdateczy@Mint~$apt-cachemadisonpostgresqlpostgresql|9.5+173ubuntu0.3|http://arc
hive
.ubuntu.com
crayon-shin-chan
·
2025-03-22 17:07
#
postgresql
surprise
#
linux
linux
ubuntu
PostgreSQL
数据库
linux grep命令
转自http://www.cnblogs.com/end/arc
hive
/2012/02/21/2360965.htm1.作用Linux系统中grep命令是一种强大的文本搜索工具,它能使用正则表达式搜索文本
蓝菱
·
2025-03-22 08:18
linux
linux
grep
正则表达式
【已解决】将CentOS7系统安装至U盘(四):安装Qt5.14.2(解决#error qt requires c++11 support问题)
下载安装文件从Qt官网或清华大学镜像站https://mirrors.tuna.tsinghua.edu.cn/gnu/gcchttps://mirrors.tuna.tsinghua.edu.cn/qt/arc
hive
pyengine
·
2025-03-22 08:48
qt
c++
开发语言
centos
安装Qt 5.15.2
需要勾选Arc
hive
选项,且很有可能需要梯子工具。
noodleboy
·
2025-03-22 02:50
qt
Sqoop安装部署
ApacheSqoop简介Sqoop(SQL-to-Hadoop)是Apache开源项目,主要用于:将关系型数据库中的数据导入Hadoop分布式文件系统(HDFS)或相关组件(如
Hive
、HBase)。
愿与狸花过一生
·
2025-03-21 22:10
大数据
sqoop
hadoop
hive
Mysql-经典实战案例(10):如何用PT-Arc
hive
r完成大表的自动归档
真实痛点:电商订单表存储优化场景现状分析某电商平台订单表(order_info)每月新增500万条记录主库:高频读写,SSD存储(空间告急)历史库:HDD存储,只读查询优化目标✅自动迁移7天前的订单到历史库✅每周六23:30执行,不影响业务高峰✅确保数据一致性第一章:前期准备:沙盒实验室搭建1.1实验环境架构生产库:10.33.112.22历史库:10.30.76.41.2环境初始化(双节点执行)
从不删库的DBA
·
2025-03-21 16:51
Mysql
经典实战案例
mysql
数据库
Hive
面试题
Hive
面试题1
Hive
基础概念1.1解释
Hive
是什么以及它的用途
Hive
的主要用途:1.2描述
Hive
架构和组件1.
Hive
CLI/Beeline和WebUI2.
Hive
QL3.
Hive
Driver
御风行云天
·
2025-03-21 13:24
面试题大全
hive
hadoop
数据仓库
面试
Hive
实际应用场景及对应SQL示例
Hive
实际应用场景及对应SQL示例一、日志分析场景**场景说明:**处理大规模日志数据(如Web访问日志),分析用户行为或系统运行状态。
小技工丨
·
2025-03-21 09:46
大数据随笔
hive
sql
hadoop
大数据
数据仓库
#Hadoop全分布式安装 #mysql安装 #
hive
安装
分布式(多台机器部署不同组件)与集群(多台机器部署相同组件)概念。Linux基础命令linux具有文件数:目录、文件,从根目录开始,路径具有唯一性。pwd:显示当前路径特殊符号:/:根目录.:隐藏文件,如果路径以.开始,表示当前目录下..:当前目录下的上一级~:当前目录的home目录--help:帮助命令使用linux常用操作命令tab键:自动补全ls:显示指定目录内容默认:当前路径-a:显示所有
砸吧砸吧
·
2025-03-21 09:14
hadoop
hive
yarn
mysql
hive
使用oracle数据库
hive
使用oracle作为数据源,导入数据使用sqoop或kettle或自己写代码(淘宝的开源项目中有一个xdata就是淘宝自己写的)。感觉sqoop比kettle快多了,淘宝的xdata没用过。
sardtass
·
2025-03-21 05:43
hadoop
hive
开源项目
Hive
Metastore 的架构简析
Hive
Metastore的架构简析
Hive
Metastore是
Hive
元数据管理的服务。可以把元数据存储在数据库中。对外通过api访问。
houzhizhen
·
2025-03-21 04:09
hive
hive
Hive
与Spark的UDF:数据处理利器的对比与实践
文章目录
Hive
与Spark的UDF:数据处理利器的对比与实践一、UDF概述二、
Hive
UDF解析实现原理代码示例业务应用三、SparkUDF剖析-JDBC方式使用SparkThriftServer设置通过
窝窝和牛牛
·
2025-03-20 23:22
hive
spark
hadoop
尚硅谷电商数仓6.0,
hive
on spark,spark启动不了
40000]Errorwhilecompilingstatement:FAILED:SemanticExceptionFailedtogetasparksession:org.apache.hadoop.
hive
.ql.metadata.
Hive
Exception
新时代赚钱战士
·
2025-03-20 20:57
hive
spark
hadoop
qt-5.15.2 源码编译 Linux
QT官方源码下载地址:https://download.qt.io/arc
hive
/qt/5.15/5.15.12/single/qt-everywhere-opensource-src-5.15.12
weixin_40857106
·
2025-03-20 17:38
服务器
运维
鸿蒙HarmonyOS开发:应用程序静态包-HAR
HAR(HarmonyArc
hive
)是静态共享包,可以包含代码、C++库、资源和配置文件。通过HAR可以实现多个模块或多个工程共享ArkUI组件、资源等相关代码。
让开,我要吃人了
·
2025-03-20 15:52
鸿蒙开发
OpenHarmony
HarmonyOS
harmonyos
华为
移动开发
前端
html
开发语言
鸿蒙
flutter 使用xcodebuild 命令打包ipa
苹果打ipa包(注意苹果打包需要连接真机)方式一、1.先执行flutterbuildios生成framework2.执行命令xcodebuild-exportArc
hive
-arc
hive
Pathbuild
肥肥呀呀呀
·
2025-03-20 08:25
flutter
Hadoop相关面试题
以下是150道Hadoop面试题及其详细回答,涵盖了Hadoop的基础知识、HDFS、MapReduce、YARN、HBase、
Hive
、Sqoop、Flume、ZooKeeper等多个方面,每道题目都尽量详细且简单易懂
努力的搬砖人.
·
2025-03-20 01:53
java
面试
hadoop
oracle cdc logminer与oracle xstream
通过解析归档日志(Arc
hive
Log)或在线日志(OnlineRedoLog)提取变更记录,采用轮询机
24k小善
·
2025-03-19 10:55
java
大数据
flink
csv转为utf8编码_中文的csv文件的编码改成utf8的方法
直奔主题:把包含中文的csv文件的编码改成utf-8的方法:啰嗦几句:在用pandas读取
hive
导出的csv文件时,经常会遇到类似UnicodeDecodeError:'gbk'codeccan'tdecodebyte0xa3inposition12
John Sheppard
·
2025-03-19 03:47
csv转为utf8编码
企业信息化整体架构图
CollaboraticeCommerce转载于:https://www.cnblogs.com/Masterpiece/arc
hive
/2004/12/29/83696.html
weixin_33937913
·
2025-03-19 03:47
系统架构
Hive
函数大全:从核心内置函数到自定义UDF实战指南(附详细案例与总结)
目录背景一、
Hive
函数分类与核心函数表1.内置函数分类2.用户自定义函数(UDF)分类二、常用函数详解与实战案例1.数学函数2.字符串函数3.窗口函数4.自定义UDF实战三、总结与优化建议
一个天蝎座 白勺 程序猿
·
2025-03-18 23:45
大数据开发从入门到实战合集
hive
hadoop
数据仓库
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他