hive 第3页

大数据（4.7）Hive查询优化四大黑科技：分区裁剪×谓词下推×列式存储×慢查询分析，性能提升600%实战手册

背景根据《2023年大数据系统性能报告》，‌80%的Hive慢查询源于未优化的I/O操作‌。某电商平台在未优化前，每日分析10TB订单数据时，平均查询耗时高达32分钟。

一个天蝎座白勺程序猿·2025-04-06 12:18

大数据（4.3）Hive基础查询完全指南：从SELECT到复杂查询的10大核心技巧

目录背景一、Hive基础查询核心语法1.基础查询（SELECT&FROM）2.条件过滤（WHERE）3.聚合与分组（GROUPBY&HAVING）4.排序与限制（ORDERBY&LIMIT）二、复杂查询实战技巧

一个天蝎座白勺程序猿·2025-04-06 12:18

Hive学习（7）Hive核心函数解密：pmod()的9大高阶用法与避坑指南

背景在Hive数仓开发中，‌pmod()‌作为数学计算领域的关键函数，常被用于金融周期计算、数据分片、时间序列处理等场景。

一个天蝎座白勺程序猿·2025-04-06 12:17

Hive学习（3）ORDER BY排序NULL值终极指南：默认行为、显式控制与实战避坑

目录背景‌一、Hive中NULL值的默认排序行为‌1.核心规则‌2.示例验证‌二、显式控制NULL值位置‌1.语法支持‌‌2.使用示例3.多列排序中的NULL控制‌三、实战案例与解决方案‌案例1：生成用户活跃度排行榜

一个天蝎座白勺程序猿·2025-04-06 12:47

深入剖析 Hive Fetch 抓取机制：原理、优化与实践

在Hive查询执行过程中，Fetch抓取机制作为重要的性能优化手段，能够在特定场景下直接跳过MapReduce计算，显著提升数据访问效率。

自然术算·2025-04-06 12:47

基于CentOS-7.0系统搭建LAMP环境

注：使用一键安装方式1.下载一键安装包wget-Olamp.ziphttps://github.com/teddysun/lamp/archive/master.zip2.解压缩unziplamp.zip3

后青春期的诗go·2025-04-06 10:34

斯密斯夫妇握手问题

本文转自：http://www.cnblogs.com/csumissu/archive/2012/02/10/2344803.html史密斯夫妇邀请另外四对夫妇就餐，已知他们每个人都不和自己握手，不和自己的配偶握手

Rachel-Zhang3·2025-04-06 02:03

Centos7安装配置Hive教程

当在CentOS7上安装和配置Hive时，可以按照以下步骤进行操作：确保已安装Java：首先，确保在CentOS7上已经安装了Java。

uuuuu1711644·2025-04-06 00:22

Spark大数据处理讲课笔记4.1 Spark SQL概述、数据帧与数据集

SparkSQL内部五大组件（四）SparkSQL工作流程（五）SparkSQL主要特点1、将SQL查询与Spark应用程序无缝组合2、SparkSQL以相同方式连接多种数据源3、在现有数据仓库上运行SQL或HiveQL

酒城译痴无心剑·2025-04-05 20:59

C#实现HiveQL建表语句中特殊数据类型的包裹

用C#实现搜索字符串中用’(‘和’)‘包裹的最外层的里面里面的字符串，将里面的记录按一个或多个空格、换行或tab，或者是它的在一起的组合作为分隔，分隔出多个字符串组，如果组中有字符串中同时包含’’，则在原始的字符串中该字符串的位置的前后插入字符`，最后返回修改过后的字符串，优化这个字符串处理算法，并给出所有的测试用例。以下是C#代码，包括优化后的算法和测试用例：usingSystem;usingS

weixin_30777913·2025-04-05 17:05

使用C#实现从Hive的CREATE TABLE语句中提取分区字段名和数据类型

usingSystem;usingSystem.Collections.Generic;usingSystem.Text.RegularExpressions;namespaceHivePartitionParser

weixin_30777913·2025-04-05 17:05

MySQL体系架构

MySQL官方提供的引擎InnoDB存储引擎Mrg_MylSAMArchive引擎Blackhole引擎CSV引擎Federated引擎Memory引擎NDB集群引擎除非需要用到某些

振鹏Dong·2025-04-05 15:52

python中的 f 是什么意思，f‘{username}_log_archive_{int(time.time())}.txt‘

python中的f是什么意思，f’{username}log_archive{int(time.time())}.txt’在Python中，f是一种字符串前缀，用于创建格式化字符串（也称为f-string

ZhangJiQun&MXP·2025-04-05 09:15

Datax-web 添加达梦数据库

tag202309版本后端项目分支使用2.1.3-alpha-releaseGitHub-WeiYe-Jing/datax-web:DataX集成可视化页面，选择数据源即可一键生成数据同步任务，支持RDBMS、Hive

蝈蝈噶蝈蝈噶·2025-04-05 05:14

Apache Hive和Snowflake的`CREATE TABLE`语法和功能特性整理的对比表

写一个ApacheHive中CREATETABLE语句转换为对应Snowflake中CREATETABLE语句的程序，现在需要一个根据功能的相似性对应的ApacheHiveQL和SnowflakeSQL

weixin_30777913·2025-04-05 01:22

大数据（4.1）Hive架构设计与企业级实战：从内核原理到性能巅峰优化，打造高效数据仓库

目录背景与行业痛点一、Hive内核机制深度拆解1.‌元数据管理的艺术：Metastore核心原理‌2.‌执行引擎的底层博弈：MapReducevs.Tezvs.Spark‌二、企业级数仓建模实战：金融风控场景

一个天蝎座白勺程序猿·2025-04-05 01:21

Hive 常见面试 300 问

一、Hive基础概念什么是Hive？它的主要用途是什么？Hive与传统关系型数据库有什么区别？简述Hive的架构，各个组件的作用是什么？解释Hive中的元数据，它存储在哪里？Hive支持哪些数据格式？

自然术算·2025-04-04 23:07

CentOS挂载NTFS移动硬盘

https://www.cnblogs.com/zengen/archive/2011/09/01/2161637.html时间比较紧，还要加班，把作者的搬过来了，侵删；

skywalker_123·2025-04-04 20:17

oracle拉链表实现原理,数据仓库-拉链表+增量表抽取的实现

所以本篇文章主要解决两个问题1：问题一怎么再HIVE里实现拉链表2：问题二怎么再没有数据更新时间字段的情况下获取增量数据(个人认为这个方式也是一种通用的方式)一：拉链表是什么？使用场景？实现原理？

红茶漫山·2025-04-04 15:17

大数据（4.5）Hive聚合函数深度解析：从基础统计到多维聚合的12个生产级技巧

目录背景一、Hive聚合函数分类与语法1.基础聚合函数2.高级聚合函数二、6大核心场景与案例场景1：基础统计（SUM/COUNT）场景2：多维聚合（GROUPINGSETS）场景3：层次化聚合（ROLLUP

一个天蝎座白勺程序猿·2025-04-03 23:32

hive 写 es 报EsHadoopRemoteException: index_closed_exception: closed null

错误由来，es添加xpack后，hive写es总报index关闭。通过测试，其实数据是可以写入index，且数据量对不上，怀疑是最后提交的时候无法成功，一直提交刷新，最后报错。

守猫de人·2025-04-03 20:42

Oracle DataGuard主备切换(switchover)

主备切换有两种方式，一种是手动，一种是使用dgmgr切换一、手动切换（一）先查看主备库的状态何日志是否正常1、主库SQL>setline300pages300selectname,remote_archive

❀͜͡傀儡师·2025-04-03 07:45

拉卡拉 x Apache Doris：统一金融场景 OLAP 引擎，查询提速 15 倍，资源直降 52%

为此，拉卡拉选择使用ApacheDoris替换Elasticsearch、Hive、Hbase、TiDB、Oracle/MySQL等组件，实现了OLAP引擎的统一、查询性能提升15倍、资源减少52%的显著成效

·2025-04-02 20:13

DBEAVER 连接hive老是掉线

问题描述：连接生产环境的VPN后用dbeaver连上hive后，经常查询无响应掉线，报错：org.apache.thrift.transport.TTransportException:java.net.SocketException

dogplays·2025-04-02 18:18

肺结节公开数据集（LIDC-IDRI）

https://wiki.cancerimagingarchive.net/display/Public/LIDC-IDRI

云小白66·2025-04-02 13:48

Hive优化高频面试题

文章目录一、开启本地模式二、explain分析sql语句三、修改Fetch操作四、开启hive的严格模式五、JVM重用六、分区、分桶以及压缩七、合理设置map和ruduce的数量八、设置并行执行九、CBO

lzhlizihang·2025-04-01 19:03

酷爱码·2025-04-01 19:59

Flex：截图实现之（1）使用AS3对剪贴板读取与写入

http://www.cnblogs.com/shinings/archive/2010/04/10/1709047.html基于安全考虑,Flash只允许将数据写入系统剪贴板中,因此,Flash之中只能执行

Winters_huang·2025-04-01 15:38

Oracle logminer详解

OracleLogMiner是Oracle数据库提供的一个内置工具，用于分析和挖掘数据库的在线重做日志文件（OnlineRedoLogFiles）和归档日志文件（ArchiveLogFiles）。

南風_入弦·2025-04-01 10:25

【信奥一本通提高篇】基础算法之贪心算法

原文https://bbs.fmcraft.top/blog/index.php/archives/22/贪心算法概述近年来的信息学竞赛试题，经常出现求一个问题的可行解或最优解的题目。

C-DHEnry·2025-03-31 17:25

dolphin上MySQL到hive、seatunnel任务创建

dolphin上MySQL到hive、seatunnel任务创建：1.先获取所需数量的taskCodeLongtaskCode=getClient().opsForProcess().generateTaskCode

元亨利贞之乾·2025-03-31 17:52

HttpComponents使用纪要

概览本文原载于我的博客，地址：https://blog.guoziyang.top/archives/15/HttpComponents是Apache基金会开发和维护的一组底层HTTP及其它协议相关的Java

何人听我楚狂声·2025-03-31 16:48

归档重做日志archived log (明显) 比redo log重做日志文件小

ID1356604.1)日志切换将由于以下原因发生：1.由于在重做日志文件已满之前强制创建存档而记录和设计的行为SQL>altersystemswitchlogfile;SQL>altersystemarchivelogcurrent

jnrjian·2025-03-31 00:33

基于云服务器的数仓搭建-hive/spark安装

mysql本地安装安装流程（内存占用200M，升至2.1G）#将资料里mysql文件夹及里面所有内容上传到/opt/software/mysql目录下mkdir/opt/software/mysqlcd/opt/software/mysql/#待上传文件install_mysql.shmysql-community-client-8.0.31-1.el7.x86_64.rpmmysql-commu

AlphaFree_·2025-03-30 11:32

Linux系统之ar命令详解

ar命令是Unix和类Unix操作系统中的一个工具，用于创建、修改以及提取归档文件（archive）。

门前灯·2025-03-29 15:55

大数据必学免费、开源分布式数据库——Apache Hive

Hive是大数据开发、分析领域无法绕开的一个话题。我将分认识Hive、快速部署、快速入门等几个模块为同学们详细地介绍Hive，期望可以为刚刚接触大数据领域的同学们建立一个初步的认知。

遇码·2025-03-29 04:56

阿里开源的免费数据集成工具——DataX

什么是DataXDataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功

遇码·2025-03-29 03:55

Sqoop-试题

A.使用--call参数调用存储过程B.存储过程需要提前在hive中创建C.存储过程需要提前在hdfs中创建D.使用--c

minaMoonGirl·2025-03-28 20:59

whole-archive与gc-sections

在嵌入式系统开发中，--whole-archive和--gc-sections是链接器（ld）的两个关键选项，它们的组合使用对最终二进制文件的构成有决定性影响。

蓁蓁啊·2025-03-28 15:00

nodejs 压缩文件

从而实现自动部署constpath=require('path')constfs=require('fs')constarchiver=require('archiver')//这个就是用于压缩的包constaxios

墨雪遗痕·2025-03-28 04:08

使用esri的gis-tools-for-hadoop工具包，在hive中实现空间计算

以基站工参表实现空间关系判断（点在多边形内）为例，使用ESRI的gis-tools-for-hadoop工具包，在hive中实现数据空间计算的几个主要步骤：上传空间地理实体数据到hadoop集群；hive

从地图看世界·2025-03-27 14:19

HiveSQL优化

2-1分桶采样当表的数据量比较庞大的时候,在编写SQL语句后,需要首先测试SQL是否可以正常的执行,需要在表中执行查询操作,由于表数据量比较庞大,在测试一条SQL的时候整个运行的时间比较久,为了提升测试效率,可以整个表抽样出一部分的数据,进行测试校验数据的可行性(质量校验)100条sum()join进行统计分析的时候,并不需要统计出具体的指标,可能统计的都是一些相对性指标,比如说一些比率(合格率)

小球-大数据·2025-03-27 11:59

hive sql 正则提取括号中内容

我整理的一些关于【数据】的项目学习资料（附讲解～～）和大家一起分享、学习一下：https://d.51cto.com/eDOcp1使用HiveSQL正则提取括号中的内容在数据分析和处理的过程中，尤其是在大数据平台

Rideo-rax·2025-03-27 11:58

剔除 HIVE中select除了某些字段之外的剩余所有字段

只需要设置参数sethive.support.quoted.identifiers=None;指定要剔除哪个字段select(剔除的字段)?+.

chimchim66·2025-03-27 10:54

Hive UDF开发实战：构建高性能JSON生成器

3.1UDF类骨架3.2高级类型处理四、部署与使用4.1打包与注册4.2使用示例五、性能优化技巧六、功能扩展方向七、生产环境注意事项八、性能对比测试九、总结与展望往期精彩一、背景与需求场景在大数据生态中，Hive

莫叫石榴姐·2025-03-27 09:16

数据湖和Apache Iceberg，Apache Hudi，Delta Lake

数据湖这个词目前已经流行开来，逐步被数据相关的从业者接受，可能还有很多人不太清楚它和Hadoop，Hive，Spark这些大数据系统的区别，简单说数据湖是个业务概念，主要是为了区别传统数仓这个概念的（传统数仓的定义

西土城计划·2025-03-27 05:17

数据库总结

阿里云中的Maxcompute（原odps）其实就是hive，扮演数据仓库的角色，适合存储轨迹类历史数据，适合存储的数据量大，适合海量数据的处理，适合对数据进行离线分析，数据

wzz87·2025-03-26 20:09

深入解析go依赖注入库go.uber.org/fx

DI依赖注入包为https://github.com/facebookarchive/inject，后面我会专门介绍这个包依赖注入的原理。不过今天的主角是它：https://g

杨桃不爱程序·2025-03-26 03:28

大数据学习-hive（四：数仓搭建，数据监控，数据支持）

一：数仓搭建1：完备性。要保证所需要的数据全部到达数仓。2：准备性。etl，和数据的计算校验，确保输出的数据准确。3：一致性。确保输出端口一致，防止输出数据不准。4：时效性。每天的定时调度。5：规范性。表名，字段名要进行规范化处理。6：稳定性。确保数仓稳定。二：数仓校验1：建表语句--建表--droptableifexistsdm.dim_dk_vehicle_info_dqc;createtab

宇智波云·2025-03-25 14:23

【大数据入门核心技术-Hive】（二十一）Hive中double和decimal的区别

一、集群环境部署1、Hive环境安装部署参考【大数据入门核心技术-Hive】（三）Hive3.1.2非高可用集群搭建【大数据入门核心技术-Hive】（四）Hive3.1.2高可用集群搭建二、HiveDouble

forest_long·2025-03-25 13:49

推荐频道

hive