HIVE

Hive分区表新增字段并指定位置

Hive分区表新增字段并指定位置1、Hive分区表新增字段2、CASCADE关键字3、历史分区新增列为NULL的问题1、Hive分区表新增字段Hive分区表新增字段并指定位置主要涉及两步：新增字段和移动字段
对许·2025-06-08 11:35

Spark(四) SQL

之前Hive是将hql转换成MapReduce然后放在集群上执行，简化了编写MapReduce的复杂性，但是由于MapReduce执行的效率比较慢，所以产生了SparkSQL，它是将SQL转换成RDD，
小雨光·2025-06-08 11:04

Spark on Hive表结构变更

SparkonHive表结构变更1、表结构变更概述1、表结构变更概述在SparkonHive架构中，表结构（Schema）变更是一个常见且重要的操作。
对许·2025-06-08 11:32

LINUX下安装libreoffice程序

LibreOffice-FreeOfficeSuite-BasedonOpenOffice-CompatiblewithMicrosoft我下载的是7.5.3.2https://downloadarchive.documentfoundation.org
ashes-level·2025-06-08 04:43

Windows系统工具：WinToolsPlus 之 SQL Server 日志清理

下载地址：http://v.s3.sh.cn/archives/2279.html
资讯第一线·2025-06-07 20:18

Hadoop复习（十）

判断题2/2分Sqoop利用MapReduce实现数据导入时可以不涉及ReduceTask的处理正确错误问题3单项选择2/2分Sqoop底层使用_____实现数据的导入与导出MapReduceSparkHivesQLSQL
丸卜·2025-06-07 20:47

Vim的高亮颜色设置

转载自：http://blog.quanhz.com/archives/192Vim的高亮颜色设置七月12,2011by全恒壮·1CommentFiledunder:Shell,Vim一直对Vim中有些地方的颜色略感不爽
jay-young·2025-06-07 16:56

hive grouping sets聚合函数

groupingsets在一个groupby查询中，根据不同的维度组合进行聚合，等价于将不同维度的groupby结果集进行unionallcube根据groupby的维度的所有组合进行聚合cube简称数据魔方，可以实现hive
Sunshine~L&H·2025-06-07 15:50

hdp hive创建表失败：Duplicate entry ‘tmp_xw_order_infos_channel-41‘ for key ‘UNIQUETABLE

标题Duplicateentry‘tmp_xw_order_infos_channel-41’forkey'UNIQUETABLE通过hive创建表时候报：异常Error,returncode1fromorg.apache.hadoop.hive.ql.exec.DDLTask.MetaException
·2025-06-07 14:11

hive 创建表获取mysql锁超时

项目场景：hive执行创建表：返回异常Lockwaittimeoutexceeded;tryrestartingtransaction)问题描述returncode1fromorg.apache.hadoop.hive.ql.exec.DDLTask.MetaException
qq_40841339·2025-06-07 14:11

spark 执行 hive sql数据丢失

spark-sql丢失数据1.通过spark执行hivesql的时候，发现hive四条数据，spark执行结果只有两条数据目标对应的两条数据丢失selectdate，user_id，payfromdim.isr_pay_failedwhereuser_id
qq_40841339·2025-06-07 13:38

phpstudy 自己扩展 php7.4.29 版本

阅读目录选择要下载的PHP版本解压重命名文件夹选择要下载的PHP版本windows：https://windows.php.net/downloads/releases/archives/https:/
知其黑、受其白·2025-06-07 07:51

android studio老版本下载教程

需要魔法上网：https://developer.android.com/studio/archive打开后点击同意就可以看到老版本下载了。
XR-AI-JK·2025-06-07 03:26

Python的异步编程：async，await

作者博客：https://shiyu.dev/archives/1156我第一次接触异步编程肯定是在JavaScript，第一次写延时函数的时候很奇怪为啥延时函数下面的代码会直接执行而不等待时间结束，然后就对异步编程有了一点点的了解
时不晴·2025-06-06 21:10

Hive SQL优化实践：提升大数据处理效率的关键策略

在大数据生态中，Hive作为基于Hadoop的数据仓库工具，广泛应用于海量数据的离线分析场景。然而，随着数据量的指数级增长和业务复杂度的提升，低效的HiveSQL可能导致资源浪费和查询性能瓶颈。
weixin_47233946·2025-06-06 04:20

记一次·Spark读Hbase

记一次·Spark读Hbase一、背景过年回来，数仓发现hive的一个表丢数据了，需要想办法补数据。这个表是flume消费kafka写hive。
·2025-06-06 00:55

Hive的Parquet格式优化方法

一、Parquet格式的特点与优势1.列式存储架构核心特点：数据按列存储，同一列的数据连续存储在文件中，而非行式存储的“整行连续存储”。优势：查询性能高：仅读取查询所需列的数据，减少I/O量（如SELECTnameFROMtable仅扫描name列）。压缩效率高：同一列数据类型一致，更易通过字典编码、行程长度编码（RLE）等压缩算法实现高压缩比（通常压缩比为5-10倍），减少存储成本。支持谓词下推
安审若无·2025-06-05 19:20

iceberg整合hive（从hive读取iceberg表数据）实践02

目录实现目标：1，创建hadoopcatalog在zeppelin创建hadoopcatalog2，创建基于hadoop_catalog的iceberg表3,从hadoop_catalog来创建hive
黄瓜炖啤酒鸭·2025-06-05 17:08

如何在IDE中通过Spark操作Hive

在IDE中通过Spark操作Hive是一项常见的任务，特别是在大数据处理和分析的场景中。
yt94832·2025-06-05 17:04

【hive sql】窗口函数

参考包括窗口函数在内的执行顺序from&join--确定数据源where--行级过滤groupby--分组having--组级过滤窗口函数--计算窗口函数结果select--选择列distinct--去重orderby--最终排序（可对窗口函数结果进行排序）limit/offset--分页将多行数据按照规则聚集为一行，称为聚集函数，如sum()、avg()、max()等；既要显示聚集前的数据，又要
soso（找工作版·2025-06-05 16:29

HiveSQL语法全解析与实战指南

HiveSQL完整语法体系与特性解析一、数据定义语言（DDL）库操作CREATEDATABASE[IFNOTEXISTS]dbname[COMMENT'描述'][LOCATION'hdfs_path']
不辉放弃·2025-06-05 16:57

大数据学习（127）-hive日期函数

大数据学习系列专栏：哲学语录:用力所能及，改变世界。如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦一、日期提取类函数1.dayofweek(date)功能：返回日期的星期几（1=星期日，2=星期一，...，7=星期六）。示例：SELECTdayofweek('2023-10-01');--返回1（星期日）2.year(date)/month(date)/day(date)功能：
viperrrrrrr·2025-06-05 16:26

【大数据测试 Hive数据库--保姆级教程】

大数据测试Hive数据库详细教程一、环境准备二、Hive数据库功能测试1.创建表2.插入数据3.查询数据4.使用条件过滤查询5.删除数据三、Hive数据库性能测试1.查询响应时间2.大数据量查询测试3.
生活De°咸鱼·2025-06-05 16:55

计算机毕业设计Hadoop+Spark+DeepSeek-R1大模型民宿推荐系统 hive民宿可视化 民宿爬虫 大数据毕业设计(源码+LW文档+PPT+讲解)

一、项目简介本项目基于Hadoop、Spark、DeepSeek-R1构建一个高效的大数据民宿推荐系统，涵盖数据爬取、存储、处理、分析、可视化、AI推荐等完整流程，并提供Hive可视化分析及大数据爬虫，
金枝玉叶9·2025-06-04 19:51

【面试宝典】70道Hive高频题库整理(附答案背诵版)

简述什么是Hive？Hive是一个基于Hadoop的数据仓库工具，它可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。
想念@思恋·2025-06-04 10:11

70道Hive高频题整理(附答案背诵版)

简述什么是Hive？Hive是一个基于Hadoop的数据仓库工具，它可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。
编程大全·2025-06-04 09:08

不兼容的签名实现,

接口也要写成sayHello(str:string=null);关键问题在于你要给函数参与默认值null，接口也要写上赋值转载于:https://www.cnblogs.com/jiahuafu/archive
weixin_30673611·2025-06-04 03:20

Windows 系统安装 Java JDK 1.8 全流程指南

验证安装一、下载JDK1.8安装包访问Oracle官方JavaSE8下载页面：链接：https://www.oracle.com/java/technologies/javase/javase8-archive-downloads.h
司南锤·2025-06-03 23:56

hive 配置metastore连接参数

参照hive1.1.0完全分布式环境安装(有安装包步骤完整不走弯路)_Mr_Bright的博客-CSDN博客对hive进行配置，配置hive-site.xml时出现了与预想不一样的结果上文中修改hive-site.xml
大明__·2025-06-03 22:14

hive的数据库操作

前言基于hadoop集群搭建hive仓库，hadoop集群搭建和hive数据仓库搭建。关于hive的表和数据库详细操作。一、数据库操作1.创建数据库语法格式如下。
Supplant·2025-06-03 15:24

大数据学习（125）-hive数据分析

大数据学习系列专栏：哲学语录:用力所能及，改变世界。如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦1.连续登录问题变种题目：找出恰好连续登录3天的用户（不允许更长的连续区间）。表结构：user_logs(user_id,login_date)。参考答案：WITHranked_logsAS(SELECTuser_id,login_date,ROW_NUMBER()OVER(PAR
viperrrrrrr·2025-06-02 23:31

点击按钮触发声音(xaml实现)

下载地址转载于:https://www.cnblogs.com/dongyang/archive/2013/05/13/3076108.html
weixin_30745641·2025-06-02 23:30

解决中文版VisualStudio中使用Resharper快捷键问题

VisualStudio中使用Resharper快捷键问题参考文章：（1）解决中文版VisualStudio中使用Resharper快捷键问题（2）https://www.cnblogs.com/brightsea/archive
无所不为无所为·2025-06-02 09:49

【爆肝整理】Hive 压缩性能优化全攻略！从 MapReduce 底层逻辑到企业级实战（附 Snappy/LZO/Gzip 选型对比 + 避坑指南）

在大数据处理领域，Hive作为Hadoop生态中重要的数据仓库工具，其性能优化一直是工程实践中的核心课题。
线条1·2025-06-01 20:46

【Hive 运维实战】一键管理 Hive 服务：Metastore 与 HiveServer2 控制脚本开发与实践

一、引言在大数据开发中，Hive作为重要的数据仓库工具，其核心服务metastore（元数据服务）和hiveserver2（查询服务）的启停管理是日常运维的基础操作。
线条1·2025-06-01 20:16

wxml报错原因_hive启动报错：Caused by: java.lang.IllegalArgumentException: java.net.UnknownHostException: ns1..

目录报错内容Exceptioninthread"main"java.lang.RuntimeException:org.apache.hadoop.hive.ql.metadata.HiveException
weixin_39582569·2025-06-01 13:54

hive 添加字段_Hive列操作汇总(添加/更新/删除/虚拟列)

hive>ALTERTABLEeventsRENAMETO3koobecaf;hive>ALTERTABLEpokesADDCOLUMNS(new_colINT);hive>ALTERTABLEinvitesADDCOLUMNS
白尼桑塔纳·2025-06-01 08:51

Hive优化原则及对应优化方法

Hive优化未经允许禁止转载A、执行过程查询B、优化原则1、提前过滤数据列剪裁子查询过滤分区剪裁写明连接条件2、减少Job多表选用相同key连接unionall减少groupby使用使用同一表unionall
datacode_wud·2025-06-01 04:24

浅谈Hive SQL的优化

Hive是基于Hadoop的一个数据仓库工具，它将存储在HDFS上的结构化的文件映射成一张关系型数据库表，提供简单的SQL查询功能。本文结合HiveSQL的运行原理谈一谈HiveSQL的优化问题。
CodeZhuxh·2025-06-01 04:54

Hive的数据倾斜是什么？

一、Hive数据倾斜的定义数据倾斜指在Hive分布式计算过程中，某一个或几个Task（如Map/Reduce任务）处理的数据量远大于其他Task，导致这些Task成为整个作业的性能瓶颈，甚至因内存不足而失败
安审若无·2025-06-01 04:53

Hive 文件存储格式

Hive的文件存储格式有五种：textfile、sequencefile、orc、parquet、avro，前面两种是行式存储，orc和parquet是列式存储。
摇篮里的小樱桃·2025-06-01 04:51

如何优化Hive的查询性能？请详细说明查询优化的各个层面（SQL优化、配置优化、资源优化等）和具体方法。

Hive查询性能优化涉及多个层面，需结合SQL语句、配置参数、集群资源及数据本身特性进行综合调优。以下是详细的优化方法：一、SQL语句优化1.过滤条件前置问题：未过滤的数据会增加后续处理开销。
安审若无·2025-06-01 04:50

实时数据仓库存储引擎革新：从Lambda到Kappa++架构的底层技术演进

传统基于HDFS+Hive的存储架构时延高达分钟级，已无法满足实时风控、IoT设备监控等场景需求。本文将深入探讨存储引擎技术创新如何突破实时数仓的性能瓶颈。
尘烬海·2025-06-01 04:20

Hive的存储格式如何优化？

Hive的存储格式对查询性能、存储成本和数据处理效率有显著影响。
安审若无·2025-06-01 03:48

kettle mysql hdfs_kettle 将mysql 导入到hive（借助Hadoop File Output组件）

背景在使用kettle的表输出组件的时候，因为服务器hive版本为0.13,不支持insertintovalues的语法(hive的0.14版本才支持)，所以通过表输出的方式，插入到hive会报错。
hzzonline·2025-05-31 19:50

linux zip 压缩文件夹命令

以下是详细指南：方法1：基本zip压缩（兼容Windows/Mac）#压缩文件夹（含子目录）zip-r压缩包名称.zip要压缩的文件夹/#示例：把my_folder压缩成archive.zipzip-rarchive.zipmy_folder
@comefly·2025-05-31 05:33

n1盒子救砖_斐讯N1盒子刷机救砖教程

https://codess.cc/archives/108.html自从斐讯0元购的车翻了之后，咸鱼上的斐讯产品也非常多，从路由器到空气净化器再到矿机。
weixin_39783771·2025-05-30 15:56

spark shuffle的分区支持动态调整，而hive不支持

根据Spark官方文档，SparkShuffle分区支持动态调整的核心原因在于其架构设计和执行模型的先进性：1.自适应查询执行（AQE）机制Spark3.0+引入的AQE特性允许在运行时动态优化执行计划，包括Shuffle分区调整：分区合并：通过spark.sql.adaptive.coalescePartitions参数，自动合并小分区（默认目标分区大小64MB）数据倾斜处理：自动将大分区拆分为
大数据知识搬运工·2025-05-30 05:11

Liunx 环境编译调试MySql源码

但对于底层原理一直不太清楚，对于本人来说一直是个黑盒，本文尝试编译下MySQL源码，为以后研究MySQL底层打下基础一、官网下载源码源码地址:MySQL::DownloadMySQLCommunityServer(ArchivedVersions
d1451545368·2025-05-30 01:08

npm run build后将打包文件夹生成zip压缩包

安装依赖npminstallarchiver--save-dev准备compress.js文件constfs=require('fs');constarchiver=require('archiver'
eggcode·2025-05-29 23:51
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他