hive分区

hive表格统计信息不准确

问题描述有个hive分区表，orc存储格式，有个分区，查询selectcount(1)fromtablewheredt='yyyyMMdd'结果是0，但查询select*fromtablewheredt
weixin_41956627·2024-09-11 09:37

hive中的分区

文章目录Hive分区1.简介为什么要分区如何分区以及细节2.Hive分区的建立创建分区静态分区动态分区启动动态分区功能多分区单分区区别创建多分区插入分区查看分区数查看表结构Hive分区1.简介Hive分区的概念与传统关系型数据库分区不一样
百流·2024-08-30 16:07

大数据开发（Hive面试真题-卷二）

7、Hive分区和分桶的区别？8、Hive的执行流程？9、Hive
Key-Key·2024-03-20 05:14

Hive的相关概念——分区表、分桶表

目录一、Hive分区表1.1分区表的概念1.2分区表的创建1.3分区表数据加载及查询1.3.1静态分区1.3.2动态分区1.4分区表的本质及使用1.5分区表的注意事项1.6多重分区表二、Hive分桶表2.1
爱吃辣条byte·2024-02-15 10:57

【大数据Hive】hive 表设计常用优化策略

目录一、前言二、hive普通表查询原理2.1操作演示说明2.1.1创建一张表，并加载数据2.1.2统计3月24号的登录人数2.1.3查询原理过程总结2.2普通表结构带来的问题三、hive分区表设计3.1
逆风飞翔的小叔·2024-02-15 10:22

Hive分区表增加字段新增字段为NULL解决方案

背景：数仓开发过程中，经常会有需求变更，添加字段的情况很难免，添加完了字段需要重新写数据，重新将这个字段的数据overwrite进去，但是会出现一个问题，就是加载的数据为NULL。新分区正常，无论是内部表还是外部表均有该问题。原因：使用altertable语句更新表结构时，由于默认更新现有表结构，对原有分区无改动，导致原有分区改变数据时，新字段为NULL测试过程：创建测试表：CREATETABLE
Lens5935·2024-02-06 10:11

hive建表设置如果为null_Hive分区表新增字段，查询为Null

1.问题在开发过程中，向hive分区表新增字段，发现查询新增字段的值为NULL2.问题复现1.创建分区表，并插入数据createtablestudent(idint,namestring)partitionedby
weixin_39747975·2024-02-06 10:10

解决hive表新增的字段查询为空null问题

Hive分区表新增字段，查询时数据为NULL的解决方案由于业务拓展，需要往hive分区表新增新的字段，hive版本为2点多。
（YSY_YSY）·2024-02-06 10:05

大数据框架(分区，分桶，分片)

建议收藏目录Hive分区与分桶ES分片Kafka分区HBase分区Kudu分区HiveHive分区是按照数据表的某列或者某些列分为多区，在hive存储上是hdfs文件，也就是文件夹形式。
坨坨的大数据·2024-02-05 06:29

Flink集成Hive之Hive Catalog

注意分区时间字段需要为yyyy-MM-dd形式,否则抛出异常:java.time.format.DateTimeParseException:Text'20240111'couldnotbeparsed写入到hive
实时即未来·2024-01-13 09:44

Hive分区表实战 - 多分区字段

文章目录一、实战概述二、实战步骤（一）创建学校数据库（二）创建省市分区的大学表（三）在本地创建数据文件1、创建四川成都学校数据文件2、创建四川泸州学校数据文件3、创建江苏南京学校数据文件4、创建江苏苏州学校数据文件（四）按省市分区加载学校数据1、加载四川成都学校数据文件到四川成都分区2、加载四川泸州学校数据文件到四川泸州分区3、加载江苏南京学校数据文件到江苏南京分区4、加载江苏苏州学校数据文件到江
howard2005·2024-01-12 08:29

【DolphinScheduler】datax读取hive分区表时，空分区、分区无数据任务报错问题解决

DolphinScheduler的Datax组件时，遇到这么一个问题：之前给客户使用海豚做的离线数仓的分层搭建，一直都运行好好的，过了个元旦，这几天突然在数仓做任务时报错，具体报错信息如下：问题一：datax读取hive
Alex_81D·2024-01-12 08:49

Hive分区表实战 - 单分区字段

文章目录一、实战概述二、实战步骤（一）创建图书数据库（二）创建国别分区的图书表（三）在本地创建数据文件（四）按分区加载数据1、加载中文书籍数据到`country=cn`分区2、加载英文书籍数据到`country=en`分区（五）查看分区表book全部记录（六）通过HDFS查看分区对应的目录及文件（七）手动创建分区并上传数据1、在HDFS上手动创建`country=jp`分区目录2、创建日文书籍数据
howard2005·2024-01-10 13:55

[spark] 存储到hdfs时指定分区

在SparkSQL中指定多个分区字段进行数据存储：类似hive分区存储文章目录代码示例代码importorg.apache.spark.sql.SparkSessionvalspark=SparkSession.builder
言之。·2023-12-27 06:33

Hive分区表简介

简介：如果一个表中数据很多，我们查询时就很慢，耗费大量时间，如果要查询其中部分数据该怎么办呢，这时我们引入分区的概念。Hive中的分区表分为两种：静态分区和动态分区。1.静态分区:可以根据PARTITIONEDBY创建分区表，一个表可以拥有一个或者多个分区，每个分区以文件夹的形式单独存在表文件夹的目录下。分区是以字段的形式在表结构中存在，通过describetable命令可以查看到字段存在，但是该
K_un·2023-12-24 12:39

Hive-分区与分桶详解（超详细）

文章目录前言一、Hive分区1.什么是分区2.分区的优势3.如何创建分区表4.如何插入分区数据5.如何查询分区数据6.分区因素二、Hive分桶1.什么是分桶2.分桶的优势3.如何创建分桶表4.如何插入分桶数据
大数据魔法师·2023-12-22 18:25

hive SQL优化总结

3.分区裁剪在查询的过程中减少不必要的分区，即尽量指定分区，这一块hive分区表严格模式有强制措施。
wangfann·2023-11-28 14:11

Spark-sql离线抽取全量数据到hive分区表中

先建立spark连接valspark:SparkSession=SparkSession.builder().appName("test").master("local[*]).enableHiveSupport().getOrCreate()控制日期格式并获取当前日期(这里做了-1)valdateStr=newSimpleDateFormat("yyyyMMdd")valcalendar=Cal
77zhi·2023-11-21 10:53

Hive 剖析

Hive分区表分区为HDFS上表目录的子目录，数据按照分区存储在子目录中。
zhixingheyi_tian·2023-11-20 03:33

【hive】- 使用insert into/insert overwrite插入数据到静态分区、动态分区、动静态分区

文章目录前言一、hive分区hive分区类型hive分区参数二、数据插入方式静态分区插入数据动态分区插入数据动静混合分区插入数据前言Hive中支持的分区类型有两种，静态分区（staticpartition
sodaloveer·2023-11-16 07:53

flume异常关闭文件修复方法

在写入过程中，由于集群负载、资源或者网络原因会导致文件没有正常关闭,即文件表现为tmp格式，这种格式的文件从hdfs往hive分区load数据时，会导致数据无法查询问题。
jiedaodezhuti·2023-11-16 01:19

Hive分区表新增字段值为NULL

背景对于HIVE分区表通过addcolumn添加字段，向已存在分区中插入数据，结果新增字段的值全部为null。已存在分区会产生该问题，新分区不会产生该问题。原因实际上数据是插入成功的。
Sin_Geek·2023-11-15 10:23

4.HiveSQL（2）

3.9表分区3.9.1表分区概述Hive分区partition（订单介绍）必须在表定义时指定对应的partition字段，分区的本质相当于在表的目录下在分目录进行数据的存储。
想成为数据分析师的开发工程师·2023-11-12 16:20

大数据工程师必会的知识点之一：关于hive的分区和分桶

1、Hive分区表在HiveSelect查询中一般会扫描整个表内容，会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据，因此建表时引入了partition概念。
xinxindsj·2023-11-05 16:11

大数据开发笔记（四）：Hive分区详解

✨大数据开发笔记推荐：大数据开发面试知识点总结_GoAI的博客-CSDN博客_大数据开发面试本文详细介绍大数据hadoop生态圈各部分知识，包括不限于hdfs、yarn、mapreduce、hive、sqoop、kafka、flume、spark、flink等技术，总结内容适合大数据开发者学习，希望能够和大家多多交流。https://blog.csdn.net/qq_36816848/articl
GoAI·2023-11-05 16:08

hive分区字段不支持timestamp类型

首先创建一个外部分区表(分区字段设置为时间类型（timestamp）)辅助表test创建普通外部表createexternaltabletest(idstringcomment'账号',datekeytimestampcomment'交易时间',namestringcomment'公司名称')location'/xx/lrz_test';createexternaltabletesta(idstr
¤睿·2023-10-31 05:08

Flink Hive Catalog操作案例

在此对Flink读写Hive表操作进行逐步记录，需要指出的是，其中操作Hive分区表和非分区表的DDL有所不同，以下分别记录。
尘客.·2023-10-29 01:02

Hive分区表和分桶表

本专栏案例数据集链接：https://download.csdn.net/download/shangjg03/884780381.分区表1.1概念Hive中的表对应为HDFS上的指定目录，在查询数据时候，默认会对全表进行扫描，这样时间和性能的消耗都非常大。分区为HDFS上表目录的子目录，数据按照分区存储在子目录中。如果查询的`where`字句的中包含分区条件，则直接从该分区去查找，而不是扫描整个
shangjg3·2023-10-28 18:07

通过kettle循环变量方式将关系型数据库表插入hive表分区

思路是先将源表中作为hive分区的字段查询出来作为变量(字段格式可能不一致)，然后复制记录
shenzhibiao·2023-10-26 18:04

HIVE-17824,删除hdfs分区信息,清理metastore元数据

当手动删除HDFS分区数据时,但是并没有清理Hive中的分区元数据,删除操作无法自动更新hive分区表元数据。
jiedaodezhuti·2023-10-23 17:33

hive 分区表

hive分区表：分区字段的物理表现：hive分区表，其真实的表现其实就是在存储hive表的文件夹的下面，创建新的文件夹，文件夹的名字是分区字段=字段取值这种格式的。
流砂月歌·2023-10-20 15:07

大数据学习(3)-hive分区表与分桶表

&&大数据学习&&系列专栏：哲学语录:承认自己的无知，乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博>主哦Hive中的分区表和分桶表都是为了优化数据处理和查询性能而设计的。1.分区表：分区表在Hive中，对应于在HDFS上指定目录，按照某个字段的值将表数据分到不同的文件夹。假设我们有一个包含日期的字段，我们可以按照这个日期字段将数据分区为不同的文件夹，例如按年、月
viperrrrrrr·2023-10-11 00:00

大数据工程师必会的知识点之一：关于hive的分区和分桶

1、Hive分区表在HiveSelect查询中一般会扫描整个表内容，会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据，因此建表时引入了partition概念。
Java程序员YY·2023-10-08 21:24

HiveServer2 Service Crashes(hiveServer2 服务崩溃)

1.hive分区表太多(这里没有说具体数量。)
cclovezbf·2023-10-08 06:14

浅谈DBT的一些不足之处

而且不需要你写DDL语句，只要写select语句，DBT会自动帮你推断schema结构，将数据写入到数据库中：但是使用了一段时间之后，发现DBT也存在着如下这些不足之处：1.Hive分区表支持度不够好这个其实很
淡定一生2333·2023-09-25 23:44

hive分区表的元数据信息numRows显示为0

创建分区表CREATETABLE`dept_partition`(`deptno`int,`dname`string,`loc`string)PARTITIONEDBY(
贾斯汀玛尔斯·2023-09-24 17:38

hive分区表同步数据到doris分区分桶表详解

hive分区表同步数据到doris分区分桶表详解本文从BrokerLoad来实现数据同步一、BrokerBroker是在doris中独立存在的，FE是负责元数据和任务调度，BE负责存储实际数据和执行任务
不吃鱼的cat·2023-09-23 03:04

Hive的分区和分桶

目录编辑一、Hive分区1.1分区产生的背景1.2动态分区1.2.1hive的动态分区介绍1.2.2动态分区配置1.2.2.1动态分区开启1.2.2.2动态分区模式1.2.2.3一个mr节点上，设置动态分区的最大数量
夜夜流光相皎洁_小宁·2023-09-21 05:52

hive分区表 静态分区和动态分区

一、静态分区现有数据文件data_file如下：2023-08-01,ProductA,100.02023-08-05,ProductB,150.02023-08-10,ProductA,200.01、创建分区表CREATETABLEsales(sale_dateSTRING,productSTRING,amountDOUBLE)PARTITIONEDBY(sale_yearINT,sale_mo
电光火石尔·2023-08-28 15:19

修复hive重命名分区后新分区为0的问题

hive分区重命名后，新的分区的分区大小为0,例如altertableentersv.ods_t_testpartition(dt='2022-11-08')renametopartition(dt='
linweidong·2023-08-24 16:06

HIVE分区表-全量导入数据

CREATETABLECH_ZDEV.TMP_20220901(USERIDSTRING,USERNAMESTRING,DOMSTCDOUBLE)PARTITIONEDBY(REPT_DTSTRING)STOREDASPARQUET;INSERTOVERWRITETABLECH_ZDEV.TMP_20220901PARTITION(REPT_DT)SELECTUSERID,USERNAME,DOM
树下喝茶聊天·2023-08-24 04:45

hive分区数据批量导入

1.一般导入分区数据用：insertintotabletarget_tablepartition(store_day=20200303)selectcolumn1,column2fromsource_tablewherestore_day=20200303;但如果有很多个分区，逐个导的话很麻烦，而且每个分区一个job，要执行很多个jpb，效率很低。2.批量导入可以这样sethive.exec.dy
caidongxuan·2023-08-24 04:44

Spark_day06

我们把这个路径写上去就好了.image.png3.目前的结构4.这是mode和我们的文件形式5.Parquet文件格式image.png5.读写分区为什么写成一个文件夹rdd支持分区,直接把每一个RDD分区,写成一个文件.hive
c062197eecd2·2023-08-20 10:58

【hive】hive修复分区或修复表 以及msck命令的使用

命令的使用问题原因：解决方法：msck命令解析：例子:问题原因：之前hive里有数据，后面存储元数据信息的MySQL数据库坏了，导致hive元数据信息丢失，但是hdfs上hive表的数据并没有丢失，重新建表后查看hive
kiraraLou·2023-08-18 11:25

Hive分区表导入数据

Hive分区表导入数据（动态分区插入，静态分区插入、动静态分区插入）在hive上建立一个简单的分区表：CREATETABLE`school_student_info`(`name`string,`age
xhaoDream·2023-08-12 12:56

关于使用msck修复hive分区，以及在添加分区缓慢的问题

1）需要修复的分区数量很大的解决办法sethive.msck.repair.batch.size=1000;sethive.msck.path.validation=ignore;第一个参数是设置每次插入到metaStore分区的批量大小，加入有10000个待修复的分区那么这里就是10000/1000共计十个批次，默认如果不设置此参数会把所有数据全部发送到metastore中执行插入操作。第二个参
ThomasgGx·2023-08-10 18:20

Hive分区

目录一、理论基础1、Hive分区背景2、Hive分区实质3、Hive分区的意义4、常见的分区技术二、分区操作(一)、静态分区1、单分区2、多分区(二)、动态分区1、启用hive动态分区2、创建表三、实战练习
郝少·2023-07-21 14:37

Hive分区分桶

分区分区概念在逻辑上分区表与未分区表没有区别，在物理上分区表会将数据按照分区键的列值存储在表目录的子目录中，目录名=“分区键=键值”。其中需要注意的是分区键的值不一定要基于表的某一列（字段），它可以指定任意值，只要查询的时候指定相应的分区键来查询即可。我们可以对分区进行添加、删除、重命名、清空等操作。分为静态分区和动态分区两种，静态分区与动态分区的主要区别在于静态分区是手动指定，而动态分区是通过数
华为云技术精粹·2023-07-21 14:03

Apache Doris (三十一）：Doris 数据导入(九）Spark Load 4- 导入Hive数据及注意事项

目录1.SparkLoad导入Hive非分区表数据2.SparkLoad导入Hive分区表数据3.注意事项进入正文之前，欢迎订阅专题、对博文点赞、评论、收藏，关注IT贫道，获取高质量博客内容！
IT贫道·2023-07-20 13:22

使用DataX，从Greenplum将数据传输到Hive分区表中

我司使用Greenplum作为计算库，实时计算统计数据，但是数据量大了之后影响计算速度。所以将每天的数据通过Datax传输到Hive的按日分区的分区表中，用于备份，其他数据放在Greenplum中作为实时数据计算。Greenplum内核还是PostgreSQL，所以Datax配置还是使用PostgreSQL的连接。数据表准备hive建表，dt作为分区字段，比如dt='20230619'create
枫叶梨花·2023-07-17 12:11
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他