hive分区

Hive分区partition详解

Hive分区更方便于数据管理，常见的有时间分区和业务分区。
taoy86·2020-09-14 15:47

Hive分区表新增字段后用MR查询为null的bug及解决方法

1、问题描述最近工作需要，需对近两个月hive分区表增加新的字段（公司平台，hive版本2.*），利用altertabletable_nameaddcolumns(col_namestring)新增字段后
abc200941410128·2020-09-14 08:22

HIVE中-托管表-外部表-分区表

Hive分区表为什么有分区表？如果把一年或者一个月的日志文件存
qq_41028958·2020-09-13 06:32

（四）Hive分区、分桶

三，分区表1.静态分区CREATETABLEIFNOTEXISTSsalgrade2(GRADEint,LOSALint,HISALint)partitionedby(daystring)rowformatdelimitedfieldsterminatedby'\t'location'/data/inner/ODS/01/salgrade2';CREATETABLEIFNOTEXISTSsalgr
JayWolf·2020-09-11 21:39

Hive案例之成绩统计

11603A9521603B8531603C7541603D9651604F9461604E9571604K9181604G8991501A79101502A69111503A59121504A89131701A99141702A100151703A65创建Hive
java大数据编程·2020-09-11 08:18

Hive分区、分桶、类型、函数、运算符指令详解

内部表和外部表一、内部表的概念先在hive里建一张表，然后向这个表插入数据（用insert可以插入数据，也可以通过加载外部文件方式来插入数据），这样的表称之为hive的内部表二、外部表的概念HDFS里已经有数据了，然后，通过hive创建一张表来管理这个文件数据。则这样表称之为外部表注意，hive外部表管理的是HDFS里的某一个目录下的文件数据三、外部表创建命令：进入hive，执行：createex
Arno_Yu·2020-09-11 06:29

解决Spark读取Hive分区表出现Input path does not exist的问题

假设这里出错的表为test表。现象Hive读取正常，不会报错，Spark读取就会出现：org.apache.hadoop.mapred.InvalidInputException:Inputpathdoesnotexist:hdfs://testcluster/user/hive/warehouse/....在hive中执行descformattedtest;然后找到hdfs存储路径。然后hdfs
weixin_34248705·2020-09-11 05:46

HIVE外部表删除重建指定HDFS目录后查询不到数据

MSCKREPAIRTABLE命令是做啥的MSCKREPAIRTABLE命令主要是用来解决通过hdfsdfs-put或者hdfsapi写入hive分区表的数
秋名山小桃子·2020-08-25 01:29

spark 批量读取HDFS（hive分区）parquet文件

情况说明：数据以parquet文件形式保存在HDFS上，数据中的某一列包含了日期（例如：2017-12-12）属性，根据日期对数据分区存储，如下图所示：项目需求：在项目中想要读取某一个月的数据，肿么办？解决方法：spark中读取本地文件的方法如下:sparkSession.read.parquet("hdfs://path")1方法一：要读取多个文件，文件的路径中有一段公共路径。这样，首先想到的方
风儿吹花儿美·2020-08-22 20:03

DataX HIVE分区同步

一、DataXJson配置（样例）{"job":{"setting":{"speed":{"channel":3,"byte":1048576},"errorLimit":{"record":0,"percentage":0.02}},"content":[{"reader":{"name":"hdfsreader","parameter":{"hadoopConfig":{"dfs.namese
微野·2020-08-22 15:04

代码示例讲解Hive分区分桶以及自定义函数

导入数据：1、loaddatalocalinpath'/root/tes.txt'intotabletest.usr;将本地的数据导入到hive中2、从hdfs集群导入数据loaddatainpath'hdfs://node01:9000/user/tes.txt'intotabletest.te;LOADDATA命令，可分为LOADDATALOCALINPATH和LOADDATAINPATH。两
马小邱·2020-08-22 12:21

hive分区表新增字段（指定添加列的位置）+重刷历史方法(避免旧分区新增字段为NULL)

转自：https://blog.csdn.net/lz6363/article/details/86035864今天接到需求大概是这样的，在以前上线的分区报表中新加一个字段，并且要求添加到指定的列，然后刷新同步以前的数据，现将模拟实现如下：创建测试表createexternaltabletest.table_add_column_test(original_column1stringcomment
jin6872115·2020-08-22 01:38

动态分区说明

Hive分区Hive的动态分区概述hive中支持两种类型的分区：静态分区SP（staticpartition）动态分区DP（dynamicpartition）静态分区与动态分区的主要区别在于静态分区是手动指定
这个该叫什么呢·2020-08-21 15:22

Flink开发遇到的问题汇总-

端没有显示或者说自动消失：原因分析：https://blog.csdn.net/u013076044/article/details/104740792是需要开启historyserver2，Flink读取hdfs的（hive
黄瓜炖啤酒鸭·2020-08-21 04:44

Hive数据同步到ES

user_id作为文档id准备工作-集群Hadoop集群、Hive集群、Yarn集群（用的是CDH）Spark集群（用的是CDH）ElasticSearch集群（单独部署的）准备工作-数据HiveHive表创建hive
挖矿的小戈·2020-08-20 20:21

[Hive]Hive多分区操作

业务背景mobile_log记录移动日志，现在需要将其保存到hive表中，将来可以按日期，小时进行统计，为此，需要建立一张具有日期、小时的hive分区表。
yeweiouyang·2020-08-20 04:06

hive分区

hive分区1.在任意位置建立一个文件夹这里以在home/bigdata下建立一个hivedatamkdir-p/home/bigdata/hivedata2.根据表来随便写几个数据这里以下面建表的样板为准用下面的数据建一个名叫
sj天问·2020-08-20 04:00

Hive分区（静态分区+动态分区）

Hive分区的概念与传统关系型数据库分区不同。传统数据库的分区方式：就oracle而言，分区独立存在于段里，里面存储真实的数据，在数据进行插入的时候自动分配分区。
aipu1859·2020-08-20 03:46

Hive 分区表

Hive分区表创建hive>CREATETABLEt3(idint,namestring,ageint)PARTITIONEDBY(YearINT,MonthINT)ROWFORMATDELIMITEDFIELDSTERMINATEDBY
余-雷·2020-08-18 18:09

Hive分区表更改表结构

Hive的分区表更改表结构后需要注意的是旧分区的结构(包括序列化参数)都是不会更改的，如果往旧分区里重新insert或者load数据覆盖掉原来的数据，hive去旧分区select出来的新字段仍是NULL，所以需要手动去数据库里修改hive的元数据。(基于hive-0.10，序列化参数应该是都不会变，但是在0.8.1里旧分区的结构好像也会随着表结构更改。)修改分区表结构hive元数据中表结构存放在C
Namo_Amitabha·2020-08-18 13:11

hive 实践

创建hive分区表createtablesource(`date`bigint,eventint,appstring,domainstring,rtypeint,unique_namestring,user_idstring
zajbetterme·2020-08-18 12:56

spark 将dataframe 数据写入hive分区表

DataFrame将数据写入hive中时，默认的是hive默认数据库,insertInto没有指定数据库的参数，数据写入hive表或者hive表分区中：1、将DataFrame数据写入到hive表中从DataFrame类中可以看到与hive表有关的写入API有一下几个：registerTempTable(tableName:String):Unit,inserInto(tableName:Stri
sun_duoLong·2020-08-18 11:37

Hive中的msck和analyze table的作用

在使用Hive的过程中，经常碰见以下两个问题：（1）手动向Hive分区表的某些个分区HDFS路径上put数据文件，但是showpartitions时显示不出这些手动导入的分区。
LannisterWF·2020-08-17 16:33

大数据面试之Hive

1.9Hive的数据倾斜1.10Hive分区、分桶如何实现？优缺点1.11请说明hive中SortBy、OrderBy、ClusterBy，DistributeBy各代
小gu·2020-08-16 10:35

sqoop 导出 hive分区表 数据到 mysql

命令：./sqoopexport--connectjdbc:mysql://localhost:3306/test--usernameroot--password123456--tabletablename--export-dir/user/hive/warehouse/database/tablename1/part_date=2015-06-16--input-fields-terminate
刀砍磁感线·2020-08-14 11:01

hive按日期年月实现动态分区，分桶表创建

目录Hive分区分为静态分区和动态分区概念动态分区的属性：hive动态分区分桶表hive读写模式：目标：按照表中数据创建时间的年月来进行分区Hive分区分为静态分区和动态分区概念静态分区：加载数据到指定分区的值
大胖头leo·2020-08-14 00:58

Sqoop 将mysql数据导入到hive分区表

@羲凡——只为了更好的活着Sqoop使用——将mysql数据导入到hive分区表前期准备a.
羲凡丞相·2020-08-12 13:49

大数据技术之_32_大数据面试题_01_Hive 基本面试 + Hive 数据分析面试 + Flume + Kafka 面试

6、hive分区有什么好处？7、hive分区跟分桶的区别8、hive如何动态分区9、mapjoin优化手段1
黑泽君·2020-08-12 13:58

Hive分区表增删改查

1分区表分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。在查询时通过WHERE子句中的表达式选择查询所需要的指定的分区，这样的查询效率会提高很多。1.1分区表基本操作1．引入分区表（需要根据日期对日志进行管理）/user/hive/warehouse/log_partition/2
qq_43193797·2020-08-12 12:33

Hive分区表的基本操作及结构

一、分区表概述我们知道传统的DBMS系统一般都具有表分区的功能，通过表分区能够在特定的区域检索数据，减少扫描成本，在一定程度上提高查询效率，当然我们还可以通过进一步在分区上建立索引进一步提升查询效率。在此就不赘述了。在Hive数仓中也有分区分桶的概念，在逻辑上分区表与未分区表没有区别，在物理上分区表会将数据按照分区键的列值存储在表目录的子目录中，目录名=“分区键=键值”。其中需要注意的是分区键的值
冲！程序员·2020-08-12 11:19

Hive 分区表和二级分区表的基本操作

Hive分区就是在HDFS上创建独立的文件夹，该文件夹下是该分区的所有的数据文件。Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。
小马哥_编程·2020-08-12 11:50

Hive分区表的分区操作

本文链接：https://blog.csdn.net/afafawfaf/article/details/80249974为了对表进行合理的管理以及提高查询效率，Hive可以将表组织成“分区”。一个分区实际上就是表下的一个目录，一个表可以在多个维度上进行分区，分区之间的关系就是目录树的关系。1、创建分区表通过PARTITIONEDBY子句指定，分区的顺序决定了谁是父目录，谁是子目录。创建有一个分区
changzoe·2020-08-12 10:00

数据仓库-hive分区表

什么是分区在逻辑上分区表与未分区表没有区别，在物理上分区表会将数据按照分区键的列值存储在表目录的子目录中，目录名=“分区键=键值”。其中需要注意的是分区键的值不一定要基于表的某一列（字段），它可以指定任意值，只要查询的时候指定相应的分区键来查询即可。我们可以对分区进行添加、删除、重命名、清空等操作。因为分区在特定的区域（子目录）下检索数据，它作用同DNMS分区一样，都是为了减少扫描成本。Hive(
爱吃龙虾的饼·2020-08-11 05:16

Hive分区表的导入与导出

最近在做一个小任务，将一个CDH平台中Hive的部分数据同步到另一个平台中。毕竟我也刚开始工作，在正式开始做之前，首先进行了一段时间的练习，下面的内容就是练习时写的文档中的内容。如果哪里有错误或者疏漏，希望各位网友能够指出。第一篇：HDFS的上传与下载：https://www.cnblogs.com/BlackString/p/10552553.html第二篇：Hive中数据的导入与导出：http
weixin_30443747·2020-08-10 02:55

hive分区锁问题导致insert overwrite table 卡死

hiveshowlocks;可以展示表以及分区级别的锁showlockstable_name;展示表级别的锁当分区写数据异常失败之后,采用unlocktabletable_name;并不能解决insertoverwritetablepartition卡死问题采用showlocks,结果如下示例:86db_name@table_nameSHARED87db_name@table_name@pt=20
mtj66·2020-08-09 09:13

Hive分区表新增字段查询为空

在开发过程中，向hive分区表新增字段，发现查询新增字段的值为NULL解决方法：对分区增加相应的字段altertablestudentpartition(pt='2020-01-13')addcolumns
小短腿___·2020-08-07 15:41

hive分区——静态分区和动态分区

hive分区——静态分区和动态分区文章目录hive分区——静态分区和动态分区一、Hive以及分区简介二、静态分区三、动态分区四、二者区别与联系一、Hive以及分区简介hivehive是基于Hadoop的一个数据仓库工具
树很懒～·2020-08-07 15:01

Spark 覆盖写Hive分区表,只覆盖部分对应分区

要求Spark版本2.3以上，亲测2.2无效配置config("spark.sql.sources.partitionOverwriteMode","dynamic")注意1、saveAsTable方法无效，会全表覆盖写，需要用insertInto，详情见代码2、insertInto需要主要DataFrame列的顺序要和Hive表里的顺序一致，不然会数据错误！packagecom.dkl.blog
独孤风·2020-08-05 16:00

增量采集数据到hive分区表中，进行ETL后用Sqoop同步到SqlServer

最近在公司遇到一个数据处理需求：1客户方SqlServer的表每5分钟会采集到hive中，每5分钟作为一个分区2编写Hsql脚本读取分区表数据，进行数据转换，存到Hive的结果分区表中，3将结果数据同步到客户的sqlServer目标表中。其中，没5分钟采集到hive中是另外小组的同事负责的，这里不进行详细说明。2和3部分的编写脚本data.sh如下：该脚本写好后可以使用作业调度系统每五分钟执行一次
fa124607857·2020-08-05 00:30

HDFS的上传与下载（put & get）

第二篇：Hive中数据的导入与导出：https://www.cnblogs.com/BlackString/p/10552806.html第三篇：Hive分区表的导入与导出：h
weixin_30414305·2020-08-02 14:03

Hive的动态分区和静态分区

Hive分区的创建Hive分区是在创建表的时候用Partitionedby关键字定义的，但要注意，Partitionedby子句中定义的列是表中正式的列，但是Hive下的数据文件中并不包含这些列，因为它们是目录名
adu_ustc·2020-08-01 13:32

面试小结（软通动力-驻平安数据开发）

动态分区4.UDF使用过程（导包/classpath/自定义函数方法）5.Hive数据倾斜的原因和方法6.hive和传统数据库的区别（查询语言/数据格式/索引有无/执行/可扩展性/执行延迟/数据规模）7.hive
Nube就是云·2020-07-31 14:39

spark 将dataframe数据写入Hive分区表

从spark1.2到spark1.3，sparkSQL中的SchemaRDD变为了DataFrame，DataFrame相对于SchemaRDD有了较大改变，同时提供了更多好用且方便的API。DataFrame将数据写入hive中时，默认的是hive默认数据库，insertInto没有指定数据库的参数，本文使用了下面方式将数据写入hive表或者hive表的分区中，仅供参考。1、将DataFrame
weixin_33939843·2020-07-30 17:56

spark streaming 接收kafka数据写入Hive分区表

直接上代码objectKafkaToHive{defmain(args:Array[String]){valsparkConf=newSparkConf().setAppName("KafkaToHive")valsc=newSparkContext(sparkConf)valssc=newStringContext(sc,Seconds(60))//创建kafka参数valkafkaParams
周葱·2020-07-30 13:30

hive分区表增加字段会导致新增字段无法显示值的BUG

对hive分区表新增字段后，在执行插入分区的动作，会发现其实数据文件中已经有新字段值了，但是在查询的时候新字段的值还是显示为null。
xiao_jun_0820·2020-07-30 05:43

Hive分区表动态添加字段

场景描述：公司埋点项目，数据从接口服务写入kafka集群，再从kafka集群消费写入HDFS文件系统，最后通过Hive进行查询输出。这其中存在一个问题就是：埋点接口中的数据字段是变化，后续会有少量字段添加进来。这导致Hive表结构也需要跟着变化，否则无法通过Hive查询到最新添加字段的数据。解决办法：为数据表添加字段，字段必须添加到已有字段的最后面。因为已经存在的数据是按照之前的表结构写入到HDF
IT守望者·2020-07-29 21:24

SparkStreaming消费kafka的各种坑，版本问题，jar包冲突

项目简介使用SparkStreaming2.1.0+Kafka0.8.2.1+SparkSQL2.1.0+Hive1.2.0实时消费数据，处理完之后写入hive分区表。
远方的眺望·2020-07-29 20:47

hive 分区字段为空

hive分区字段为空(_HIVE_DEFAULT_PARTITION_)201909031.显示表的所有分区showpartitionstable_name;2.默认分区_HIVE_DEFAULT_PARTITION
Damahuhu·2020-07-29 19:34

hive分区表增加字段新增字段值为空的bug

关键字：hive,partition,addcolumnhiveJIRA：https://issues.apache.org/jira/browse/HIVE-6131最近在查hive版本问题，发现在hive1.1.0和hive1.2.1上，分区表新增字段后新增字段值为空的情况。网上查了资料，提供了两种解决办法：1.修改hive元数据SDS表的CD_ID字段，原因是修改表结构后，元数据库中的SDS
men子烦高·2020-07-29 18:40

【HIVE笔记】HIVE分区表新增字段并写入数据

向HIVE分区表新增字段altertabletable_nameaddcolumns(new_columnstringcomment'新增字段');此时新增的字段会插入在分区键之前。
littletomatoo·2020-07-29 17:35
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他