hive外部表

控制map个数与性能调优参数

本文转自：涤生手记本系列几章系统地介绍了开发中Hive常见的用户配置属性（有时称为参数，变量或选项），并说明了哪些版本引入了哪些属性，常见有哪些属性的使用，哪些属性可以进行Hive调优，以及如何使用的问题
xuanxing123·2023-12-24 13:13

Hive分区表简介

Hive中的分区表分为两种：静态分区和动态分区。1.静态分区:可以根据PARTITIONEDBY创建分区表，一个表可以拥有一个或者多个分区，每个分区以文件夹的形式单独存在表文件夹的目录下。
K_un·2023-12-24 12:39

Hive优化(十三)-小文件进行合并

小文件进行合并在Map执行前合并小文件，减少Map数：CombineHiveInputFormat具有对小文件进行合并的功能（系统默认的格式）。HiveInputFormat没有对小文件合并功能。
bigdata张凯翔·2023-12-24 12:08

基于Hue，Dolphinscheduler，HIVE分析数据仓库层级实现及项目需求案例实践分析

目录一、数仓各个层级及作用1，ODS层（OperationDataStore-源数据层）2，DW层（DataWarehouse-数据仓库层）(1)DWD(DataWarehouseDetail-明细数据层)(2)DWM(DataWarehouseMiddle-明细数据层)(3)DWS(DataWarehouseService服务数据层)3，ADS层（ApplicationDataStore-数据应
Len°·2023-12-24 11:32

《PySpark大数据分析实战》-04.了解Spark

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-24 10:32

《PySpark大数据分析实战》-06.安装环境准备

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-24 10:32

《PySpark大数据分析实战》-17.云服务模式Databricks介绍运行作业

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-24 10:32

《PySpark大数据分析实战》-02.了解Hadoop

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-24 10:02

《PySpark大数据分析实战》-01.关于数据

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-24 10:01

《PySpark大数据分析实战》-18.什么是数据分析

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-24 10:01

Hive学习笔记（二）—— Hive的安装

文章目录Hive安装2.1Hive安装地址2.2Hive安装部署2.3将本地文件导入Hive案例2.4MySql安装2.4.1安装包准备2.4.2安装MySql服务器2.4.3安装MySql客户端2.4.4MySql
Alienware^·2023-12-24 08:53

在虚拟机中执行Hive命令该如何操作呢？

前言前段时间在学习hive,之前是通过hue进行编程的，但是由于设备问题，网络连接不顺畅，使用感很不好，又不想再安装客户端了，于是学习了一下怎么在虚拟机中执行hive命令并作了简单的记录。
纪筱白·2023-12-24 08:53

Hadoop+Hive学习笔记-4

Hadoop集群搭建配置三台虚拟机之间的免密登录1切换到root用户：crontab-e在第一行写入：*/5****/usr/sbin/ntpdatentp1.aliyun.com三台机器都一同操作，这一步让三台机器的时间服务器一致2关闭selinux：vim/etc/selinux/configvim编辑器打开文件，把里面的SELINUX值修改为disabled这一步是关闭selinuxseli
fwings260·2023-12-24 08:22

hadoop学习笔记(五)Hive安装部署

Hive安装部署Hive安装及配置配置已经完成,在此处启动hadoop集群Hive常用命令将本地文件导入Hive案例安装MySqlHive元数据配置到MySqlHive安装及配置下载地址:https:/
So.j·2023-12-24 08:22

hive企业级调优策略之CBO,谓词下推等优化

测试所用到的数据参考：原文链接：https://blog.csdn.net/m0_52606060/article/details/135080511本教程的计算环境为HiveonMR。
Appreciate(欣赏)·2023-12-24 07:26

FaceBook Redex使用总结

Redex踩坑全集第一步安装Redex安装以下前置条件sudoapt-getinstall\g++\automake\autoconf\autoconf-archive\libtool\libboost-all-dev
topone37·2023-12-24 07:52

SpringBoot 3 集成Hive 3

*+Hive3.
在奋斗的大道·2023-12-24 07:46

Hadoop入门学习笔记——六、连接到Hive

pwd=5ay8Hadoop入门学习笔记（汇总）目录六、连接到Hive6.1.使用Hive的Shell客户端6.2.使用Beeline客户端连接HiveServer2操作Hive6.3.使用
faith瑞诚·2023-12-24 07:10

Hadoop入门学习笔记——五、在虚拟机中部署Hive

pwd=5ay8Hadoop入门学习笔记（汇总）目录五、在虚拟机中部署Hive5.1.在node1虚拟机安装MySQL5.2.配置Hadoop5.3.下载并加压Hive5.4.下载MySQL
faith瑞诚·2023-12-24 07:09

Hadoop入门学习笔记——七、Hive语法

pwd=5ay8Hadoop入门学习笔记（汇总）目录七、Hive语法7.1.数据库相关操作7.1.1.创建数据库7.1.2.选择数据库7.1.3.描述数据库详细信息7.1.4.创建数据库并指
faith瑞诚·2023-12-24 07:37

pygrib

https://www.cnblogs.com/kallan/archive/2016/01/26/5160017.htmlhttps://www.cnblogs.com/sunshine8/p/7815216
榴莲气象·2023-12-24 06:20

数据质量监控框架及解决方案总结

概述随着业务发展和数据量的增加，大数据应用开发已成为部门应用开发常用的开发方式，由于部门业务特点的关系，spark和hive应用开发在部门内部较为常见。
坨坨的大数据·2023-12-24 05:41

黑苹果 安装教程+工具包(EFI引导文件+dmg镜像+工具)

完整黑苹果安装指南,苹果EFI引导文件等相关资源一应俱全.https://fostmar.online/archives/445/EFI引导文
单丽尔·2023-12-24 04:09

技本功|Hive优化之监控（三）

Hive是大数据领域常用的组件之一，主要是大数据离线数仓的运算，关于Hive的性能调优在日常工作和面试中是经常涉及的一个点，因此掌握一些Hive调优是必不可少的技能。
云掣YUNCHE·2023-12-24 03:15

技本功|Hive优化之Spark执行引擎参数调优（二）

Hive是大数据领域常用的组件之一，主要是大数据离线数仓的运算，关于Hive的性能调优在日常工作和面试中是经常涉及的的一个点，因此掌握一些Hive调优是必不可少的一项技能。
云掣YUNCHE·2023-12-24 03:44

Pytorch的C++端(libtorch)在Windows中的使用

https://oldpan.me/archives/pytorch-windows-libtorch
蒋豆芽·2023-12-24 02:25

Java-jar包的创建与运行

jar包的概念JAR文件的全称是JavaArchiveFile，意思是Java档案文件。是一种压缩文件，与常见的ZIP压缩文件兼容。
得过且过的勇者y·2023-12-24 01:16

Hive 存储与压缩

格式（推荐）Parquet格式对比压缩ORC——ZLIB压缩ORC——SNAPPY压缩Parquet——GZIP压缩Parquet——SNAPPY压缩总结本文中用到的数据源下载：log.data存储格式Hive
月亮给我抄代码·2023-12-23 22:28

Hive存储格式和压缩算法

Hive存储格式和压缩算法在实际的项目开发当中，hive表的存储格式一般选择：ORC或PARQUET，压缩算法一般选择Zlib和SNAPPY存储格式分类逻辑表中的数据，最终需要落到磁盘上，以文件的形式存储
Kazi_1024·2023-12-23 22:58

Hive文件压缩说明(转)

为什么要压缩在Hive中对中间数据或最终数据做压缩，是提高数据吞吐量和性能的一种手段。对数据做压缩，可以大量减少磁盘的存储空间，比如基于文本的数据文件，可以将文件压缩40%或更多。
大怀特·2023-12-23 22:57

讲道理，Hive文件存储与压缩还是挺重要的

压缩和存储1、文件存储格式Hive支持的存储数的格式主要有：TEXTFILE、SEQUENCEFILE、ORC、PARQUET。
看朱成碧_·2023-12-23 22:27

HIVE 建表 插入数据 文件格式与压缩格式算法比较

HIVE文件格式与压缩格式一：mapreduce的压缩mapreduce压缩主要是在shuffle阶段的优化。
皮卡帅·2023-12-23 22:27

Hive文件存储格式和Hive数据压缩小总结

二、Hive文件存储格式TEXTFILEHive数据表的默认格式，存储方式：行存储。可以使用Gzip压缩算法，但压缩后的文件不支持split。
浪尖聊大数据-浪尖·2023-12-23 22:27

Hive压缩、存储与优化

1、Hive压缩概述：Hive的压缩是MR的压缩，分为Map端结果文件压缩和Reduce端结果文件压缩压缩性能比较压缩算法原始文件大小压缩文件大小压缩速度解压速度gzip8.3GB1.8GB17.5MB
zeroLinked·2023-12-23 22:57

hive文件存储格式及数据压缩

二、Hive文件存储格式TEXTFILEHive数据表的默认格式，存储方式：行存储。
菜梨子不想这么菜！·2023-12-23 22:57

【004hive基础】hive的文件存储格式与压缩

文章目录一.hive的行式存储与列式存储二.存储格式1.TEXTFILE2.ORC格式3.PARQUET格式ing三.Hive压缩格式1.mr支持的压缩格式:2.hive配置压缩的方式:2.1.开启map
roman_日积跬步-终至千里·2023-12-23 22:56

Hive文件格式与压缩

Hive文件格式与压缩Hive支持的存储数据格式主要有：文本格式（TEXTFILE）、二进制序列化文件（SEQUENCEFILE）、行列式文件（RCFile）、优化的行列式文件（ORC）、PARQUET
会撸代码的懒羊羊·2023-12-23 22:56

Hive权限管理

Hive权限管理1、hive授权模型介绍（1）StorageBasedAuthorizationintheMetastoreServer基于存储的授权-可以对Metastore中的元数据进行保护，但是没有提供更加细粒度的访问控制
新鲜氧气·2023-12-23 22:26

Hive优化

Hive优化Hive的存储层依托于HDFS，Hive的计算层依托于MapReduce，一般Hive的执行效率主要取决于SQL语句的执行效率，因此，Hive的优化的核心思想是MapReduce的优化。
新鲜氧气·2023-12-23 22:26

Hive 文件存储格式与数据压缩结合

1压缩比和查询速度对比1）TextFile（1）创建表，存储数据格式为TEXTFILEcreatetablelog_text(track_timestring,urlstring,session_idstring,refererstring,ipstring,end_user_idstring,city_idstring)ROWFORMATDELIMITEDFIELDSTERMINATEDBY'\
北山璎珞·2023-12-23 22:56

hive数据存储与压缩

存储文件压缩比总结：ORC>Parquet>textFile存储文件的查询速度总结：（selectcount（*））ORC>TextFile>Parquet存储方式和压缩总结：在实际的项目开发当中，hive
Anla Likes Sunshine·2023-12-23 22:55

Hive文件存储与压缩

压缩和存储1、Hadoop压缩配置1)MR支持的压缩编码压缩格式工具算法文件扩展名是否可切分DEFAULT无DEFAULT.deflate否GzipgzipDEFAULT.gz否bzip2bzip2bzip2.bz2是LZOlzopLZO.lzo否LZ4无LZ4.lz4否Snappy无Snappy.snappy否为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器，如下表所示压缩格式对应的
新鲜氧气·2023-12-23 22:24

Hive-DML详解（超详细）

文章目录前言HiveQL的数据操作语言（DML）1.插入数据1.1直接插入固定值1.2插入查询结果2.更新数据3.删除数据3.1删除整个分区4.查询数据4.1基本查询4.2条件筛选4.3聚合函数总结前言本文将介绍
大数据魔法师·2023-12-23 22:38

ClickHouse(19)ClickHouse集成Hive表引擎详细解析

文章目录Hive集成表引擎创建表使用示例如何使用HDFS文件系统的本地缓存查询ORC输入格式的Hive表在Hive中建表在ClickHouse中建表查询Parquest输入格式的Hive表在Hive中建表在
张飞的猪大数据·2023-12-23 20:37

Ubuntu离线安装 MySQL 5.7

一、所需环境操作系统：Ubuntu20.04数据库：MySQL5.7.34网络情况：内网服务器，无法访问互联网资源二、提前下载所需以来及安装包1、所需依赖包（1）libmecab2http://archive.ubuntu.com
球球罐罐·2023-12-23 19:09

【Hive】——函数

1概述2内置函数内置函数（build-in）指的是Hive开发实现好，直接可以使用的函数,也叫做内建函数。
那时的样子_·2023-12-23 17:40

hive中stage和job的关联

1.通过explain可以清晰的看到stage划分。常见的是各个算子（joingroupbyorderby等有shuffle）或者是一些filterwhere等。2.基于上面的1就可以划分出stage。但是有些stage并不会执行，或者说经过优化器后的filterwhere会在其他stage里进行。这样，有些stage就是空的stage。3.基于stage划分，如何确定job数量（总数就是stag
不可一世的绵羊·2023-12-23 17:43

李笑来分享的文章：Success That Lasts

byLauraNashandHowardH.StevensonFromtheFebruary2004IssueExploreTheArchiveRECOMMENDEDHarvardBusinessReview
奔跑的红豹子·2023-12-23 17:31

Hive的四种排序方法

Hive的四种排序方法hive排序方法,hive的排序方式hive有四种排序方法:ORDERBY、SORTBY、DISTRIBUTEBY、CLUSTERBY0.测试数据准备--数据准备WITHt_emp_infoAS
Taerge0110·2023-12-23 16:06

详细分析mysql事务日志

https://www.cnblogs.com/f-ck-need-u/archive/2018/05/08/9010872.html#auto_id_7
托盘毛毛·2023-12-23 15:28
上一页 36 37 38 39 40 41 42 43 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他