Hive3

Hive3：列注释、表注释等乱码解决方案

--在Hive的MySQL元数据库中执行usehive;1).修改字段注释字符集altertableCOLUMNS_V2modifycolumnCOMMENTvarchar(256)charactersetutf8;2).修改表注释字符集altertableTABLE_PARAMSmodifycolumnPARAM_VALUEvarchar(4000)charactersetutf8;3).修改分
生产队队长·2024-08-30 08:09

Hive3：数据随机抽样查询

一、适用场景大数据体系下，在真正的企业环境中，很容易出现很大的表，比如体积达到TB级别。对这种表一个简单的SELECT*都会非常的慢，哪怕LIMIT10想要看10条数据，也会走MapReduce流程，这个时间等待是不合适的。于是，Hive提供了快速抽样的解决办法，可以快速从大表中随机抽取一些数据供用户查看。二、实操1、基于随机分桶抽样语法SELECT...FROMtblTABLESAMPLE(BU
生产队队长·2024-08-24 17:40

Hive基础知识（十五）：Hive中SQL排序方式全解

Reducer1）使用ORDERBY子句排序ASC（ascend）:升序（默认）DESC（descend）:降序2）ORDERBY子句在SELECT语句的结尾3）案例实操（1）查询员工信息按工资升序排列hive(hive3
依晴无旧·2024-01-16 06:24

Hive基础知识（十六）：Hive-SQL分区表使用与优化

2.分区表基本操作1）引入分区表（需要根据日期对日志进行管理,通过部门信息模拟）2）创建分区表语法hive(hive3)>create
依晴无旧·2024-01-16 05:11

Linux中操作Hive常用命令

Linux中操作Hive常用命令1、连接hivehiveshell2、输入hive的用户名和密码username：hivepassword：hive3、查询所有数据库showdatabases;4、查询所有数据表
cxzm_1024·2023-12-30 08:55

Hive客户端hive与beeline的区别

hive与beeline简介1、背景2、hive3、beeline4、hive与beeline的关系1、背景Hive的hive与beeline命令都可以为客户端提供Hive的控制台连接。
对许·2023-11-19 14:12

Hive3 on Spark3配置

1、软件环境1.1大数据组件环境大数据组件版本Hive3.1.2Sparkspark-3.0.0-bin-hadoop3.21.2操作系统环境OS版本MacOSMonterey12.1Linux-CentOS7.62、大数据组件搭建2.1Hive环境搭建1）HiveonSpark说明Hive引擎包括：默认mr、spark、Tez。HiveonSpark：Hive既作为存储元数据又负责SQL的解析优
江畔独步·2023-11-10 13:37

hive实现获取当前季度第一天

hive3中现在支持了selecttrunc(‘2021-03-01’,‘Q’)即可获得当前季度第一天，但是低版本的还是要自己实现。
¤睿·2023-10-31 05:37

Hive On Spark 概述、安装配置、计算引擎更换、应用、异常解决

版本号下载Spark解压Spark配置环境变量指定Hadoop路径在Hive配置Spark参数上传Jar包并更换引擎测试HiveOnSpark解决依赖冲突问题前言：本篇文章在已经安装Hadoop3.3.4与Hive3
月亮给我抄代码·2023-10-30 23:27

Hive 中的 ACID 和 Transaction，事务表支持简介

Hive3Warning由Hive3之前的Hive版本创建的任何事务表都需要在每个分区上运行MajorCompaction，然后才能升级到3.0.更准确地说，自上次重大压缩以来已对其执行任何更新/删除/
高斯纯牛奶·2023-10-20 23:54

安装hive3报表信息 Unknown column ‘B0.CTLG_NAME‘ in ‘where clause‘)

Norowsaffected(0seconds)0:jdbc:mysql://hive2-meta-1.ccqa5e4vmj6e.us->/*!40101SETcharacter_set_client=utf8/Norowsaffected(0seconds)0:jdbc:mysql://hive2-meta-1.ccqa5e4vmj6e.us->CREATETABLEIFNOTEXISTSDAT
侠客刀·2023-10-20 17:18

Hadoop----Hive的使用

3.元数据的初始化，在使用在hive中执行命令，会给MySQL导入一些基本的表于hive3架构4.连接问题，有直接连接还有使用metastore进行连接，但是一般还要再
沙糖桔45·2023-10-10 12:59

Hive Hooks介绍

值得关注的是Hive目前支持MapReduce、Tez和Spark三种执行引擎，同时Hive3也会支持联邦数据查询的功能。所以Hive还是有很大进步的空间的。
叁金·2023-10-10 07:43

Hive3远程模式安装

本文环境：Hadoop3.2.2JDK1.8.0_291MySQL5.7.35Hive3.1.2一、安装Hadoop集群Hadoop集群部署参考这篇文章：《Hadoop完全分布式集群搭建详细图文教程》二、安装MySQLMySQL5.7安装参考这篇文章：《通过yum方式安装MySQL5.7》MySQL8.0安装参考这篇文章：《通过yum方式安装MySQL8.0》三、安装Hive1、上传Hive安装包
Yunis尤尼斯·2023-09-24 13:17

Hadoop生态圈中的Hive数据仓库技术

和数据库的区别四、Hive的安装部署五、Hive的基本使用六、Hive的元数据库的配置问题七、Hive的相关配置项八、Hive的基本使用方式1、Hive的命令行客户端的使用2、使用hiveserver2方法操作Hive3
Augenstern K·2023-09-10 01:46

hive3升级

文章目录一、hive2升级到hive3步骤1.备份hive2元数据库2.导入到hive3对应的hive元数据表3.更新hive_metastore数据表信息3.1需要新增的表3.2需要更新字段的表3.3
侠客刀·2023-09-07 10:15

Hive3第四章：分区表和分桶表

系列文章目录Hive3第一章：环境安装Hive3第二章：简单交互Hive3第三章：DML数据操作Hive3第三章：DML数据操作(二)Hive3第四章：分区表和分桶表文章目录系列文章目录前言一、分区表分区表
超哥--·2023-08-30 08:05

Hive3第三章：DML数据操作(二)

系列文章目录Hive3第一章：环境安装Hive3第二章：简单交互Hive3第三章：DML数据操作Hive3第三章：DML数据操作(二)文章目录系列文章目录前言一、基本查询1.创建想要的表2.全表查询3.
超哥--·2023-08-30 08:05

Hive3第三章：DML数据操作

系列文章目录Hive3第一章：环境安装Hive3第二章：简单交互Hive3第三章：DML数据操作提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录系列文章目录前言一、数据导入1.向表中装载数据
超哥--·2023-08-30 08:35

Hive3第一章：环境安装

系列文章目录Hive3第一章：环境准备文章目录系列文章目录前言一、hive3安装1.上传文件2.配置环境变量3.修复日志错误（可忽略）4.初始化元数据库二、启动hive1.启动Hadoop2.启动hive
超哥--·2023-08-30 08:34

Hive3第二章：简单交互

系列文章目录Hive3第一章：环境安装Hive3第二章：简单交互文章目录系列文章目录前言一、jdbc连接hive1.配置修改2.启动hiveserver2二、脚本封装1.编辑脚本2.运行脚本三、命令行交互
超哥--·2023-08-30 08:34

Hive3第六章：更换引擎

系列文章目录Hive3第一章：环境安装Hive3第二章：简单交互Hive3第三章：DML数据操作Hive3第三章：DML数据操作(二)Hive3第四章：分区表和分桶表Hive3第五章：函数Hive3第六章
超哥--·2023-08-30 08:59

Hive3新特性

1.执行引擎变更：TEZ不用支持缓慢过时的MapReduce了，14年测试时TEZ比ＭapReduce快100%。2.鉴权变更:RangerHive默认使用storage-basedauthorization(SBA)，HDP使用Ranger,Cloudera使用Sentry，Sentry到后面感觉复杂又不好用。不知道Hortonworks和Cloudera合并后哪个占优势。3.HDFSACLs默
clive0x·2023-08-23 13:20

Hive环境搭建（保姆级教程）

MariaDB（1）查看MariaDB安装情况（2）卸载MariaDB/MySQL（3）安装MariaDB（4）简单配置MariaDB（5）常见问题及解决2.Hive安装1)下载Hive安装包2）安装Hive3
JJustRight·2023-08-17 06:57

Hive3.1.2 适配Ranger1.2.1

Hive3的权限接口新增了getHivePolicyProvider方法，因此需要在ranger1.2.1RangerHiveAuthorizer类中实现此方法，对比了最新版本的Ranger2.x有这个方法的实现但是涉及的代码很多因此这里又参考了
ThomasgGx·2023-08-10 18:20

大数据技术之Hive3

目录标题5、DML数据操作5.1数据导入5.1.1向表中装载数据load5.1.2通过查询语句向表中插入数据insert5.1.3查询语句中创建表并加载数据5.1.4创建表时通过Location指定加载数据路径5.2数据导出5.2.1insert导出5.2.2Hadoop命令导出到本地5.3清除表中数据(Truncate)6、查询6.1注意点6.2笛卡尔积6.2.1笛卡尔积会在下面条件中产生6.3
海星？海欣！·2023-07-27 03:00

【Hive实战】Hive的事务表

HiveTransactions在升级到Hive3之前，需要把在事务表上MajorCompaction。主要是为了合并掉增量文件。
顧棟·2023-07-20 01:07

如何用Spark SQL实现多Catalog联邦查询

但是，传统的计算引擎如Hive、Spark2对多Catalog支持能力很弱，也许是受Flink、Presto（Trino）的步步紧逼，Hive3也开始支持多Catalog，但是仅限于存储层面和API层面
咬定青松·2023-07-18 10:25

[Hadoop]数据仓库基础与Apache Hive入门

基础数据仓库基本概念数据仓库概念数据仓库主要特征数据仓库主流开发语言--SQLApacheHive入门ApacheHive概述场景设计：如何模拟实现Hive功能ApacheHive架构、组件ApacheHive安装部署ApacheHive元数据Hive3
热咖啡不太冷·2023-06-14 18:02

HIVE 安装与部署（一路通畅）

Hive3安装Mysql安装卸载Centos7自带的mariadb[root@node3~]#rpm-qa|grepmariadbmariadb-libs-5.5.64-1.el7.x86_64[root
Alexander plus·2023-06-08 12:02

2、Hive：启动Hive

目录1初始化元数据库1）登陆MySQL2）新建Hive元数据库3）初始化Hive元数据库2启动Hive1）先启动hadoop集群2）启动Hive3）使用Hive4）开启另一个窗口测试开启hive3、使用
秋栗圆圆·2023-04-10 01:37

openEuler 部署 hive3

openEuler部署hive3启动Hadoop#启动hadoopstart-all.sh#检查hadoop进程jps#检查各端口netstat-aplnt|grepjava检查MySQL是否启动成功ps-aux
李昊哲小课·2023-04-09 03:38

Spark-SQL连接Hive 的五种方法

目录一、Spark-SQL是什么二、HiveandSparkSQL三、Spark-SQL特点四、Spark-SQL连接Hive1）内嵌的HIVE2）外部的HIVE3）运行Sparkbeeline4）运行
羙橘·2023-04-04 07:35

hive3编译 on tez+tez-ui配置和遇到的兼容问题与踩坑记录

框架版本号Hadoop3.1.3Hive3.1.2Tez0.10.1需要资料包的可以关注我微信公众号(最底有二维码)，回复关键字"tez"领取tez是一个Hive的运行引擎，性能优于MR。为什么优于MR呢？看下图。用Hive直接编写MR程序，假设有四个有依赖关系的MR作业，上图中，绿色是ReduceTask，云状表示写屏蔽，需要将中间结果持久化写到HDFS。Tez可以将多个有依赖的作业转换为一个作
大数据左右手·2023-03-29 07:57

一、hive的本地与远程安装

集群环境二、安装步骤1、下载hive安装包[http://www.apache.org/dyn/closer.cgi/hive/]2、上传解压到/home/hadoop目录下:/home/hadoop/hive3
starlightGeek·2023-03-14 04:27

HIVE 3 使用 MR 引擎多表关联 (JOIN) 导致丢数的问题复现、问题根源及解决方案 (附代码)

概述本文意图解决HIVE3版本中使用MR作为运算引擎进行JOIN操作时导致的丢数情况。
田同学·2023-01-31 22:19

关于hive3多表leftjoin导致数据丢失问题及解决方案

最近业务场景需要将一张大表通过name名字关联多个小表去获取他们的id,大表数据9000w,小表数据最大180w,最小30w,我以主表leftjoin的时候发现了数据丢失问题代码如下selecteid,concat_ws(',',hat_name1,hat_name2,hat_name3,hat_name4,hat_name5,hat_name6)ashat_namefrom(selectt1.e
反手摸肚皮·2022-11-30 19:41

Hive3入门至精通(基础、部署、理论、SQL、函数、运算以及性能优化)1-14章

Hive3入门至精通(基础、部署、理论、SQL、函数、运算以及性能优化)1-14章Hive3入门至精通(基础、部署、理论、SQL、函数、运算以及性能优化)1-14章Hive3入门至精通(基础、部署、理论
王亭_666·2022-11-21 18:25

Hive3 单机版(含Derby 多用户及Spark on Hive)

Hive3单机版(含Derby多用户)DerbyDBDerby是Java编写的内存数据库，https://db.apache.org/derby/它有两种运行模式：1、内嵌模式，单用户；2、网络模式，多用户
yoshubom·2022-11-20 10:36

spark sql读取hive底层_Spark-SQL读不到Hive数据库的新坑指北

背景本文讲的是spark-sql这个命令行工具读取hive数据的情况：Spark是2.3.1，HDP发行版Hive是3.1.0，HDPSparkSQL和Hive3的交互问题，用Sparksql读取处理hive
唯伟老师·2022-10-30 19:48

Hive3详细教程（八）Hive3自定义UDF函数（elipse版）

因为Hive本身是Java开发的，所以我们可以使用Java定义函数供HiveSQL使用。我们通过定义一个将输入字符串转换成反向输出的案例来探究UDF函数的自定义。在Eclipse下以添加jar包形式开发：需要:hadoop-common-3.2.0.jar（在hadoop安装文件中）、hive-exec-3.1.2.jar包（在hive安装文件中）项目结构：Java代码比较简单，实现一个字符串的反
Java朱老师·2022-10-26 07:59

Hive3详细教程（九）Hive3自定义UDF函数（IDEA Maven版）

因为Hive本身是Java开发的，所以我们可以使用Java定义函数供HiveSQL使用。我们通过定义一个将输入字符串转换成反向输出的案例来探究UDF函数的自定义。在idea中使用maven开发，项目结构如下：pom.xml:bigdatacom.alan1.0-SNAPSHOT4.0.0testHivetestHivehttp://www.example.comUTF-81.81.8org.apa
Java朱老师·2022-10-26 07:59

hive3.1decimal计算详细逻辑

本文章参考DECIMALdatatype先备注下hive2合hive3计算逻辑不一样且hive2存在bug详情见上篇文章。decimal计算中我们主要是用+-*/那么这几个计算到底是什么样呢？
cclovezbf·2022-09-21 13:03

HIVE3 深度剖析 (上篇)

#HIVE3深度剖析(上篇)大家好，我是明哥！HIVE3相对于HIVE2，差异还是很大的，为方便大家了解这些差异点以更有效地使用HIVE，接下来我会通过几篇文章，重点剖析下这些差异点。
Michael_Li·2022-06-21 16:21

【工作】Presto研究

Hive太古老了，Hive3倒是添加了很多如LLAP，TEZ引擎优化，更成熟的事务特性等，但是不方便支持第三方组件如ES，设计的StorageHa
苏柏亚的星空·2021-08-18 15:13

部署Hive3自定密码验证机制，Hadoop3配置proxy user

本文讲解部署hive3的过程中遇到的问题和解决方案一：hive的部署安装方法见Hive3整合Hadoop3的安装配置二：安装tez作为hive的计算引擎下载tez的安装包下载地址，解压到安装目录,安装指南
旋转马达·2021-06-14 23:27

2021年大数据Hive（一）：Hive基本概念

目录历史文章前言Hive基本概念一、Hive介绍1、什么是Hive2、为什么使用Hive3、Hive的特点二、Hive架构1、架构图2、基本组成3、Hive与传统数据库对比历史文章深夜凌晨女朋友问什么是数据仓库
Lansonli·2021-06-10 00:20

Hive3整合Hadoop3的安装配置

前言安装hive之前必须先安装hadoop并启动hdfs和yarn，我这边hadoop安装版本是3.2.2，$hadoopversionHadoop3.2.2SourcecoderepositoryUnknown-r7a3bc90b05f257c8ace2f76d74264906f0f7a932Compiledbyhexiaoqiaoon2021-01-03T09:26ZCompiledwithp
旋转马达·2021-06-07 03:49

spark+hdfs+hive

details/867358172启动hivehttps://blog.csdn.net/ssllkkyyaa/article/details/86527365s200启动hive$HIVE_HOME/bin/hive3
SoLucky2017·2020-09-12 07:32

Zeppelin带有Kerberos认证的Hive解释器的配置

2.zeppelin连接Hive安装配置zeppelin版本0.8.2，hive版本：3.0.02.1.安装启动hive3略2.1.配置hiveserver2如果需要配置zeppelin与hive的集成
大跃ET·2020-08-19 10:24
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他