Hive3.1.2

Hive3.1.2——企业级调优

前言本篇文章主要整理hive-3.1.2版本的企业调优经验，有误请指出~一、性能评估和优化1.1Explain查询计划使用explain命令可以分析查询计划，查看计划中的资源消耗情况，定位潜在的性能问题，并进行相应的优化。explain执行计划见文章：Hive调优——explain执行计划-CSDN博客文章浏览阅读843次，点赞18次，收藏11次。Hive调优——explain执行计划https:
爱吃辣条byte·2024-02-15 09:48

【大数据入门核心技术-Tez】（三）Tez与Hive整合

安装【大数据入门核心技术-Hadoop】（五）Hadoop3.2.1非高可用集群搭建【大数据入门核心技术-Hadoop】（六）Hadoop3.2.1高可用集群搭建【大数据入门核心技术-Hive】（三）Hive3.1.2
forest_long·2024-01-31 08:06

一文说全HiveConf类（Hive3.1.2版本）

一文说全HiveConf类（Hive3.1.2版本）作者：Eeeddieee工作中大部分时间都用到了Hive，虽然对Hive的架构、运行原理、调优方式有一定了解，但是很多都是在前人总结的基础上进行学习，
Eeeddieee·2024-01-20 13:17

数据仓库 Hive

Hive3.1.2目录Hive3.1.21、数据仓库概念1.2、传统仓库面临的挑战2、Hive简介2.1、Hive的特点2.2、Hive的优缺点2.3、Hive与Hadoop生态系统中的关系2.4、Hive
忄凝^·2023-11-25 09:48

[WSL] 安装hive3.1.2成功后, 使用datagrip连接失败

org.apache.hadoop.ipc.RemoteException:User:xxxisnotallowedtoimpersonateanonymous下载driver-hive-jdbc-3.1.2-standalone解决修改hadoop配置文件etc/hadoop/core-site.xml,加入如下配置项hadoop.proxyuser.你的用户名.hosts*hadoop.pro
言之。·2023-11-14 15:56

hive3.1.2 笔记 知识点详解(三)导出数据方式 分区表

1导出数据方式1.1exporttb_nametoHDFS_PATH1.2如果数据是普通的文本数据在shell客户端使用get下载数据hdfsdfs-get/tb_name/filehive端：hive>dfs-get/文件1.3不开启hive终端执行SQL语句hive-e"usedafault;select*fromtb_user";hive-e"select*fromtb_user">>log
z小丑八怪r·2023-11-05 16:41

Hive3.1.2 on Tez0.10.1的安装部署

一、Hive环境搭建Hive安装部署1）把apache-hive-3.1.2-bin.tar.gz上传到linux的/opt/software目录下2）解压apache-hive-3.1.2-bin.tar.gz到/opt/module/目录下面[yili@hadoop102software]$tar-zxvf/opt/software/apache-hive-3.1.2-bin.tar.gz-C
技匠三石弟弟·2023-10-19 02:56

Mac os 安装hive3.1.2及报错解决方案

一、各版本号macos:10.14Hadoop:3.2.1Hive:3.1.2mysql:8.0.18二、安装前准备（1）hadoop和hive都是用brewinstallhadoop,brewinstallhive的方式安装，因此需要先安装brew/usr/bin/ruby-e"$(curl-fsSLhttps://raw.githubusercontent.com/Homebrew/insta
luogps9·2023-10-16 23:02

【硬刚Hive】HIVE源码(6):Hive 源码 Debug 介绍

该文档是以Hive3.1.2版本作为讲解的。
王知无(import_bigdata)·2023-10-11 14:25

[FineReport]安装与使用(连接Hive3.1.2)

一、安装(对应hive3.1.2)注：服务器的和本地的要同时安装。
胖胖学编程·2023-09-28 09:46

手把手教你datart集成hive3.1.2

datart集成hive3.1.2datart中是没有hive驱动包的，需要我们自己根据hive版本，放入驱动包1.放入hive的驱动jar包cphive-jdbc-3.1.2.jar/opt/datart/lib/测试hive数据源连接，报如下错误信息2022-09-2813:34:33.756ERRORdatart.server.job.SchemaSyncJob:sourceschemasy
薛定谔的猫不吃猫粮·2023-09-25 10:39

[sqoop]hive3.1.2 hadoop3.1.1安装sqoop1.4.7

参考:Hadoop3.2.4+Hive3.1.2+sqoop1.4.7安装部署_hadoopsqoop安装_alicely07的博客-CSDN博客一、安装1、解压tar-zxvfsqoop-1.4.7.bin__hadoop-2.6.0.tar.gz  -C/home/data_warehouse/modulemvsqoop-1.4.7.bin__hadoop-2.6.0sqoop-1.4.72、
胖胖学编程·2023-09-20 05:09

Flink 离线批处理 Mysql to Hive 离线数仓

flinkmysqltohive我本地用的版本是flink1.13.2scala2.11,hive3.1.2环境配置1,source端读取mysql导入FLINK_HOME/lib,flink-connector-jdbc.jar2
aaaak_·2023-09-19 11:56

Centos7.6安装hadoop3.1.2、hive3.1.2、zookeeper3.6.2、hbase2.2.6

安装JDK1、安装JDKvi/etc/profile#解压后添加如下内容，然后关闭shell，重新打开一个新shellexportJAVA_HOME=/usr/java/jdk1.8.0_261exportPATH=$JAVA_HOME/bin:$PATHexportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar配置SSH免密登
LOYURU·2023-09-16 02:01

【hadoop运维】running beyond physical memory limits：正确配置yarn中的mapreduce内存

1.2.物理内存判断2.正确配置mapReduce内存2.1.配置map和reduce进程的物理内存：2.2.Map和Reduce进程的JVM堆大小3.小结一.问题描述在hadoop3.0.3集群上执行hive3.1.2
roman_日积跬步-终至千里·2023-09-04 00:11

hive3.1.4源码编译兼容spark3.0.0 hive on spark hadoop3.x修改源码依赖 步骤详细

使用hive3.1.2和spark3.0.0配置hiveonspark的时候，发现官方下载的hive3.1.2和spark3.0.0不兼容，hive3.1.2对应的版本是spark2.3.0，而spark3.0.0
薛定谔的猫不吃猫粮·2023-08-26 09:49

一百六十、Kettle——Linux上安装的Kettle9.2.0连接Hive3.1.2

一、目标Kettle9.2.0在Linux上安装好后，需要与Hive3.1.2数据库建立连接之前已经在本地上用kettle9.2.0连上Hive3.1.2二、各工具版本（一）kettle9.2.0kettle9.2.0
天地风雷水火山泽·2023-08-18 05:17

一百五十二、Kettle——Kettle9.3.0本地连接Hive3.1.2(踩坑，亲测有效，附截图)

一、目的由于先前使用的kettle8.2版本在Linux上安装后，创建共享资源库点击connect时页面为空，后来采用如下方法，在/opt/install/data-integration/ui/menubar.xul文件里添加如下代码共享资源库创建后又遇到任务Save时为空的问题。首先，在Windows本地安装的kettle8.2，无论有没有连接共享资源库，kettle任务都可以正常执行；其次，
天地风雷水火山泽·2023-08-15 22:26

Hive3.1.2 适配Ranger1.2.1

Hive3的权限接口新增了getHivePolicyProvider方法，因此需要在ranger1.2.1RangerHiveAuthorizer类中实现此方法，对比了最新版本的Ranger2.x有这个方法的实现但是涉及的代码很多因此这里又参考了hive本身的一些权限实现发现并没有提供此方法的实现，因此这里也是直接提供了空的实现。在RangerHiveAuthorizer类中添加如下实现(这里需要
ThomasgGx·2023-08-10 18:20

一百四十八、Kettle——Linux上安装的kettle8.2连接Hive3.1.2

一、目标kettle8.2在Linux安装好后，需要与Hive3.1.2数据库建立连接二、前提（一）在Linux已经安装好kettle并可以启动kettle（二）版本：kettle8.2.0Hive3.1.2Hadoop3.1.3
天地风雷水火山泽·2023-08-08 04:55

数据湖iceberg-day02-Hive与Iceberg整合

Hive的版本有要求，如下：操作Hive2.xHive3.1.2CREATEEXTERNALTABLE√√CREATETABLE√√DROPTABLE√√SELECT√√INSERTINTO√√这里基于Hive3.1.2
a-tao必须奥利给·2023-08-06 11:38

Hive3.1.2启动报错：SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory] Excepti

Hive3.1.2启动报错报错信息：SLF4J:Actualbindingisoftype[org.apache.logging.slf4j.Log4jLoggerFactory]Exceptioninthread
-starshine丨·2023-07-25 04:41

Hive3.1.2伪分布式安装

Hive3.1.2安装前言Hive是何物，自己去百度，在此不多bb，直接开整…学习一个组件，个人觉得最重要的是先学会安装再说，巧妇难为无米之炊撒…下载下载地址：https://downloads.apache.org
MrZhangBaby·2023-07-22 01:05

Hive安装超详细教程

Hive3.1.2安装教程前言初始准备安装Hive的具体步骤1、下载hive安装包2、解压3、添加Hive核心配置，选择远程MySQL模式4、下载连接MySQL的驱动包到hive的lib目录下5、在MySQL
笑看风云路·2023-06-14 08:44

大数据之数仓基石Hive3.1.2实战

大数据数仓基石-HiveHive3.1全解析===楼兰===文章目录一、关于Hive1、Hive是什么2、Hive的适用场景3、Hive的整体架构4、为什么要用Hive而不用关系型数据库？二、Hive安装1、下载地址与版本2、Hive安装部署实验环境安装Hive基本操作使用mysql作为hive的元数据使用JDBC连接远程Hive服务Hive配置总结三、Hive的基础使用1、Hive的数据结构2、
roykingw·2023-06-09 19:30

Kettle8.2.0连接Hive3.1.2(踩坑，亲测有效)

这是目前遇到的最简单但最头疼的安装，因为是在公司之前用过的服务器上进行安装测试，加上又使用比较新的版本，结果踩了不少坑。Kettle连接Hive这个坑，从2023年4月11日下午开始，一致到2023年4月12日中午才弄好，不得不写篇博客记录一下这段难忘的经历。真是郁闷了半天，明明就几个步骤，却搞了半天都没搞好。后来，我现在自己电脑试了一遍，成功后再在公司电脑试了一下，终于成功啦！一、版本说明ket
15-王井·2023-04-12 17:27

Flink1.10.0与Hive3.1.2集成详细步骤

背景FlinkHive集成介绍Flink集群设置本地开发调试本地开发调试提示Git相关项目本文记录了flink1.10.0与hive3.1.2集成时遇到的问题，以及解决方案。
耳边的火·2023-04-09 12:51

Centos7安装hive3.1.2

0、前提0.1、首先安装hadoop，参考：https://blog.csdn.net/fen_fen/article/details/1299710271.2、安装MySQL，例如：MySQL8,参考：https://blog.csdn.net/fen_fen/article/details/1299712141、下载hive$wgethttp://archive.apache.org/dist
fen_fen·2023-04-07 10:13

30 分钟手工搭建 HDFS + Hive 环境

hadoop3.1.3:http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz下载hive3.1.2
taojy123·2023-04-01 22:26

传统数据仓库--离线数仓逻辑和架构设计

1.架构图有空再补2.技术简介组件版本简介FLINK1.12.1分布式计算引擎HIVE3.1.2最常用的HQL数仓工具PHOENIX5.0.0HBaseSQL化查询分析工具SPARK3.0.1分布式计算引擎
北有榆树·2023-03-29 20:36

Hive架构及搭建方式

Hive架构及搭建方式[TOC]前言本文档基于hive3.1.2编写hive的基础知识基本架构整个hive由hiveserver2和hive客户端组成hive客户端有三种，beeline、使用jdbc链接
西北偏北·2023-02-18 05:43

Hudi集成Hive时的异常解决方法 java.lang.ClassNotFoundException: org.apache.hudi.hadoop.HoodieParquetInputFormat

时的异常及解决方法:java.lang.ClassNotFoundException:org.apache.hudi.hadoop.HoodieParquetInputFormat异常信息使用HiveCLI连接Hive3.1.2
田同学·2023-01-31 22:49

Hadoop 3.2.1 +Hive+Hbase伪分布式集群搭建

根据实战安装步骤，详细描述hadoop3.2.1、hive3.1.2（包括mysql5.7）、zookeeper3.6、hbase2.2.4、flume1.9.0、sqoop1.4.7各组件安装步骤,记录过程中的各种坑
Ted丶·2023-01-06 11:09

Hive自定义UDF函数

以下基于hive3.1.2版本Hive中自定义UDF函数，有两种实现方式，一是通过继承org.apache.hadoop.hive.ql.exec.UDF类实现，二是通过继承org.apache.hadoop.hive.ql.udf.generic.GenericUDF
atwdy·2022-12-19 09:36

Hive3.1.2安装指南

安装Hive3.1.2下载并解压Hive安装包sudotar-zxvf.
CHILDE Ley·2022-12-15 11:30

【大数据入门核心技术-Hive】（三）Hive3.1.2非高可用集群搭建

目录一、部署规划二、部署版本三、MySQL安装四、单机Hive安装1、下载解压2、配置环境变量3、修改配置hive-env.sh.template4、配置Metastore5、修改配置文件hive-site.xml6、mysql创建root用户密码7、运行Hive--初始化数据库五、测试1、上传数据到hdfs2、hive操作建表3、导入数据5、hive命令行下查询操作一、部署规划Hadoop3.*
forest_long·2022-12-12 09:02

【大数据入门核心技术-Hive】（四）Hive3.1.2高可用集群搭建

目录一、部署规划二、部署版本三、集群规划四、MySQL安装五、Hive安装1、下载解压2、配置环境变量3、修改配置4、metastore配置5、下载mysql驱动包6、初始化MYSQL7、分发文件8、启动metastore9、hiveserver2配置10、启动hiveserver211、连接测试一、部署规划Hadoop3.*高可用集群部署参考：https://blog.csdn.net/fore
forest_long·2022-12-12 09:02

Hive 导入Json格式化数据插件JsonSerDe（hive 3.1.2可用）

Hive导入Json格式化数据插件JsonSerDe1.官方连接https://gitee.com/mirrors_dblock/Hive-JSON-Serde2.使用实测hive3.1.2也是可以使用的使用时脚本演示
闻香识代码·2022-11-29 17:32

hive3.1.2安装 hadoop-3.2.3单机版安装

前置安装：jdk1.8和hadoop3.x.x一、hadoop-3.2.3单机版安装1.下载安装包wgethttps://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.2.3/hadoop-3.2.3.tar.gz2.解压缩tar-zxvfhadoop-3.2.3.tar.gz3.进入hadoop-3.2.3/目录下，创建文件
郎帅·2022-11-20 10:37

Hive3.1.2安装指南

Hive3.1.2安装指南1、安装Hive3.1.2首先需要下载Hive安装包文件，Hive官网下载地址#解压安装包hadoop@hadoop-master:~$sudotarxfapache-hive
退役小学生呀·2022-10-26 07:35

Hive3.1.2版本的UDF开发教程

一、UDF简介1、UDF函数:UDF（User-DefinedFunctions）即是用户定义的hive函数。hive自带的函数并不能完全满足业务需求，这时就需要我们自定义函数了。2、UDF的分类:UDF：onetoone，进来一个出去一个，rowmapping。是row级别操作，如：upper、substr函数UDAF：manytoone，进来多个出去一个，rowmapping。是row级别操作
inrgihc·2022-10-26 07:00

Hive3.1.2自带的系统函数及UDF的随系统自动注册

Hive3.1.2自带的系统函数及UDF的随系统自动注册前言之前写过一篇稿子介绍了如何使用UDF函数：https://lizhiyong.blog.csdn.net/article/details/126186377
虎鲸不是鱼·2022-10-26 07:58

Hive Metastore源码新增Thrift API方法

本文基于Hive3.1.2源码结构，社区相关教程：ApacheHiveLanguageManual-HowtoContributetoApacheHive|Docs4dev一、在hive_metastore.thrift
书忆江南·2022-09-25 10:59

Hive 上配置 Hive on Spark

上安装，此服务器之前已经安装好Hive；下载解压官网地址：http://spark.apache.org/downloads.html下载：spark-3.0.0-bin-hadoop3.2.tgz说明：Hive3.1.2
开发老张·2022-09-21 13:10

数仓4.0笔记——数仓环境搭建——Hive on Spark

1Hive环境搭建---HiveonSpark配置注意：官网下载的Hive3.1.2和Spark3.0.0默认是不兼容的。
丝丝呀·2022-08-13 18:47

八、hive3.1.2 安装及其配置（本地模式和远程模式）

目录前文hive3.1.2安装及其配置（本地模式和远程模式）1、下载hive包2、修改其环境变量3、MySQL配置Centos7MySQL安装步骤：1、设置MySQL源2、安装MySQLCommunityServer3
李好秀·2021-11-23 23:00

八、Hive3.1.2 安装及其配置（本地模式和远程模式）

文章目录前文hive3.1.2安装及其配置（本地模式和远程模式）1、下载hive包2、修改其环境变量3、MySQL配置Centos7MySQL安装步骤：**1、设置MySQL源**2、安装MySQLCommunityServer3
李好秀·2021-11-23 23:43

Hive架构及搭建方式

Hive架构及搭建方式[TOC]前言本文档基于hive3.1.2编写hive的基础知识基本架构整个hive由hiveserver2和hive客户端组成hive客户端有三种，beeline、使用jdbc链接
·2021-10-23 15:24

Hive 3.1.2安装（基于Centos7.x和Hadoop3.2.1）

Hive3.1.2安装（基于Centos7.x和Hadoop3.2.1）背景Hadoop大数据套件被应用后，进行数据处理就必须编写mapreduce代码。
闻香识代码·2020-09-11 18:13

Centos7安装hive3.1.2

hive3.1.2安装1.下载wgethttps://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz2
SyntaxError·2020-08-20 17:12
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他