HiveOnSpark

Spark3每个job之间任务间隔过长

Spark3比CDH的hiveonspark2.4.0要快不少。AQE和CBO真的挺强的。但是使用中发现了一个很奇怪的事情。这个问题在网上搜过，并没有实际解决。
黑眼圈@~@·2023-03-30 02:28

Hive on Spark配置

1.版本兼容HiveonSpark仅使用特定版本的Spark进行测试，因此只能确保给定版本的Hive与特定版本的Spark一起使用。其他版本的Spark可能与给定版本的Hive一起使用，但这不能保证。
fantasticMao·2023-03-19 16:14

Spark SQL之：概述及操作应用

概述及操作应用一、SparkSQL概述二、DataFrame三、RDD转换为DataFrame四、SparkSQL和数据库的应用一、SparkSQL概述了解Shark(1)从shark说起  shark即HiveOnSpark
落落free·2023-03-15 08:47

【离线数仓-5-数据仓库环境准备】

离线数仓-5-数据仓库环境准备离线数仓-5-数据仓库环境准备1.数据仓库运行环境1.Hive环境搭建1.Hive引擎2.HiveonSpark配置2.Yarn环境配置2.数据仓库开发环境3.模拟数据准备离线数仓
Apache Minor Trend·2023-02-24 18:28

【Hive任务优化】—— Map、Reduce数量调整

https://blog.csdn.net/u013332124/article/details/97373278以下的内容都是基于hiveonspark来讲解的，不过大部分概念都是互通的，也可以应用到
疯狂的哈丘·2023-01-26 02:33

离线数仓07—— 数据仓库设计

数据仓库构建流程5.2.1数据调研5.2.2明确数据域5.2.3构建业务总线矩阵5.2.4明确统计指标5.2.5维度模型设计5.2.6汇总模型设计上一篇：离线数仓06——数据仓库建模概述下一篇：离线数仓08——配置HiveonSpark
就是这个范~·2022-12-31 16:38

Hive配置Spark计算引擎，速度快！

1.2HiveonSpark配置1）兼容性说明注
子清.·2022-12-29 13:39

SparkSQL-----各种方式加载DataFrame

HiveonSpark：Hive即作为存储又负责sql的解析优化
计算机界的小学生·2022-12-18 19:16

Spark on Hive & Hive on Spark，傻傻分不清楚

上车前需知Sparkonhive与HiveonSpark的区别SparkonhiveSpark通过Spark-SQL使用hive语句,操作hive,底层运行的还是sparkrdd。
王知无(import_bigdata)·2022-11-20 10:42

spark on hive 和 hive on spark

就是通过saprksql,加载hive配置文件，获取hive的元数据信息sparksql获取到hive的元数据信息之后就可以拿到hive的所有表的数据接下来就可以通过sparksql来操作hive表中的数据hiveonspark
qq_42915325·2022-11-20 10:11

SparkSQL基础

JSON文件获取数据；组件扩展：SQL语法解析器、分析器、优化器均可重新定义；性能优化：内存列存储、动态字节码生成等优化技术，内存缓存数据；多语言支持：Scala、Java、Python；Shark即HiveonSpark
Ta-ttoo·2022-11-01 10:14

Spark SQL与Hive on Spark的比较

简要介绍了SparkSQL与HiveonSpark的区别与联系一、关于Spark简介在Hadoop的整个生态系统中，Spark和MapReduce在同一个层级，即主要解决分布式计算框架的问题。
weixin_42073629·2022-11-01 10:14

hive on spark 配置 和 spark on hive

HiveonSpark配置1）兼容性说明注意：官网下载
GOD_WAR·2022-09-21 13:10

【hive on spark】hive on spark任务报错Connection to remote Spark driver was lost

记一次hiveonspark任务运行过程中报错ConnectiontoremoteSparkdriverwaslost报错信息如下：org.apache.hive.service.cli.HiveSQLException
骑蜗牛追大象·2022-09-21 13:10

Hive 上配置 Hive on Spark

Hive的安装配置见：Hive安装配置在Hive上配置HiveonSpark安装在服务器ns1上安装，此服务器之前已经安装好Hive；下载解压官网地址：http://spark.apache.org/downloads.html
开发老张·2022-09-21 13:10

spark安装以及hive on spark和spark on hive 的配置

spark安装以及hiveonspark和sparkonhive的配置1.上传并解压安装包：tar-zxvfspark-3.2.1-bin-hadoop3.2-scala2.13.tgz-C/export
独孤雨鸿·2022-09-21 13:38

hive报错 spark_hive on spark 错误解决

Hiveonspark错误解决1.环境Hive2.0.0Hadoop-2.6.3Spark-1.5Scala2.10.42.步骤2.1.将spark进行编译打包：.
weixin_39637723·2022-09-21 13:07

Hive on Spark配置

2.HiveonSpark配置1）兼容性说明注意：
曾牛·2022-09-21 13:35

Hive On Spark搭建报错：Failed to create Spark client for Spark session xx: ..TimeoutException

错误描述按照官方文档，搭建HiveOnSpark时，出现以下错误。
桥路丶·2022-09-07 20:46

CDH开启sentry后hive on spark报错： Failed to create Spark client for Spark session

cdh开启sentry之后，hiveonspark报错，网上的方法试了一遍都没有解决我的问题，经过一番摸索，最终解决。
qiangzi_lg·2022-09-07 20:44

记录hiveonspark:Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask

问题描述：在部署hiveonspark，测试时报错，执行建表操作成功，但是插入insert出现以下错误：Failedtoexecutesparktask,withexception‘org.apache.hadoop.hive.ql.metadata.HiveException
FunnyPrince_·2022-09-07 20:58

数仓4.0笔记——数仓环境搭建——Hive on Spark

1Hive环境搭建---HiveonSpark配置注意：官网下载的Hive3.1.2和Spark3.0.0默认是不兼容的。
丝丝呀·2022-08-13 18:47

【尚硅谷】电商数仓V4.0丨大数据数据仓库项目实战【学习记录】第一节

1.为什么用hiveonspark来处理数据？2.什么是零点漂移问题，怎么解决？3.事实表有哪几类？4.维度建模的四个过程？5.hive在装载dim后，会出现为null值的一行，为什么？
在学习的王哈哈·2022-08-05 14:31

Hive 整合 Spark 全教程 （Hive on Spark）

文章目录Hive引擎简介环境配置（ssh已经搭好）JDK准备Hadoop准备部署配置集群配置历史服务器配置日志的聚集启动集群LZO压缩配置Hadoop3.x端口号总结MySQL准备Hive准备Spark准备HiveonSpark
Alienware^·2022-07-11 13:38

详解Hive on Spark配置

HiveonSpark配置Hive引擎默认的是MapReduce，就是没执行一个Hive语句，其实都是运行了一个MR程序，都知道的，MR虽好，但是慢呢。
牧码文·2022-07-11 13:38

解决Hive on Spark与Spark on Hive之间表数据不互通问题

解决HiveonSpark与SparkonHive之间表数据不互通问题问题描述通过Ambari2.7.5安装HDP3.1.5集群后，spark-sql和hive虽然已经实现了整合，无论在hive还是spark-sql
勇远有李·2022-07-11 13:07

漫谈大数据 - Spark on Hive & Hive on Spark

目录Sparkonhive与HiveonSpark的区别Hive查询流程及原理Hive将SQL转成MapReduce执行速度慢HiveOnSpark优化Hive元数据库的功能Hive开启MetaStore
昊昊该干饭了·2022-07-11 13:06

HIVE 生成过多小文件的问题

生成大量小文件小文件的危害为什么会生成多个小文件不同的数据加载方式生成文件的区别解决小文件过多的问题今天运维人员突然发来了告警，有一张表生成的小文件太多，很疑惑，然后排查记录了下HIVE的版本2.x，使用的引擎是MR；注意：HIVEONSPARK
半吊子Kyle·2022-07-11 13:34

Spark15：Spark SQL：DataFrame常见算子操作、DataFrame的sql操作、RDD转换为DataFrame、load和save操作、SaveMode、内置函数

一、SparkSQLSparkSQL和我们之前讲Hive的时候说的hiveonspark是不一样的。hiveonspark是表示把底层的mapreduce引擎替换为spark引擎。
SRE菜鸟的成长之路·2022-06-16 01:21

hive 和 spark的爱恨情仇恩怨交织

最近在面试一些应聘大数据岗位的技术小伙伴时，发现不少朋友对业界所谓的hiveonspark和sparkonhive分不太清楚；同时在日常工作中，也因为对这两个技术术语的理解不太一致，影响了进一步的技术交流
明哥的IT随笔·2022-05-28 07:53

大数据Hadoop之——Spark on Hive 和 Hive on Spark的区别与实现

一、SparkonHive和HiveonSpark的区别1）SparkonHiveSparkonHive是Hive只作为存储角色，Spark负责sql解析优化，执行。
大数据老司机·2022-04-30 08:44

SparkSql概念总结

SparkSql目录SparkSql1、SparkonHive和HiveonSpark2、DataFrame和DataSet3、SparkSql底层架构4、什么是谓词下推？
每日小新·2022-03-02 07:14

Spark之没什么卵用笔记1之Spark SQL背景

SparkSQL的前身是Shark,又叫"HiveOnSpark"。Shark通过将hiveSQL转换成RDD的代码，运行在Spark上。
没什么卵用的杂鱼·2022-02-18 12:07

Spark综合学习笔记（二十七）SparkSQL整合Hive-1 SparkSQL命令行

p=64)HiveOnSpark和SparkOnHive·HiveOnSpark:SparkSql诞生之前的Shark项目使用的，是把Hive的执行引擎换成Spark,剩下的使用Hive的，严重依赖Hi
斯特凡今天也很帅·2021-11-30 17:58

hive on spark参数调整

HiveonSpark是指使用Spark替代传统MapReduce作为Hive的执行引擎，在HIVE-7292提出。
·2021-11-02 11:44

Apache hive 3.1.2从单机到高可用部署 HiveServer2高可用 Metastore高可用 hive on spark hiveserver2 web UI 高可用集群启动脚本

后面配置hiveonspark可以使用spark2.3.0。而spark2.3.0对应的hadoop版本是2.x。重新编译，参考本人写的另一篇文章hive3.1.4
薛定谔的猫不吃猫粮·2021-05-21 16:59

hive on spark 参数设置

hiveonspark相关参数设置#设置计算引擎sethive.execution.engine=spark;#设置spark提交模式setspark.master=yarn-cluster;#设置作业提交队列
上官沐雪·2021-05-08 14:43

大数据开发之Hive篇20-Hive的高级特性

备注:Hive版本2.1.1文章目录一.HiveACIDandTransactions二.HiveonTez三.HiveonSpark四.HCatalog参考这个blog介绍Hive的高级特性1）HiveACIDandTransactions2
只是甲·2021-01-18 09:57

hive on spark参数配置

hiveonSpark参数：setspark.master=yarn-cluster;#设置spark提交模式sethive.execution.engine=spark;#设置计算引擎setspark.yarn.queue
weiha666·2020-09-14 11:23

Hive on Spark参数调优姿势小结

前言HiveonSpark是指使用Spark替代传统MapReduce作为Hive的执行引擎，在HIVE-7292提出。
大数据星球-浪尖·2020-09-12 16:30

hive使用spark引擎的几种情况

使用spark引擎查询hive有以下几种方式：1>使用spark-sql(sparksqlcli)2>使用spark-thrift提交查询sql3>使用hiveonspark(即hive本身设置执行引擎为
weixin_30275415·2020-09-11 04:26

Spark on hive 与 Hive on spark 的区别

读了百度上的一些关于Sparkonhive与HiveonSpark的区别的文章，感觉理解太复杂，自己总结一下SparkonHive：数据源是：hiveSpark获取hive中的数据，然后进行SparkSQL
适合不合适·2020-09-11 03:49

Hive on Spark 与Spark SQL比较

HiveonSpark与SparkSQL比较背景HiveonSpark是由Cloudera发起，由Intel、MapR等公司共同参与的开源项目，其目的是把Spark作为Hive的一个计算引擎，将Hive
吉阿·2020-09-10 23:14

Hive on Spark 运行于Yarn模式下如何调优

Hiveonspark性能远比hiveonmr要好，而且提供了一样的功能。用户的sql无需修改就可以直接运行于hiveonspark。udf函数也是全部支持。
大数据技术架构·2020-08-24 16:29

升级CDH到5.7.0

Spark升级到1.6.0，支持hiveonspark各服务版本:ComponentPackageVersion
大数据部·2020-08-24 12:11

配置hive on spark后启动报错

因为hive底层用的执行引擎是MapReduce，所以导致了运行起来非常慢，所以我们要更换执行引擎，就有了hiveonspark，基于hive的基础上将执行引擎换成spark版本：hive3.1.2spark3.0.0
一过人_·2020-08-22 17:36

Hadoop版本升级（2.7.6 => 3.1.2）

自己的主机上的Hadoop版本是2.7.6，是测试用的伪分布式Hadoop，在前段时间部署了HiveonSpark，但由于没有做好功课，导致了Hive无法正常启动，原因在于Hive3.x版本不适配Hadoop2
aju1790·2020-08-21 13:25

SparkSQL基础

2、Shark即HiveonSpark，本质上是通过Hive的HQL解析，把HQL翻译成Spark上的RDD操作，然后通过Hive的metadata获取数据库里的表信息，实际HDFS上的数据
Z尽际·2020-08-21 12:04

spark2.3.0 without hive 编译

搭建Hiveonspark环境--Spark编译https://cwiki.apache.org/confluence/display/Hive/Hive+on+Spark:+Getting+Started
大罗北·2020-08-18 11:07

【Spark篇】---SparkSQL on Hive的配置和使用

二、具体配置1、在Spark客户端配置HiveOnSpark在Spark客户端安装包下spark-1.6.0/conf中创建文件hive-site.xml：配置hive的metastore路径hive.metastore.uristhrift
L先生AI课堂·2020-08-18 10:06
上一页 1 2 3 4 5 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他