HiveOnSpark

Hive调优相关总结

前言我们都知道Hive默认的执行引擎是MR，在没有对Hive执行引擎改造之前（如HDP的TEZ，HiveonSpark项目），我们对Hive的调优依然只能围绕Hive本身支持的如存储格式，压缩，参数，SQL
banana`·2020-08-14 09:27

sqoop导出的数据到sqlserver数据精度确实问题解决方案

.hive表中float类型数据在spark中计算中精度缺失；2.通过sqoop导出数据到sqlserver，hive中显示4为小数或科学记数法，sqlserver中显示科学记数法或者15为小数（使用hiveonSpark
灵佑666·2020-08-11 05:02

hive on spark 编译

前置条件说明HiveonSpark是Hive跑在Spark上，用的是Spark执行引擎，而不是MapReduce，和HiveonTez的道理一样。
iteye_6622·2020-08-07 14:31

Spark SQL源码函数解读及UDF/UDAF例子 spark研习第六集

问题：SparkSQL操作Hive和HiveonSpark一样吗？=>不一样。SparkSQL操作Hive只是把Hive当作数据仓库的来源，而计算引擎就是SparkSQ
简约AI·2020-08-03 04:17

spark集群搭建并配置hive on spark

spark安装、和hiveonspark安装配置spark和hive的版本有一定的要求,版本对应如下hive-versionspark-versionmaster2.3.03.0.x2.3.02.3.x2.0.02.2
Iwg1021767001·2020-08-01 10:10

基于Hive的学生-课程模式的SQL查询实例

参考数据库操作系统（第五版）的第三章的关系数据库标准语言SQL的中例子，对数据库的创建、插入、修改、查询功能的一个演示，在hive中创建数据库，在spark-shell中结合HiveonSpark做CURD
Michaelhbjian·2020-07-30 06:58

sparkSession访问hive，PARTITIONS表不可用

为分布式搭建hiveonspark;记录耗时最久的一个问题：太气人了2019-08-1518:53:03ERRORDatastore:115-ErrorthrownexecutingALTERTABLE
猩猩不相惜·2020-07-30 04:33

大数据SQL执行工具调研总结

下面是这几天来我对于hiveonmr/hiveonspark/impala/presto/spark-sql做的调研之后做的总结，见以下矩阵：武器库优点缺点HiveSql支持度UDF支持hiveonmr
唔系小老虎·2020-07-29 00:35

hive on spark 利用maven重新编译spark

缘由：使用hiveonspark进行hivesql操作的时候报以下错误：Failedtoexecutesparktask,withexception'org.apache.hadoop.hive.ql.metadata.HiveException
卢子墨·2020-07-28 02:30

Spark学习笔记：Spark进阶

目录Spark进阶一.在Sparkshell中使用不同的数据源1.通用Load/Save函数2.掌握Parquet文件3.SparkSQLJDBC4.HiveOnSpark二.SparkSQL开发三.SparkSQL
SetsunaMeow·2020-07-28 02:29

Spark SQL简介

从Shark说起Shark即HiveonSpark，为了实现与Hive兼容，Shark在HiveQL方面重用了Hive中的HiveQL解析、逻辑执行计划翻
tracy_668·2020-07-27 09:33

spark sql源码浅析

分析内容：sparksql执行流程;hiveonspark和hiveonhadoop的比较；sparksql执行流程分析首先我们来分析下sql的通用执行过程：比如说：selectn1,n2,n3fromtableNwheren1
yixl·2020-07-16 05:35

大数据Spark企业级实战版【学习笔记】----Spark Shark& Spark SQL

4.SparkSharkShark即HiveonSpark，本质上是通过Hive的HQL解析，Shark在Spark1.0.0由于整合度和性能等原因，已被Spark官方团队停止开发。
WEL测试·2020-07-15 23:00

hive on spark 出现的FAILED: IllegalArgumentException java.net.URISyntaxException问题

今天在整合hiveonspark的时候，出现一个小的问题，进行命令：showdatabases或者showtables时出现如下问题，FAILED:IllegalArgumentExceptionjava.net.URISyntaxException
ChrisYANG23521·2020-07-15 14:49

Spark SQL入门基础

SparkSQL简介###从Shark说起Shark即hiveonSpark,为了实现与Hive兼容，Shark在HiveQL方面重用了Hive中HiveQL的解析、逻辑执行计划、翻译执行计划优化等逻辑
zxc123e·2020-07-15 13:36

[flow]Impala～实时离线统一的较好解决方案

HiveonSpark能够降低Hive的延迟，但是还是达不到交互式BI查询的需求。目前交互式BI查询最好的选择是Impala。
葡萄喃喃呓语·2020-07-14 02:02

Hive引擎替换为Spark（Hive on Spark）

Hive引擎替换为Spark（HiveonSpark）1、背景2、Hive引擎选择3、三种引擎如何切换引擎？
Ethan130·2020-07-10 10:40

Spark SQL概述

HiveSQL查询的MapReduce作业转化过程：输入将SQL转换成抽象语法树将抽象语法树转换成查询块将查询块转换成逻辑查询计划重写逻辑查询计划将逻辑查询计划转成物理计划选择最佳的优化查询策略输出Shark：即HiveonSpark
夕阳惜夏·2020-07-08 19:52

基于CDH 5.9.1 搭建 Hive on Spark 及相关配置和调优

通过搭建一个HiveOnSpark可以修改Hive底层的计算引擎，将MapReduce替换成Spark，从而大幅度提升计算速度。接下来就如何搭建HiveOnSpark展开描述。注：本人使用的是CDH
weixin_30954607·2020-07-08 15:10

CDH-hive的引擎换为spark：hive on spark

一、srcapache的hiveonspark和cdh的hiveonspark完全不同，前者有严格的版本对应关系，比如hive1.1只能用spark1.2，2.2只能用spark1.6。
zdkdchao·2020-07-07 22:45

cdh6.3.2上Hive on Spark模式下hive无法使用JsonSerDe问题

昨晚群内网友创建hive外部表（图一）后查询（HiveonSpark模式）便报错（图二）：而我在cdh6.3.2上初次尝试建JsonSerDe外部表（参考：hive中创建hive-json格式的表及查询
benpaodexiaowoniu·2020-07-07 04:33

Hive with Spark 实战

HivewithSpark"的，因为本文着重点在于阐述Hive与Spark的关系，并提供了在不改变当前已有的Spark、Hive、Hadoop系统的情况下打通各系统的调用方式，方便系统过渡，最后给出升级到HiveonSpark
VIPSHOP_FCS·2020-07-06 15:45

hive on spark 遇到的坑

装了一个多星期的hiveonspark遇到了许多坑。还是写一篇随笔，免得以后自己忘记了。同事也给我一样苦逼的人参考。
seagle01·2020-07-06 11:50

hive on spark（yarn）安装部署

〇、说明HDFS+spark+hive的测试环境之前单独搭建成功了，后来需要使用hiveonspark才发现需要重新配置。查看了很多参考文章，包括官网上的教程，一路摸索着，总算是成功了。
三石君1991·2020-07-06 05:15

Hive on Spark安装配置详解（都是坑啊）

个人主页：http://www.linbingdong.com简书地址：http://www.jianshu.com/p/a7f75b868568简介本文主要记录如何安装配置HiveonSpark，在执行以下步骤之前
weixin_33686714·2020-07-05 22:28

戳破 | hive on spark 调优点

微信交流群里有人问浪尖hiveonspark如何调优，当时浪尖时间忙没时间回答，这里就给出一篇文章详细聊聊。强调一下资源设置调优，这个强经验性质的，这里给出的数值比例仅供参考。
大数据星球-浪尖·2020-07-05 11:13

hive on spark

hiveonSpark一.配置1.hive回顾1.1hive简介1.2yum设置&命令（Centos7）1.3hive安装1.5注意问题1.6hive测试1.7spark配置1.8读取hive数据二.hive
飛翔的大雁·2020-07-05 10:33

Hive on Spark踩坑记

本文是我搭建HiveonSpark的一些经历，包括踩的各种坑，记录一下首先说一下本人为什么要搭建HiveonSpark呢？
DeathGXD·2020-07-04 16:45

Hive on Spark 搭建过程(hvie-2.3.6 spark-2.4.4 hadoop-2.8.5)

HiveOnSpark官方教程注意，一般来说hive版本需要与spark版本对应，官网有给出对应版本。这里使用的hive版本，spark版本，hadoop版本都没有使用官方推荐。
TMH_ITBOY·2020-07-04 06:45

秋名山老司机从上车到翻车的悲痛经历，带你深刻了解什么是 Spark on Hive！| 原力计划...

上车前需知Sparkonhive与hiveonspark的区别1.Sparkonhive是spark通过Spark-SQL使用hive语句，操作hive,底层运行的还是sparkrdd。
CSDN资讯·2020-07-01 02:51

Hive进阶-深入解析Hive底层实现 - Distinct 的底层实现

有空的话其实可以分析它在hiveonspark的底层实现是怎么样的分析语句准备数据计算过程OperatorExplain分析语句SELECTcount,COUNT(DISTINCTuid)FROMlogsGROUPBYcount
左VJ·2020-06-30 19:47

Hive-On-Spark

1HiveOnSpark简介HiveOnSpark（跟hive没太大的关系，就是使用了hive的标准（HQL，元数据库、UDF、序列化、反序列化机制））Hive原来的计算模型是MR,有点慢（将中间结果写入到
大数据私房菜·2020-06-30 19:48

Flink 1.10 和 Hive 3.0 性能对比（附 Demo 演示 PPT）

常见的计算引擎有HiveonMapReduce、HiveonTez、HiveonSpark、SparkintegrateHive、PrestointegrateHive，还有随着Flink1.10发布后生产可用的
Ververica·2020-06-29 14:47

SparkSQL

Shark即HiveonSpark，本质上是通过Hive的HQL解析，把HQL翻译成Spark上
weixin_40652340·2020-06-29 00:22

大数据利用hive on spark程序操作hive

hiveonspark作者：小涛Hive是数据仓库，他是处理有结构化的数据，当数据没有结构化时hive就无法导入数据，而它也是远行在mr程序之上的基于磁盘计算，然而我们今天来让hive远行在spark上
TTT424·2020-06-28 23:13

##主流SQL on Hadoop框架选择

24/2825293着眼当下的SQLonHadoop产品，最吸引人的无疑是下面几个：Hive系的HiveonTez，也就是我们经常说的Stinger；Spark系的SparkSQL/DataFrame；HiveonSpark
葡萄喃喃呓语·2020-06-28 18:08

hive on spark执行速度慢

星环hiveonspark执行速度慢因为task的启动数量是根据hdfs底层的block数量来定，在block数据量偏少的情况下，单个任务运行的时间就少，那么任务开启的开销很可能占据总开销的大量比例。
weixin_34032827·2020-06-28 10:10

Hive on Spark调优

之前在HiveonSpark跑TPCx-BB测试时，100g的数据量要跑十几个小时，一看CPU和内存的监控，发现POWER_TEST阶段（依次执行30个查询）CPU只用了百分之十几，也就是没有把整个集群的性能利用起来
听见下雨的声音hb·2020-06-26 21:34

第70课:SparkSQL内置函数解密与实战学习笔记

问题：SparkSQL操作Hive和Hiveonspark一样吗？=>不一样。SparkSQL操作Hive只是把Hi
梦飞天·2020-06-26 13:46

Hive on Spark参数调优小结

前言HiveonSpark是指使用Spark替代传统MapReduce作为Hive的执行引擎，在HIVE-7292提出。
LittleMagics·2020-06-24 16:04

hive的调优策略

hive有时执行速度很慢，若hiveonspark的话，在sparkUI上可以清楚看到是否数据倾斜优化方法：1、增加reduce数目hive.exec.reducers.bytes.per.reducer
dretrtg·2020-04-20 20:00

spark1.2源码编译

要搞hiveonspark。。。
GK_Coder·2020-03-27 13:52

Spark on Hive-derby数据库-thriftserver-多客户端使用

首先，要明确sparkonhive和hiveonspark的区别。--sparkonhive：是spark通过spark-sql使用hive语句操作hive，底层运行的还是sparkrdd。
铁虫_bcde·2020-03-26 10:05

SparkSQL与Hive on Spark的比较

SparkSQL与HiveonSpark的比较-在路上的学习者-博客频道-CSDN.NEThttp://blog.csdn.net/yeruby/article/details/51448188简要介绍了
葡萄喃喃呓语·2020-03-25 06:52

Hive on Spark调优

之前在HiveonSpark跑TPCx-BB测试时，100g的数据量要跑十几个小时，一看CPU和内存的监控，发现POWER_TEST阶段（依次执行30个查询）CPU只用了百分之十几，也就是没有把整个集群的性能利用起来
Jeffbond·2020-03-17 01:41

09.Hive介绍与环境搭建

Hive适用场景基于Hadoop的离线数据分析（Hive,SparkOnHive,HiveOnSpark）Hive不适用场景Hive不适用当做关系型数据库使
伊落·2020-03-13 19:57

Flink 1.10 和 Hive 3.0 性能对比（附 Demo 演示 PPT）

常见的计算引擎有HiveonMapReduce、HiveonTez、HiveonSpark、SparkintegrateHive、PrestointegrateHive，还有随着Flink1.10发布后生产可用的
ApacheFlink·2020-02-21 22:44

Spark SQL 使用指北

从Shark说起Shark即HiveonSpark，为了实现与Hive兼容，Shark重用了Hive中的HiveQL解析，以近似认为仅从MapRed
博弈史密斯·2019-12-31 00:51

Hive on Spark安装配置详解及避坑指南

个人主页：http://www.linbingdong.com简介本文主要记录如何安装配置HiveonSpark，在执行以下步骤之前，请先确保已经安装Hadoop集群，Hive，MySQL，JDK，Scala
Jeffbond·2019-12-28 01:09

hive on spark总体设计

http://www.csdn.net/article/2015-04-24/2824545HIveonspark总体设计思路，尽可能重用Hive逻辑层面的功能；从省城物理计划开始，提供一整套针对spark
snail_knight·2019-12-22 20:41
上一页 1 2 3 4 5 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他