HiveOnSpark

Hive on spark的架构与解析SQL的过程

一、Hiveonspark的基本架构/1.Hive的架构Hive架构Hive的整体架构可以分成以下几大部分：用户接口支持CLI,JDBC和WebUIDriverDriver负责将用户指令翻译转换成为相应的
ZYJ2016·2019-12-20 20:09

spark sql快速入门

常用的sql查询引擎hive，impala，hiveonspark，presto（京东），drill（支持hdfs，hive），phoenix（hbase）存储格式orc（列式存储，Zlib压缩，侧重压缩率
松松土_0b13·2019-12-01 17:19

hive on spark的时候，如何做到hive的spark任务也支持动态分配（已解决）

需求：比如:在hive里面写了：selectcount(*)fromtest这样的一个任务,运行模式是hiveonspark,但是用户就只关心写这个任务就行，至于这个任务需要几个executor，如何实现靠
卢子墨·2019-10-17 12:14

【Hive任务优化】—— 小文件合并相关参数

文章目录一、Hive提供的文件合并功能hive文件合并的实现原理二、文件合并在HiveonSpark中的失效问题解决方案三、开启文件合并的优缺点一、Hive提供的文件合并功能熟悉hdfs的都知道，hdfs
疯狂哈丘·2019-08-31 21:38

伪分布式Spark + Hive on Spark搭建

HiveonSpark是Hive跑在Spark上，用的是Spark执行引擎，而不是默认的MapReduce。可以查阅官网的资源HiveonSpark:GettingS
buildings·2019-08-10 20:00

Hadoop版本升级（2.7.6 => 3.1.2）

自己的主机上的Hadoop版本是2.7.6，是测试用的伪分布式Hadoop，在前段时间部署了HiveonSpark，但由于没有做好功课，导致了Hive无法正常启动，原因在于Hive3.x版本不适配Hadoop2
buildings·2019-08-09 22:00

Hive-函数篇

Hive默认计算模型是MapperReduce，将hql转换成MR任务进行计算；在Hive中还有HiveonSpark的模式，这里仅做了解。
Monstar_L·2019-06-10 23:52

Spark入门梳理3-Spark数据结构

1.2DataFrame与RDD的区别1.3DataFrame的创建1.4从RDD转换得到DataFrame1.4.1利用反射机推断RDD模式Spark编程基础-搭配Jupyter1.1SparkSQL简介Spark即HiveonSpark
Jolahua·2019-05-19 23:27

Spark好文推荐

（BackPressure）机制介绍一文读懂Spark和SparkStreamingSparkStreaming2.1.0ProgrammingGuide个人理解与翻译1.2SparkSqlHive/HiveonSpark
迷路剑客·2019-04-17 00:00

hive on spark 修改application name

基于spark引擎的hive，在hive客户端中提交查询sql后，在yarn管理界面，或者8088界面，看到的作业名称都是"hiveonspark"，如下图所示，如果有多个脚本同时在运行时，就不好分辨。
周小科·2019-04-08 12:31

Hive on Tez

Hive2.3.4onTez0.8.4(Hadoop2.7.7)一.软件版本选择HiveonTez和HiveonSpark对各自的版本匹配非常严格。
__Simon'·2019-03-25 12:26

【大数据】【Spark】SparkSQL

一前言1.hive可以跑在spark或者mapreduce上面,hiveonspark和sparkSQL并非一个概念,它们俩SQL引擎不同，但是计算引擎都是spark，hive和sparkSQL都不负责计算
菜丸子·2019-02-19 00:52

Hive on spark日志打印问题总结（任务执行进度的透明化）

一：问题hiveonspark中，当切到spark计算引擎的时候发现打印的日志不全，默认的日志只到下图就结束了对比之前mapreduce的日志我们可以很容易的发现MR日志有很详细的进度，用户可以通过查看这个
小郭飞飞刀的博客·2019-01-22 16:19

第四天 -- Accumulator累加器 -- Spark SQL -- DataFrame -- Hive on Spark

第四天–Accumulator累加器–SparkSQL–DataFrame–HiveonSpark文章目录第四天--Accumulator累加器--SparkSQL--DataFrame--HiveonSpark
Eva.努力学习·2018-11-23 01:38

hive 常用知识点

用法字段变更添加字段删除字段hive-1.2.1支持`insert,update,delete`的配置hive表中的锁基本知识导入数据到hive表load命令orc格式表map,reduce知识hive优化hiveonspark
ikeguang·2018-11-04 21:02

Hive on Spark调优

之前在HiveonSpark跑TPCx-BB测试时，100g的数据量要跑十几个小时，一看CPU和内存的监控，发现POWER_TEST阶段（依次执行30个查询）CPU只用了百分之十几，也就是没有把整个集群的性能利用起来
Ebaugh·2018-10-31 14:29

Spark项目学习-慕课网日志分析-days2-Spark SQL

为什么需要SQL1）事实上的标准2）简单易学Hive：类似于sql的HiveQL语言sql==>mapreduce特点：基于mapreduce改进：基于tezsparkSpark：分布式的基于内存的计算框架hiveonspark
canglan211·2018-10-06 20:46

关于大数据的两个大分支

groupedbycomponent:ApacheAccumuloApacheAvroApacheCrunchApacheFlumeApacheHadoopApacheHBaseApacheHive/HiveonSpark
cnhome·2018-09-29 13:31

Spark系列3 - Spark SQL

1从Shark到SparkSQLSparkSQL的前生是Shark，即HiveonSpark。
guoxiaojie_415·2018-09-28 18:46

Spark系列3 - Spark SQL

1从Shark到SparkSQLSparkSQL的前生是Shark，即HiveonSpark。
georgeguo·2018-09-23 16:38

hive on spark

hiveonspark是hive使用spark作为它的执行引擎。
koushr·2018-09-02 19:00

spark-sql执行hivesql

我们执行hive命令一般都是hive-e'select*fromxx'或者hive-f/home/hadoop/xx.hql-ddt=2018-01-01但是hive底层使用mr执行速度实在不忍直视，安装hiveonspark
大灰狼学编程·2018-08-27 14:02

基于CDH版本5.13.3实现原生版Spark集群及问题记录

5.13.3实现Spark集群1.安装背景由于部门及已上项目使用的是CDH版本大数据平台，为了充分更好使用Spark集群Spark引擎运算，解决基于CDH版本下可支持3种大数据运算分析方式HiveonMR、HiveonSpark
Darren_tan·2018-06-29 10:27

[Hive]-常规优化以及执行计划解析

原文链接：http://www.cnblogs.com/NightPxy/p/9230253.html1.HiveSQL优化1.1中心思想这里以HiveOnMapReduce为例,HiveOnSpark
weixin_30875157·2018-06-26 17:00

spark sql集成hive步骤

SPARKONHIVE：让sparksql通过sql的方式去读取hive当中的数据HIVEONSPARK：让hive的计算引擎由MapReduce改为SPARK1、先按官网的参考代码，构建valconf
程序猿不加班·2018-05-13 16:55

Spark SQL入门

1、SQL结合spark有两条线：SparkSQL和HiveonSpark（还在开发状态，不稳定，暂时不建议使用）。
Mr_249·2018-03-31 20:50

Hive搭建和使用遇到的坑--基本配置

对以后的sparkonhive和hiveonspark都有关系所以请严格参照cloudera的CDH版本对照表，大神无视啦~~~并不是越新就肯定越好，具体看公司上层的决定最好能所有集群同步一个
H_crab·2018-03-29 23:06

Hive的优化历程

对于将数据存储在Hive，进行了以下的优化:1,Hive的引擎目前为止有三种，分别为MR,TEZ,SPRAK.由于公司用的是Hive1.2.1,spark是老版本1.6.2,我查了hiveonspark
Tardis1·2018-03-09 23:26

window下hive的安装

实际上，Hive还可以使用Tez和Spark作为其执行引擎，分别为HiveonTez和HiveonSpark。
数据架构师·2018-03-03 21:48

【Spark篇】---SparkSQL on Hive的配置和使用

二、具体配置1、在Spark客户端配置HiveOnSpark在Spark客户端安装包下spark-1.6.0/conf中创建文件hive-site.xml：配置hive的metastore路径hive.metastore.uristhrift
L先生AI课堂·2018-02-09 16:26

Hive on Spark配置

@2016-05-30修改HIVE_HOMEconfhive-sitexml添加spark-assembly包额外添加几个jar包附编译spark-assembly包HiveonSpark，基于Spark
Mars_myCafe·2018-01-22 19:21

Hive on Spark源码分析

1、HiveonSpark基本原理1.1运行模式在之前的HiveonSpark原理的文档中已经对HiveonSpark的运行流程进行了分析：HiveonSpark支持两种运行模式，本地（local）和远程
lcjasas·2017-12-18 15:37

hive on te,mr,spark性能测试

组件版本hadoop集群hive2.1.1hiveonspark1.6.3tez0.8.5数据准备创建report.data_security_lab，表结构与阳泉集群相同CREATEEXTERNALTABLE
houzhizhen·2017-12-13 16:45

Configuring Hive On Spark

Hive默认的执行引擎是Hadoop提供的MapReduce，而MapReduce的缺点是读写磁盘太多，为了提高Hive执行某些SQL的效率，有必要将Hive的执行引擎替换为Spark，这就是HiveOnSpark
candon123·2017-12-07 20:31

spark-sql(一)---cli模式

spark-sqlspark-sql是spark+hive的结合，和hiveonspark非常相似，但实现不一样。
敲码的汉子·2017-11-28 11:23

hive on spark 动态解决小文件太多的办法

后来想到用hiveonspark的方式处理。底层不再使用MapReduce进行计算，避免shuffle引起的大量读写硬盘和rpc网络拷贝带来的性能底下问题，程序效率有了明显提高。
Yano阳·2017-11-27 15:01

hive on spark安装(hive2.3 spark2.1)

简介之前有写过hiveonspark的一个文档，hive版本为2.0，spark版本为1.5。spark升级到2.0后，性能有所提升，程序文件的编排也和之前不一样，这里再更新一个最新的部署方式。
敲码的汉子·2017-11-01 18:08

hive on spark安装(hive2.3 spark2.1)

简介之前有写过hiveonspark的一个文档，hive版本为2.0，spark版本为1.5。spark升级到2.0后，性能有所提升，程序文件的编排也和之前不一样，这里再更新一个最新的部署方式。
敲码的汉子·2017-11-01 18:08

Spark记录-源码编译spark2.2.0（结合Hive on Spark/Hive on MR2/Spark on Yarn）

组件：mvn-3.3.9jdk-1.8#wgethttp://mirror.bit.edu.cn/apache/spark/spark-2.2.0/spark-2.2.0.tgz---下载源码(如果是Hiveonspark
信方·2017-10-31 19:00

Hive On Spark报错：Failed to execute spark task, org.apache.hadoop.hive.ql.metadata.HiveException

HiveOnSpark环境中执行selectcount语句时候报错：Failedtoexecutesparktask,withexception'org.apache.hadoop.hive.ql.metadata.HiveException
陈南志·2017-05-27 18:36

Hive On Spark报错：Exception in thread "main" java.lang.NoClassDefFoundError: scala/collection/Iterable

HiveOnSpark环境中执行selectcount语句时候报错：Exceptioninthread"main"java.lang.NoClassDefFoundError:scala/collection
陈南志·2017-05-27 18:00

Hive on Spark系列一：CDH5.5配置支持hive on spark

://www.cloudera.com/documentation/enterprise/5-5-x/topics/admin_hos_config.html我写文档中CDH5.7以上版本已经全面支持HiveonSpark
雪地车·2017-05-08 13:24

基于Spark 2.0.0搭建Hive on Spark环境

二、开始配置前的排坑很多人都会参考Hiveonspark的官方手册https://cwiki.apache.org//confluence/disp
纠了个结De聖·2017-04-06 09:41

spark sql与hive整合

小结结构上HiveOnSpark和SparkSQL都是一个翻译层，把一个SQL翻译成分布式可执行的Spark程序。Hive和SparkSQL都不负责计算。
bingo_liu·2017-03-05 01:49

Hive On Spark 安装成功之后的总结

HiveOnSpark官方文档：https://cwiki.apache.org/confluence/display/Hive/Hive+on+Spark%3A+Getting+Started首先，之前凭借自己的错觉以为使用官网提供好的安装包之后就可以
javartisan·2017-02-28 19:28

Hive On Spark 安装成功之后的总结

HiveOnSpark官方文档：https://cwiki.apache.org/confluence/display/Hive/Hive+on+Spark%3A+Getting+Started首先，之前凭借自己的错觉以为使用官网提供好的安装包之后就可以
javartisan·2017-02-28 19:28

搭建Hive On Spark 编译Hive源码错误解决方法（spark2.1.0，hadoop2.7.2）

HiveOnSpark的搭建需要自行编译Spark源码withoutHive然后部署。编译成功之后部署Spark集群，此处不描述如何部署集群了。
javartisan·2017-02-28 14:24

搭建Hive On Spark 编译Hive源码错误解决方法（spark2.1.0，hadoop2.7.2）

HiveOnSpark的搭建需要自行编译Spark源码 withoutHive然后部署。编译成功之后部署Spark集群，此处不描述如何部署集群了。
Dax1n·2017-02-28 14:00

Spark-SQL和Hive on Spark, SqlContext和HiveContext

HiveonSpark和SparkSQL是不同的东西HiveonSpark:是除了DataBricks之外的其他几个公司搞的，想让Hive跑在Spark上;SparkSQL:Shark的后继产品,解除了不少
美伊小公主的奶爸·2016-12-22 15:53

DbVisualizer配置连接hive

最近在测试hiveonSpark的功能,由于数据库Oracle习惯使用PLsql了，其他我都使用DbVisualizer，就尝试配置了一下。
豆豆闲品·2016-09-16 18:23
上一页 1 2 3 4 5 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他