HiveContext

'HiveContext' object has no attribute 'jsonFile' && 'DataFrame' object has no attribute 'map'报错解决

最近在学习spark，在SparkSQL这一块遇到如题所示的一个小错，在“StackOverflow“上找到了类似的解决方法，写下了做个小记。测试环境：Ubuntu16.04；Spark2.4错误1描述input=hiveCtx.jsonFile(inputFile)------------------------------------------------------------------
Solarzhou·2019-01-23 15:59

玩转Spark on Yarn with Hive实战案例

从场景来看，需要在我们的Spark程序中通过HiveContext来加载hive中的数据。如果希望自己做测试，环境的配置可以参考我之前的文章，主要有下面的需要配置：1.Hadoop环境Hado
假的鱼·2019-01-11 22:05

Spark学习（肆）- 从Hive平滑过渡到Spark SQL

文章目录SQLContext的使用HiveContext的使用SparkSession的使用spark-shell&spark-sql的使用spark-shellspark-sqlthriftserver
-无妄-·2018-12-03 15:52

用spark从oracle导入数据到hive

用hiveContext.sql语句将数据写入hive里面。
XueEaten·2018-11-24 18:22

Spark整合hive，读取hive中数据

测试环境：hadoop:2.7.6spark:2.3.1hive:2.3.21.首先，添加依赖jar包：目的：为了创建hiveContext对象org.apache.sparkspark-hive_2.11
夜古诚·2018-11-12 22:13

Spark SQL操作Hive实战

Spark提供了对Hive的支持,Spark通过HiveContext可以直接操作Hive中的数据。
大鱼-瓶邪·2018-10-24 22:10

Spark on Yarn with Hive实战案例与常见问题解决

从场景来看，需要在我们的Spark程序中通过HiveContext来加载hive中的数据。如果希望自己做测试，环境的配置可以参考我之前的文章，主要有下面的需要配置：1.Hadoop环
xpleaf·2018-10-09 11:27

【SparkSQL详解】

对于外部数据源的读取，借助两个比较重要的类，sqlContext和HIveContext。hiveContext继承于SqlContext,主要针对hiv
热血趁年华·2018-09-26 16:33

spark读写hive的注意点

setMaster("local").setAppName("sdf")valsc=newSparkContext(conf)valhiveContext=newHiveContext(sc)valdf=hiveContext.sql
jin6872115·2018-09-07 16:53

PySpark学习笔记

在spark2.0中,HiveContext,SQLContext,StreamingContext,SparkContext都被聚合到了spark模块中。
IE06·2018-08-16 16:55

【五】Spark SQL中HiveContext的使用（操作hive中的表）（提交到服务器上执行）（Hadoop HA）

HiveContext在基本的SQLContext上有了一些新的特性，可以用HiveQL写查询，可以读取Hive表中的数据，支持Hive的UDF。
jy02268879·2018-07-25 00:06

spark用scala读取hive表数据

写法：valconf=newSparkConf()valsc=newSparkContext(conf)valhiveContext=newHiveContext(sc)//指定hive中使用的数据库;hiveContext.sql
wjmmjr1·2018-07-20 16:01

HDP HELLO WORLD案例

Hive设置分析数据创建TRUCK_MILEAGE表抽样查询性能展示Tez创建AVG_MILEAGE表创建DRIVERMILEAGE表PIG创建Pig脚本spark使用ambari配置spark服务创建Hivecontext
JLOGAN·2018-07-15 22:12

[使用SparkSQL操作DataFrame]

SparkSession实质上是SQLContext和HiveContext的组合，所以在SQLContext
fazhi-bb·2018-06-01 20:51

关于Spark工作总结--读取数据库注意事项（解决占用连接多，耗内存，速度慢等问题）

问题解决背景：避免尽量少的使用hiveContext.read.jdbc(url,sql,prop)来读取数据库①：其中sql语句不要用通配符*，是关于解析引擎耗时的解决办法，使用全字段代替select
YangSir7·2018-05-18 11:17

将数据量很大的CSV写入到HIVE

具体操作如下(pyspark下):frompyspark.sqlimportHiveContexthivec=HiveContext(sc)#创建一个hivecontext对象用于写执行SQL，sc为sparkcontext
Smallcaff·2018-03-22 10:19

HiveContext和SQLContext

使用SparkSQL时注意HiveContext和SQLContext的关系：见源码：classHiveContext(sc:org.apache.spark.SparkContext)extendsorg.apache.spark.sql.SQLContextwithorg.apache.spark.Logging
leebhing·2018-02-25 10:31

Spark 2.2.1 + Hive 案例之不使用现有的Hive环境；使用现有的Hive数据仓库；UDF自定义函数

在Spark2.2.1中，不需要显式地创建SparkContext、SQLContext、HiveContext实例，其已经封装在SparkSession中。
段智华·2018-02-18 21:10

spark dataframe 正则表达式匹配

spark的正则表达式匹配暂时只找到一个可用于dataframe处理数据的函数valfake_data=hivecontext.read.format("com.databricks.spark.csv
小晨ll·2017-12-29 16:54

Hive中的数据导入到MySQL

需求有一些特殊的场景,需要将Hive中的结构化数据表的数据导入到MySQL中.如果是使用HiveContext去导的话,需要编写代码,然后提交jar包,比较麻烦.可以直接使用Sqoop组件将Hive的数据导入到
yekanghui·2017-10-09 13:26

DataFrame和 Rdd

一.DataFrame和Rdd相互转换关系1.df转化为rddvaldf:DataFrame=hiveContext.sql("select*fromgame_sdk")df.foreachPartition
kequanjade·2017-08-03 17:26

spark读取hive表数据实操

环境:spark1.6hive1.2.1hadoop2.6.41.添加一下依赖包spark-hive_2.10的添加为了能创建hivecontext对象org.apache.sparkspark-hive
kjdsgh·2017-07-12 11:15

SparkSQL写数据到Hive的动态分区表

objectHiveTableHelperextendsLogging{defhiveTableInit(sc:SparkContext):HiveContext={valsqlContext=newHiveContext
Anonymous_cx·2017-05-23 21:01

Spark-SQL和Hive on Spark, SqlContext和HiveContext

HiveonSpark和SparkSQL是不同的东西HiveonSpark:是除了DataBricks之外的其他几个公司搞的，想让Hive跑在Spark上;SparkSQL:Shark的后继产品,解除了不少Hive的依赖，且让SQL更加抽象通用化,支持json,parquet等格式;关于Catelog和SchemaCatelog是目录的意思，从数据库方向说，相当于就是所有数据库的集合;Schema
美伊小公主的奶爸·2016-12-22 15:53

Spark SQL Hive数据源复杂综合案例实战

SparkSQLHive数据源复杂综合案例实战（读写各种分区表）Hive数据源来源SparkSQL除了支持SQLContext之外，还支持HIVESQL语法，利用HIVEContext来创建，HiveContext
张章章Sam·2016-12-10 23:52

Spark读写Hive

3.3.3；工程下载地址：https://github.com/fansy1990/spark_hive_source_destination1.Spark读取HiveSpark读取Hive，使用的是HiveContext
fansy1990·2016-11-29 22:00

Spark读写Hive

3.3.3；工程下载地址：https://github.com/fansy1990/spark_hive_source_destination1.Spark读取HiveSpark读取Hive，使用的是HiveContext
fansy1990·2016-11-29 22:00

spark 2.0 踩过的SparkSession的坑

SparkSession的坑spark20踩过的SparkSession的坑背景抽象的运行代码初步定位问题进一步定位问题源码相关分析再看SparkSession的创建最终解决取代了SQLContext(HiveContext
cjuexuan·2016-11-17 21:31

spark sql group by 出现问题

hiveContext.sql("selecttime,count(*)frompage_clickgroupbyid").collect.foreach(println)//报错org.apache.spark.sql.AnalysisException
time_exceed·2016-11-09 19:38

SparkSQL 使用SQLContext读取csv文件 分析数据 （含部分数据）

前两天开始研究SparkSQL，其主要分为HiveContext以及SQLContext目前打算先学习SQLContent，因为Hive环境还没搭好，   一步一步来先把spark的原理弄明白后再去研究
humingminghz·2016-07-06 11:00

SparkSQL 使用SQLContext读取csv文件 分析数据 （含部分数据）

阅读更多前两天开始研究SparkSQL，其主要分为HiveContext以及SQLContext目前打算先学习SQLContent，因为Hive环境还没搭好，一步一步来先把spark的原理弄明白后再去研究
humingminghz·2016-07-06 11:00

SparkSQL 使用SQLContext读取csv文件 分析数据 （含部分数据）

阅读更多前两天开始研究SparkSQL，其主要分为HiveContext以及SQLContext目前打算先学习SQLContent，因为Hive环境还没搭好，一步一步来先把spark的原理弄明白后再去研究
humingminghz·2016-07-06 11:00

Spark-SparkSql

如HiveContext可
youdianjinjin·2016-05-09 22:00

第5课：基于案例一节课贯通Spark Streaming流计算框架的运行源码

import org.apache.spark.SparkConf import org.apache.spark.sql.Row import org.apache.spark.sql.hive.HiveContext
龚湄燕·2016-05-08 14:28

基于案例一节课贯通Spark Streaming流计算框架的运行源码

OnlineTheTop3ItemForEachCategory2DB.scalapackagecom.dt.spark.sparkstreaming importorg.apache.spark.SparkConf importorg.apache.spark.sql.Row importorg.apache.spark.sql.hive.HiveContext
hanburgud·2016-05-07 19:00

RDD、DataFrame、SQLContext，HiveContext

RDDspark最基础的分布式数据集，RDD提供了很多api来操作这个数据集中的数据，Rdd中的每一列没有scheme，没有标识。DataFramespark的高级抽象，在RDD的分布式数据集上，加上了scheme的信息，每一列都有标识，标识这一列的名称和类型。提供了更多的api，这些api能实现类似sql的操作，底层实现还是RDDSQLContext可以使用.sql()方法，直接查询表中的数据，
cjun1990·2016-04-08 17:00

spark sql读hbase

long#b,还有用了个公司封装的Byte转其他类型，这个如果别人用需要自己实现一套方案，如果我们完成这一步，将会得到一个DataFrame，后面就可以registerTmpTable，正常使用了使用hiveContext
cjuexuan·2016-04-01 17:57

spark sql读hbase

long#b,还有用了个公司封装的Byte转其他类型，这个如果别人用需要自己实现一套方案，如果我们完成这一步，将会得到一个DataFrame，后面就可以registerTmpTable，正常使用了使用hiveContext
cjuexuan·2016-04-01 17:00

Spark 综合应用

本节模拟几个综合应用场景SQLOnSpark:使用sqlContext查询年纪大于等于10岁的人名HiveOnSpark:使用了hiveContext计算每年销售额店铺分类,根据销售额对店铺分类,使用sparkSQL
u012432611·2016-01-04 11:00

hiveContext演示

使用hiveContext之前首先要确认以下两点:1使用的Spark是支持hive2Hive的配置文件hive-site.xml已经存在conf目录中前者可以查看lib目录下是否存在以datanucleus
u012432611·2016-01-04 11:00

Py4JJavaError: An error occurred while calling o18.sql. : java.lang.RuntimeException:

frompysparkimportSparkContextfrompysparkimportHiveContext,SQLContextif__name__=="__main__":sc=SparkContext(appName="test")sqlContext=HiveContext
BIT_SKY·2015-10-23 21:25

Spark-SQL连接Hive

newSparkConf().setAppName("SparkSQLHive")valsc=newSparkContext(sparkConf)valhiveContext=newHiveContext(sc)hiveContext.sql
dabokele·2015-09-24 10:00

Spark SQL官方文档阅读--待完善

,DataFrame是一个将数据格式化为列形式的分布式容器,类似于一个关系型数据库表.编程入口:SQLContext2,SQLContext由SparkContext对象创建也可创建一个功能更加全面的HiveContext
dabokele·2015-09-24 10:00

【Spark九十五】Spark Shell操作Spark SQL

在Spark Shell上，通过创建HiveContext可以直接进行Hive操作   1. 操作Hive中已存在的表   [hadoop@hadoop bin]$ .
bit1129·2015-04-30 18:00

【Spark九十五】Spark Shell操作Spark SQL

在Spark Shell上，通过创建HiveContext可以直接进行Hive操作   1. 操作Hive中已存在的表   [hadoop@hadoop bin]$ .
bit1129·2015-04-30 18:00

【Spark九十五】Spark Shell操作Spark SQL

在Spark Shell上，通过创建HiveContext可以直接进行Hive操作   1. 操作Hive中已存在的表   [hadoop@hadoop bin]$ .
bit1129·2015-04-30 18:00

SparkSQL 初步应用（HiveContext使用）

折腾了一天，终于解决了上节中result3的错误。至于为什么会产生这个错误，这里，先卖个关子，先看看这个问题是如何发现的：首先，找到了这篇文章：http://apache-spark-user-list.1001560.n3.nabble.com/SparkSQL-select-syntax-td16299.html 里面有这么一段：Theissueisthatyou'reusingSQLCont
996440550·2015-04-17 20:48

SparkSQL 初步应用（HiveContext使用）

折腾了一天，终于解决了上节中result3的错误。至于为什么会产生这个错误，这里，先卖个关子，先看看这个问题是如何发现的：首先，找到了这篇文章：http://apache-spark-user-list.1001560.n3.nabble.com/SparkSQL-select-syntax-td16299.html里面有这么一段：Theissueisthatyou'reusingSQLConte
996440550·2015-04-17 20:48

如何在spark-shell命令行执行spark hql

clouderamanager装好的spark,直接执行spark-shell进入命令行后，写入如下语句：val hiveContext = new org.apache.spark.sql.hive.HiveContext
xiao_jun_0820·2015-03-17 19:00

IDEA Spark HiveContext访问Hive

1项目配置需要将hive-site.xml配置放在src目录。2代码importorg.apache.spark.SparkConfimportorg.apache.spark.SparkContextimportorg.apache.spark.sql.hive.HiveContextobjectSparkHive{defmain(args:Array[String]):Unit={valcon
ktlinker1119·2015-02-04 10:28
上一页 1 2 3 4 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他